关于训练的时候崩溃的问题

[1999swallowthemoon]

您好,我在quick_start那里将数据换成了我自己的数据(大概50张正常样本, image_size = (2448,2048), patch_size = (612,512 )),采用模型为HRPatchCore;

1. 当我使用A2OTaskGenerator训练的时候大概显存14GB(我用的是24GB的3090),即使我已经将batch_size 设为1了,训练过程中仍然会直接崩溃(退出程序),但是并没有报OOM的显存错误,请问这是什么原因呢?
2. 请问这个HRPatchCore模型能导出为onnx模型吗?

[cnulab]

请问你机器的运行内存是多大？你可以监控一下是否内存发生了溢出。PatchCore对机器内存的要求也是比较大的。

[cnulab]

使用单卡，并使用

tasks = NeighborhoodTaskGenerator(num_groups_width=2, num_groups_height=2).create_tasks(train_samples, indexes)

可以减小内存使用量。

[1999swallowthemoon]

请问你机器的运行内存是多大？你可以监控一下是否内存发生了溢出。PatchCore对机器内存的要求也是比较大的。

感谢回复,我的运行内存总的是32G,监控了一下确实是溢出了,available直接从开始的20G到卡崩出去的900Mb,我知道patchcore有一定内存要求,但没想过对于分块来说这个内存要求有这么大,想请教一下您这个问题是否类似于这两个PR提到的Issue:

1. 🔄 refactor(model): memory usage optimisation open-edge-platform/anomalib#2813
2. 🐛 fix(model): Reduce memory reserved for memory bank based models PatchCore, Padim, Dfkde open-edge-platform/anomalib#2913

如果参考这两个PR优化一下是否能解决这个问题?

[cnulab]

您好！
根据我的测试，使用上面的NeighborhoodTaskGenerator会显著减小运行所需的内存要求，而且通常不会显著影响性能。这使PatchCore为较小的patch set建立memory bank.
此外，另一个内存尖峰在于评估时计算评价指标，如果内存有限，建议使用较少的图像进行测试（例如不超过100张2K图）。

[1999swallowthemoon]

您好！ 根据我的测试，使用上面的NeighborhoodTaskGenerator会显著减小运行所需的内存要求，而且通常不会显著影响性能。这使PatchCore为较小的patch set建立memory bank. 此外，另一个内存尖峰在于评估时计算评价指标，如果内存有限，建议使用较少的图像进行测试（例如不超过100张2K图）。

是的,主要是我需要测试大量图像来验证模型,并且对推理时间(速度)有要求,如果导入多个.pkl的特征库,就会在推理时间上耗时有点长.所以才想尽量使用A2OTaskGenerator