关于数据量太大的问题
来源：8-16 ImageCaptionData类封装-批数据生成
慕沐734317
2019-04-11
如果我的数据量太大（图片size大，样本数也大），在做数据的封装的时候，内存不够放下所有的样本数组（比如[328,9,512,512]这样大小的数组），我应该怎么编写代码呢，只能把数据量减少或者换内存更大的电脑吗？有没有什么方法直接获得batch_size参与训练的？我的图片文件是npy格式的数组，有很多个文件，这些是卫星扫描的9通道的数据。能不能给个代码链接啊，非常感谢！
写回答
1回答
-
正十七
2019-04-21
建议使用tf.data.Dataset来做数据读取，它支持异步，不用把所有数据都load进来。
https://www.tensorflow.org/api_docs/python/tf/data/Dataset
00
相似问题