for循环如何应对大数据

来源：4-7 生成tfrecords文件

慕标9016513

2022-01-06

在生成tfrecord时，使用for循环遍历dataset中的每个batch，如果dataset非常巨大，for循环性能会很低吗，会导致内存不够吗？

写回答

1回答

正十七

2022-01-17

已采纳

会，如果数据集很大，那么你可能要把原始数据也做成dataset，比如如果原始数据是文本，就可以用f.data.TextLineDataset来构建dataset，然后做dataset之间的转换，这样会比较高效。

慕标9016513

非常感谢！

2022-01-18

共1条回复

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

相似问题

pass

回答 1

回答 2

回答 1

回答 1

回答 1