请问cycle_length并行度的设置有没有什么经验公式?
来源:4-4 tf.io.decode_csv使用
OliverSong
2019-07-18
请教老师,对于较大的dataset而言,这个参数的设置有没有什么经验或者俗约呢?
写回答
1回答
-
一般用默认就可以了,默认是GPU的数目,或者用tf.data.experimental.AUTOTUNE,它会用最大的并行度。
需要考虑的点可能有一个,那就是数据的随机化程度,比如你的数据在不同的dataset中是有规律的,比如a开头的都放在一个dataset里,b开头的都放在一个dataset里,等等。此时要尽量开大来保证数据是随机的,或者从源头保证,不生成这样的文件。
012019-08-01
相似问题