归一化的数据规模

来源:2-5 实战分类模型之数据归一化

慕姐8158610

2020-05-21

老师好:
scaler.fit_transform(x_train.astype(np.float32).reshape(-1, 1)).reshape(-1, 28, 28),这里fit_transform函数是将x_train的函数全部加载进内存吗?如果是这样的话,在数据量很大的时候,这个方法就不太适合了。在实际生产环境中,在大数据场景下归一化的思路怎样做效率比较高?,恳请老师解答!

写回答

1回答

正十七

2020-05-24

这里fit_transform是全部加载入内存的。关于在大数据场景下的数据读取,会使用tensorflow中的Dataset类,这个类我们在后面会讲。

0
1
慕姐8158610
谢谢老师
2020-05-24
共1条回复

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

查看课程