归一化的数据规模
来源:2-5 实战分类模型之数据归一化
慕姐8158610
2020-05-21
老师好:
scaler.fit_transform(x_train.astype(np.float32).reshape(-1, 1)).reshape(-1, 28, 28),这里fit_transform函数是将x_train的函数全部加载进内存吗?如果是这样的话,在数据量很大的时候,这个方法就不太适合了。在实际生产环境中,在大数据场景下归一化的思路怎样做效率比较高?,恳请老师解答!
写回答
1回答
-
这里fit_transform是全部加载入内存的。关于在大数据场景下的数据读取,会使用tensorflow中的Dataset类,这个类我们在后面会讲。
012020-05-24