local和分布式问题

来源：5-3 Spark中实践矩阵的使用

慕尼黑5219940

2019-03-19

Breeze只能用于local吗？还是我们在local编写代码的时候是本身就是local环境, 使用Breeze编写好的代码打包提交到集群上，就能完成分布式计算了呢？还是我们打包提交运行分布式的时候，在本地需要使用另一种方式编写代码呢？

写回答

1回答

Wotchin

2019-03-21

已采纳

spark本身被设计成一种并行的编程范式，这是为了能够在多节点上并行计算。spark编写好的程序一般都是通用的，但是能否并行还要取决于你的代码怎么写。例如用这个库就很难并行

掌握Spark机器学习库大数据开发技能更进一步

案例+原理+代码提升大数据处理能力

476 学习 · 81 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 1