算法

首页课程实战体系课手记专栏慕课教程

算法

来源：9-24 -Spark on YARN基础

大能人powerman

2019-04-23

老师，我有点不太明白，咱们这个项目使用到什么算法了嘛，如果没使用，那是怎样快速的把数据统计出来的呢？谢谢老师。

写回答

1回答

Michael_PK

Michael_PK

2019-04-23

已采纳

不涉及算法呢，统计都是基于分布式计算出来的，分而治之的思想

0

5

Michael_PK

回复

大能人powerman

Mapreduce的原理就是分而治之，在多个机器上计算，然后在进行归档

2019-04-24

共5条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

老师好，请教一个问题，请问有没有把spark 直接当做数据库来用，前端页面的请求都通过spark执行查询计算获取，这种方法算不算对spark的误用

回答 1

问个菜鸟的问题，就是spark计算逻辑的过程是在spark这端跑的还是提交作业在yarn上面跑的？

回答 1

老师请教一下关于集群机器数量和处理速度方面的问题

回答 1

dataframe 有一个repartition方法可以传入一个数字，请问这个方法的效果和hdfs的分块，和压缩文件的切分（split）有什么联系吗？

回答 1

hive编写作业，计算结果是保存到hdfs ，还是hive能保存到hbase？

回答 2

打开慕课网App查看更多内容