请问老师，spark streaming能不能多线程执行任务呢?

来源：2-4 -实时流处理概述

like4638

2017-11-07

比如我每10秒接收一批数据，这批数据我既可以用来分析付费方式又能分析留存率，我这两个任务是否能同时进行？还是说必须得分开成两个不同的进程才能做到呢

写回答

1回答

Michael_PK

2017-11-07

一个搞定就行，同一个数据源处理不同的业务，没毛病的，课程中项目实战中有你说的这样

Michael_PK

like4638

rdd里的partition就是对应task，你资源够，是可以并行的，问题就在于看你是如何合理的设置的资源

2017-11-08

共6条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2