多个agent的意义是什么？

来源：4-11 Flume经典部署方案

fuyang7412

2022-09-29

串联在一起，agentA的sink对应agentB的source，然后再由agentB的sink将数据转到HDFS，那为啥不直接agentA的sink将数据转到HDFS，加串联是为了削减数据压力吗？但是这样感觉也没削减啊

写回答

1回答

Michael_PK

2022-10-10

1）HDFS的权限不一定对外开放的

2）即使对外开放，第一层那么多agent直接写HDFS，压力很大的

3）所以才会加一层聚合层，再到HDFS

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理，掌握两套企业级处理方案

340 学习 · 238 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 1