请问实时统计pv的做法应该是怎样?

来源:5-15 DataStream API开发小结

Amourxxxx

2019-09-28

现在需要统计每一天每个域名的pvuv,那我从产品上理解就是实时就是在webui上f5能够一直看见x域名在今天的这”一条”数据再不断的累计。

不知道这个理解对不对

现在我的做法是。flink消费kafka,不做任何窗口,直接keyby域名,sum一下,然后用sink写出mysql,并且是根据主键去频繁的更新属于今天的那一条数据。

目标达到了,但是我担心几个问题

1.来一条就update一次数据库合适吗
2.这样持续运营几个月,flink维护的state应该扛不住吧?

写回答

1回答

Michael_PK

2019-09-28

f5的做法是一种实现方法。但是F5是去刷新页面获取结果,是去结果中拿到数据展示出来。不会从什么kafka中取得,一般都是从数据库中取。另外一种实现方式是,后台数据更新定时推送到页面来,这是一种反向推送技术

0
0

新一代大数据计算引擎 Flink从入门到实战

入行或转型大数据新姿势,多语言系统化讲解,极速入门Flink

969 学习 · 296 问题

查看课程