关于行为数据收集

来源:8-2 数据上报(下)

慕仔2266098

2020-04-14

老师,Nginx本身就是对业务访问进行了日志收集,nginx后面部署flume就可以正常收集了啊。请问额外做的这个提交行为日志是什么考虑?在企业级使用的时候一般都采用什么方式?

老师讲的很好,希望可以不以简单的实现方式来教学,可以以企业级都采用的方式来教学。。谢谢老师

写回答

2回答

小简同学

2020-04-14

同学你好,继续上一个问题,关于在企业中是如何进行数据上报的。他们通常要考虑这几个问题,1,数据不能丢失,2,因为数据上报非常的频繁,不能因为数据上报而占据过多的带宽。所以,在企业中对数据上报的处理是,1,压缩上报的数据,2,批量上报,3,把上报数据放在请求头里,以header方式传送,4,服务器无须返回响应消息,5,网络状态检测,6,跨域处理,7,异步发送,8,无侵入性埋点,9,分模块上报。希望能回答到你的疑问,祝学习愉快

0
1
慕仔2266098
非常感谢!
2020-04-18
共1条回复

小简同学

2020-04-14

同学你好,数据上报之所以要主动的向nginx提交,有三个原因,1,这些数据是批量发送,并且是经过压缩,2,这些数据的请求方式是header,也即没有请求体,也无须服务器返回响应的消息,3,这些上报的数据是经过js的处理和组装。没错,nginx会记录http的请求,但这只是很表面的数据,例如ip,url,浏览器信息,我们需要收集的是更具体的数据,例如什么人点击了这个按钮,这个按钮是属于哪个页面的哪个位置上,点击之前这个人做了哪些动作,这些数据nginx是没法获取的,需要我们在前端去组装。希望能回答到你的疑问,祝学习愉快!

0
0

Spark2.x+协同过滤算法,开发企业级个性化推荐系统

一门既讲算法原理又有完整的推荐系统架构的全能课

330 学习 · 91 问题

查看课程