吴大佬,这类数据统计平台(对如B站、抖音的数据统计)是怎么做的呀?合作,爬取。。。[惊讶]
2 个回答
按赞数排列
如果官方有开放对应数据的接口 API,可以申请成为官方的渠道合作商,可以以合作的方式做数据统计平台。
如果官方没有开放数据接口 API,通过爬虫,甚至逆向工程破解 App 的方式获取数据。
两种方式相比,前者优于后者,能够直接以合作的方式是最好的。
后者有一定的技术门槛,爬虫与反爬虫,风控,反编译App,逆向工程破解,且存在一定的风险,一不小心就违法了。
如果我理解没错,应该绝大多数这类第三方数据平台都是用爬虫或接口 API 获取的数据。
他们能比平台自身数据更好的地方往往在于“聚合”,即一个数据平台汇聚多种数据,但劣势在于信息不够完整(受平台制约)、有一定的法律风险、说不定需要技术对抗(面对反爬虫、数据投毒等)。