数据主要分以下四类:
相关服务:美国服务器租用
开放数据源一般是针对行业的数据库。比如美国人口调查局开放了美国的人口信息、地区分布和教育情况数据。除了政府外,企业和高校也会开放相应的大数据,这方面北美相对来说做得好一些。国内,贵州做了不少大胆尝试,搭建了云平台,逐年开放了旅游、交通、商务等领域的数据量。
爬虫抓取,一般是针对特定的网站或 App。如果我们想要抓取指定的网站数据,比如购物网站上的购物评价等,就需要我们做特定的爬虫抓取。
第三类数据源是传感器,它基本上采集的是物理信息。比如图像、视频、或者某个物体的速度、热度、压强等。
最后是日志采集,这个是统计用户的操作。我们可以在前端进行埋点,在后端进行脚本收集、统计,来分析网站的访问情况,以及使用瓶颈等。
开放数据源
开放数据源可以从两个维度来考虑:
- 一个是单位的维度,比如政府、企业、高校;
- 一个就是行业维度,比如交通、金融、能源等领域。
下面这张表格列举的就是单位维度的数据源。

网上有很多公开数据,可以自行百度,之后我也会整理一个的,到时候再贴出来。