在讲如何查看数据之前,我觉得有必要讲下平台爬虫任务如何存储爬取到的数据的?

这就牵涉到平台的目的,平台最初的目的不仅提供下载能力,还有想把用户在平台上下载的数据进行汇总,让后同步给公司有数据需要的部门,希望能使数据的利用价值最大化,如下图所示。

任务开始启动后,其实伴随着就会有数据生成,用户可以在爬虫任务界面通过点击左侧,就会出现爬取结果页面,在选择自己要查看的表,并在表名附近可以查看这张表目前下载了多少数据?

同时用户可以选择数据展现形式为表格展示,为json展示;如果用户要想查看具体某条数据,只需点击即可。

在数据【预览】页面,有两种展现形式,如果在展示模式下,如果字段值为html源代码,会展示为渲染后的网页页面,如果要是文件的本地存储地址,会展示图片的具体内容。

在为什么将“文件本地存储地址”展示位具体的图片内容?这块当时我们想的是只有展示为具体的图片内容,用户才能直观的看到所下载的图片是否是用户真正需要的。

results matching ""

    No results matching ""