“数据集市”和“爬虫市场”很类似,只不过在最后不同,“爬虫市场”是供用户导入爬虫实例到自己的账户下,而“数据集市”则不同,是告诉用户平台现在已经积累了那些数据?以下如下这些数据的详情:

(1) 数据对应的任务处于什么状态?运行中,还是已完成?

(2) 数据对应的任务是从那个网站下载的?

(3) 数据对应任务的开始时间,结束时间等?

由于数据存储的多样性,以及量可能会很大等原因。所以平台暂时没有提供统一对接方法,只是通过如下所示的方法:

“数据集市”这块数据的对接问题,我们也想了很多,其中保存数据如何存储,以及可以和那些平台打通的问题。请相信平台,平台这块后面会做很大的完善工作。

results matching ""

    No results matching ""