我们平台定位是:给大家提供多种适用于不同情景的任务解析配置方式;力争平台配置多样化,不同水平的用户都能找到以最简单方式实现自己的任务。

平台解析配置方式分为以下几种:

(1) 采集器模式:需要使用者有相关的爬虫知识和编程经验,如果上手后使用起来会很方面,功能很强大,

(2) 爬虫模式:针对指定待抓取网站,并只需从目标网站抓取到指定条数的语料即可,其它要求不高,可以采用这种解析模式,

(3) 可视化模式:适合解析经典“列表页-内容页”两层网页结构,对应爬虫基础薄弱的用户,可以使用;但是提供的功能有限,

(4) Pipes模式:和Yahoo的Pipes一样,适用于渠道数据的接入,现在还未集成进来,

(5) 自动化测试模式:现在不少网站和APP做了反爬处理,要想构造请求比较费时费力,性价比不高的情况下,可以采用自动化测试方法,模拟人的正常请求;这块的需求越来越强烈,后面下载组会尽块开发,敬请期待奥!

我们后面会尽最大努力去持续优化采集器模式、爬虫模式和自动化测试模式。

results matching ""

    No results matching ""