怎么能够进一步提高采集数据的速度
影响采集速度的因素有很多,常见的有自己的网络速度,运行电脑的硬件配置,以及采集的网站的响应速度和规则设置的难易程度等等。
如果采集规则里面有很多数据处理如替换等等,都会影响到采集速度。为了是采集速度提高,在能采集到想要的数据的前提下,少加入数据处理等操作。
如果采集的数据量比较大可以通过设置分页,分多个规则来采集数据比如第一个规则采集前10页第二个规则设置采集后10页等等,或者在电脑上开启多个采集器,
对应商业版用户来说无论是那个版本在一台电脑上面都是可以开启多个采集器的注意这里的采集器必须是不同的文件夹。总之一点就是把采集任务分多个规则和多个采集器运行。
对应已经不需要的数据,请清空,数据库容量大了也会影响速度。
本地保存数据库尽量选择mysql这类 容量大的数据库做为本地数据库。