轻松解决国外网站403访问问题!火车采集器+火语言插件免费领!
一、插件功能概述
本插件专为解决访问国外网站时出现的403 Forbidden拦截问题而开发,适用于通过GET请求可直接获取页面源码的网站,或者是信息是通过渲染后加载的信息(如:[Fanatics UK](https://www.fanatics.co.uk))。
适用条件:
1. 目标网站的js渲染后的源码需包含待采集数据(也就是F12中看到的数据)。
2. 同一台电脑仅支持单任务运行,多任务需顺序执行。如需多开,请联系客服咨询解决方案。
3. 这个插件适用的场景比较多,如果是那种需要登录才能显示的网站,只要栏目地址有变化的,也可以适用哦,而且因为插件是直接调用的谷歌浏览器,只要谷歌中cookie未失效,还省去了登录的烦恼。各种适用场景可以多多尝试哦~~
4.火车采集器10.28及以上版本才支持插件运行,否则运行失效
5. 其他GET请求失败的场景(非Cloudflare拦截)也可尝试使用。
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
二、获取与安装
1. 领取插件方式
- 领取用户需要满足服务年限在有效期内并且账号版本在旗舰版本及以上,则可免费获取插件及配套工具包。
- 联系客服:添加企业QQ `800019423`,提供账号信息验证后领取。
2. 文件部署
- 按工具包中教程安装。
- 确保`tool`文件夹中的程序具有执行权限。
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
三、配置与使用1. 基础设置
- 在采集规则的其他配置中,填写目标网站返回的错误码(如Cloudflare拦截通常为`403`)。
2. 规则编写
- 按常规方式配置采集规则(URL、字段提取等),但是源码需要按照插件所缓存的源码的格式,这个缓存的源码是 js渲染后的源码
3. 运行采集
- 启动任务后,工具会自动模拟浏览器访问,绕过直接HTTP请求的拦截,但高频率运行还是有拦截风险,可根据网站实际情况降低采集频率哦。
- 注意:因模拟操作需真实打开网页,采集速度较慢,可参考下图速度
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
四、注意事项
1. 性能限制
- 单机中tool工具只能同时运行一个,若有多任务可间隔时间运行。
- 多并发需求需联系客服具体咨询解决方案。
2. 技术支持
- 问题反馈渠道:企业QQ `800019423`(工作日9:00-18:00)。
3.封禁问题
- 频繁高频率采集还是有可能触发谷歌的封禁。可以使用代理工具试下。
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
如需进一步优化或企业级定制,请联系客服咨询高级解决方案。