自定义User-Agent,模拟蜘蛛采集
User-Agent:User-Agent是浏览器的标识,某些网站会记录这些信息用来验证用户身份或是调整网页的显示效果。用户如设置了内置浏览器登录,
则User-Agent会更改为内容浏览器的标识。用户可以更改该标识为自己需要的User-Agent。
采集器默认是调用本地IE浏览器信息来访问网站的,当然你也可以把默认浏览器信息换成火狐或者其他浏览器,只要把对应的浏览器的
User-Agent,填写到采集器里面:
采集器同样可以伪装成抓取蜘蛛如百度蜘蛛等等:
如何获取User-Agent 参考教程:http://bbs.locoy.com/spider-132260-1-1.html