搜索“fiddler”共 27 条信息:
-
使用post方法获得采集网址
大家在采集列表分页的时候会遇到,点击下面的分页页面内容是改变了,但是浏览器地址却没有改变 ,这个种情况分页是post的方式,今天我们来说下这个种情况该如何获取分页,用这个网址 来做例子http://www.yidianda.com/category/two/1-7.html。 首先你要会...
-
post的分页简单说明
大家在采集列表分页的时候会遇到,点击下面的分页页面内容是改变了 ,但是浏览器地址却没有改变 , 是吧 好奇怪是吧,是的,好奇怪, 这个种情况分页是post的 方式,今天我们来说下这个种情况 该如何获取分页 用这个网址来做例子http://www.yidianda.com/categor...
-
成功开启数据包代理了后,点击下载证书提示"No root certificate was found"
1.确认路由器后台已关闭AP隔离的设置2.确认关闭本地防火墙设置3.请到fiddler官网上下载最新版本并安装在本地电脑.到Fiddler根目录运行以下命令: makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO...
-
批量网址中的区间变化 的原理介绍
区间变化的变化原理为:地址中的两个参数以固定的间隔进行增长,并且相邻两组值的结束值与起始值间隔为1,以这种形式变化增长的地址格式可以使用区间变化来处理。比如以https://www.powerchina.cn/col/col7440/index.html?uid=46098&p...
-
如何使用火车采集器抓取手机APP的内容
火车采集器可以抓取http以及https请求中的内容,因此只要手机APP是这两种请求类型,那么其中的内容理论上就是可以抓取的。下面介绍下怎么抓取手机APP的请求。下面以苹果手机中的京东APP为例:(1)查看fiddler的端口号为多少,例下图:(2)查看本地局域网的固定IP为多少,例下图...
-
如何采集登录后才能看到的内容
大家在使用采集器采集东西的时候遇到个有些是要查看权限的,就是那种网站 你必须登录才能看到内容,常见的有论坛采集呀, 查看招聘信息里的电话号码等等~这个种情况大家应该不会陌生吧 。 现在就这个问题我们来说下,在采集器里如何实现登录功能。 把采集器想象和你一样就可以了,你登陆能看到...
-
如何找寻隐藏的分类ID
我们在写发布模块的时候,经常遇到需要获取到分类的如下图: 能够这样写的分类,在页面源代码里面是能够找到如本例: 但是但是,有一种分类,在页面源代码里面找不到如本例的地区分类: 那么如何找到对应分类的数字ID呢?这里就需要使用Fiddler抓包来...
-
火车采集器V9起始网址页即为内容页和标签循环采集功能使用
今天给大家分享财富网股票业绩预告信息采集规则。今天的规则相对比较简单,但简单中又有技巧, 比如看到这个图的规则,会不会晕呢,怎么就标点符号和通配符呢?今天的规则主要使用了起始网址页即为内容页和标签循环采集功能,下方案例讲解为大家详细说明。【案例讲解】今天主要讲解 起始...
-
检查发布模块正确性的几个入手点
发布不了 肯定是发布模块设置不对 现在就检查发布模块正确性几个方法说明下 这里说明下,遇到发布不成功 该如何检测发布模块错误在那里,一般如果一直都可以发布突然不成功 ,可能是cookie失效了,要从新登录下网站后台发布。 第一步,发布错误都是会有错误日志的 如下图所示 ...
-
火车采集器V9多页功能介绍(附采集规则)
我们在采集网页信息过程中经常遇到信息不在同一个页面,那就要使用多页功能,今天在这里以采集安居客小区信息为例讲解火车采集器V9的多页设置。因为主要讲解多页,案例中的其他设置略过! 我们要抓取的信息中有小区的房源数量数据,发现在网页源码中并没有此数据。通过抓包软件fiddler抓包分析可以获取...