1.爬虫工具--fiddler
2.如何查看网页的过过滤源码
爬虫工具--fiddler
一、抓包工具
1.1 浏览器自带抓包功能，滤源通过右键审查元素，有什用点击network，过过滤点击请求，滤源右边栏展示请求详细信息：request、有什用互通梦幻源码headers、过过滤response。滤源以搜狗浏览器为例，有什用任意点击加载选项，过过滤查看get参数。滤源
1.2 Fiddler，有什用一个HTTP协议调试代理工具。过过滤它能记录并检查电脑和互联网之间的滤源所有HTTP通信，收集所有传输的有什用数据，如cookie、html、js、css文件，作为中介连接电脑与网络。
二、java 转发 源码Fiddler的使用
2.1 下载并安装Fiddler，访问官网下载页面，填写信息后下载安装包，按照常规步骤进行安装。
2.2 配置Fiddler，打开工具选项，选择HTTPS捕获、解密HTTPS流量等功能，完成配置后重启Fiddler。
三、视频页面源码Fiddler的使用
3.1 在Fiddler中查看JSON、CSS、JS格式的数据。停止抓取：文件菜单中选择捕获，取消勾选。点击请求，右边选择inspectors。
3.2 HTTP请求信息：Raw显示请求头部详细信息，Webforms显示参数，如query_string、usb键盘 源码formdata。
3.3 HTTP响应信息：首先点击**条解码，Raw显示响应所有信息，Headers显示响应头，Json显示接口返回内容。
3.4 左下黑色框输入指令，用于过滤特定请求，如清除所有请求、选择特定格式请求等。
四、火狐网站源码Urllib库初识
4.1 Urllib库用于模拟浏览器发送请求，是Python内置库。
4.2 字符串与字节之间的转化：字符串转字节使用Encode（），字节转字符串使用Decode（），默认编码为utf-8。
4.3 urllib.request属性：urlopen（url）返回响应对象位置，urlretrieve（url, filename）下载文件。
4.4 urllib.parse构建url：quote编码中文为%xxxx形式，unquote解码%xxxx为中文，urlencode将字典拼接为query_string并编码。
五、响应处理
5.1 read（）读取响应内容，返回字节类型源码，geturl（）获取请求的url，getheaders（）获取头部信息列表，getcode（）获取状态码，readlines（）按行读取返回列表。
六、GET方式请求
6.1 无错误代码，但打开Fiddler时可能会报错，因为Fiddler表明Python访问被拒绝，需要添加头部信息，如伪装User-Agent为浏览器。
七、构建请求头部
7.1 认识请求头部信息，如Accept-encoding、User-agent。了解不同浏览器的User-agent信息，伪装自己的User-agent以通过反爬机制。
8.1 构建请求对象，使用urllib.request.Request(url=url, headers=headers)。完成以上步骤，实现基于Fiddler和Urllib库的网络数据抓取与请求操作。
如何查看网页的源码
一个网页的源码，除了从事IT工作的人员外，很少有人接触，今天就介绍一种查看一个网页源码的方法。
1、首先打开一个网页，如/
2、然后点击右上角的菜单。
3、然后再点击工具。
4、就会弹出一个子菜单，其中就包含了查看源文件
5、点击查看源文件即可。
