1.爬虫工具--fiddler
2.爬虫为什么抓不到网页源码
3.3.网络爬虫——Requests模块get请求与实战
4.selenium进行xhs爬虫：01获取网页源代码
5.实用工具（爬虫）-手把手教你爬取，网站网站百度、爬虫爬虫Bing、源码Google
6.教你写爬虫用Java爬虫爬取百度搜索结果！代码可爬10w+条！网站网站
爬虫工具--fiddler
一、爬虫爬虫源码绿豆汤抓包工具
1.1 浏览器自带抓包功能，源码通过右键审查元素，代码点击network，网站网站点击请求，爬虫爬虫右边栏展示请求详细信息：request、源码headers、代码response。网站网站以搜狗浏览器为例，爬虫爬虫任意点击加载选项，源码查看get参数。
1.2 Fiddler，一个HTTP协议调试代理工具。它能记录并检查电脑和互联网之间的所有HTTP通信，收集所有传输的数据，如cookie、html、js、css文件，作为中介连接电脑与网络。
二、Fiddler的使用
2.1 下载并安装Fiddler，访问官网下载页面，填写信息后下载安装包，按照常规步骤进行安装。
2.2 配置Fiddler，打开工具选项，选择HTTPS捕获、共享影视源码6解密HTTPS流量等功能，完成配置后重启Fiddler。
三、Fiddler的使用
3.1 在Fiddler中查看JSON、CSS、JS格式的数据。停止抓取：文件菜单中选择捕获，取消勾选。点击请求，右边选择inspectors。
3.2 HTTP请求信息：Raw显示请求头部详细信息，Webforms显示参数，如query_string、formdata。
3.3 HTTP响应信息：首先点击**条解码，Raw显示响应所有信息，Headers显示响应头，Json显示接口返回内容。
3.4 左下黑色框输入指令，用于过滤特定请求，如清除所有请求、选择特定格式请求等。
四、Urllib库初识
4.1 Urllib库用于模拟浏览器发送请求，是Python内置库。
4.2 字符串与字节之间的转化：字符串转字节使用Encode（），字节转字符串使用Decode（），默认编码为utf-8。
4.3 urllib.request属性：urlopen（url）返回响应对象位置，urlretrieve（url, filename）下载文件。
4.4 urllib.parse构建url：quote编码中文为%xxxx形式，unquote解码%xxxx为中文，域名授权源码phpurlencode将字典拼接为query_string并编码。
五、响应处理
5.1 read（）读取响应内容，返回字节类型源码，geturl（）获取请求的url，getheaders（）获取头部信息列表，getcode（）获取状态码，readlines（）按行读取返回列表。
六、GET方式请求
6.1 无错误代码，但打开Fiddler时可能会报错，因为Fiddler表明Python访问被拒绝，需要添加头部信息，如伪装User-Agent为浏览器。
七、构建请求头部
7.1 认识请求头部信息，如Accept-encoding、User-agent。了解不同浏览器的User-agent信息，伪装自己的User-agent以通过反爬机制。
8.1 构建请求对象，使用urllib.request.Request(url=url, headers=headers)。完成以上步骤，实现基于Fiddler和Urllib库的网络数据抓取与请求操作。
爬虫为什么抓不到网页源码
有可能是因为网页采用了动态网页技术，如AJAX、JavaScript等，导致浏览器中看到的网页内容与通过爬虫抓取的网页源代码不同。
动态网页技术可以使网页在加载后通过JavaScript代码动态地修改或添加页面内容，而这些修改和添加的内容是在浏览器中执行的，而不是在服务器端。因此，在线阅读源码网站如果使用传统的爬虫工具，只能获取到最初加载的网页源代码，而无法获取动态生成的内容。
解决这个问题的方法是使用支持JavaScript渲染的爬虫工具，例如Selenium和Puppeteer。这些工具可以模拟浏览器行为，实现动态网页的加载和渲染，从而获取完整的网页内容。
另外，有些网站也可能采用反爬虫技术，例如IP封禁、验证码、限制访问频率等，这些技术也可能导致爬虫抓取的网页源代码与浏览器中看到的不一样。针对这些反爬虫技术，需要使用相应的反反爬虫策略。
3.网络爬虫——Requests模块get请求与实战
网络爬虫入门：掌握Requests模块与GET请求实践
学习网络爬虫的第一步，是了解如何使用Python的requests库获取网页源代码。本文将带你从安装requests库开始，逐步掌握GET请求的使用方法，让你能够轻松爬取网站数据。
先来了解一下urllib模块，它是Python内置的HTTP请求库，包含四个主要模块，提供基础的HTTP功能。
接着，介绍requests模块的使用。首先，通过pip命令安装requests库，安装成功后，你就可以利用它发送HTTP请求了。
在实际操作中，简单 app 源码下载我们通常需要使用GET请求来获取网页数据。当数据在网页链接中时，通过requests.get()函数发送GET请求，获取HTML内容。此外，请求头和状态码是了解请求过程的关键信息。请求头包含了HTTP请求的一些元信息，如请求方法、地址等，而状态码则帮助判断请求是否成功。
在爬取网站数据时，请求头扮演着重要的角色。它包括了用户代理、Cookie等信息，让服务器更好地理解请求，确保数据获取过程顺利进行。
通过代码示例，我们可以清晰地看到如何通过requests模块获取网页数据。比如，发送GET请求到特定URL，并解析响应状态码、请求头和HTML内容。这为后续的数据解析和处理打下了基础。
当数据获取成功后，我们可以通过编写代码将HTML内容保存到本地文件，便于后续分析和使用。在实际爬虫项目中，合理的文件存储策略至关重要，确保数据安全和易于访问。
最后，通过简单的案例演示了如何在网页中搜索和获取特定数据。尽管在本文中我们没有详细讲解数据解析技术，但在后续的章节中，你将学习到更深入的数据提取方法，实现精准的数据获取。
今天的学习就到这里，希望这些基础知识能为你的网络爬虫之旅铺平道路。如果你对网络爬虫感兴趣，期待你的持续关注。更多内容敬请期待下一期！
selenium进行xhs爬虫：获取网页源代码
学习XHS网页爬虫，本篇将分步骤指导如何获取网页源代码。本文旨在逐步完善XHS特定博主所有图文的抓取并保存至本地。具体代码如下所示：
利用Python中的requests库执行HTTP请求以获取网页内容，并设置特定headers以模拟浏览器行为。接下来，我将详细解析该代码：
这段代码的功能是通过发送HTTP请求获取网页的原始源代码，而非经过浏览器渲染后的内容。借助requests库发送请求，直接接收服务器返回的未渲染HTML源代码。
在深入理解代码的同时，我们需关注以下关键点：
实用工具（爬虫）-手把手教你爬取，百度、Bing、Google
百度+Bing爬取：
工具代码地址：github.com/QianyanTech/...
步骤：在Windows系统中，输入关键词，如"狗,猫"，不同关键词会自动保存到不同文件夹。
支持中文与英文，同时爬取多个关键词时，用英文逗号分隔。
可选择爬取引擎为Bing或Baidu，Google可能会遇到报错问题。
Google爬取：
工具开源地址：github.com/Joeclinton1/...
在Windows、Linux或Mac系统中执行。
使用命令格式：-k关键字，-l最大下载数量，--chromedriver路径。
在chromedriver.storage.googleapis.com下载对应版本，与Chrome浏览器版本相匹配。
下载链接为chromedriver.chromium.org...
遇到版本不匹配时，可尝试使用不同版本的chromedriver，但需注意8系列版本可能无法使用。
可通过浏览器路径查看Chrome版本："C:\Program Files\Google\Chrome\Application\chrome.exe" 或 "C:\Users\sts\AppData\Local\Google\Chrome\Application\chrome.exe"。
解决WebDriver对象找不到特定属性的报错问题：修改源代码三处。
图像去重：
使用md5码进行图像去重。将文件夹下的图像生成md5码，并写入md5.txt文件中。
使用脚本统计md5码，过滤重复图像。
以上内容提供了一套详细的爬取流程，包括工具的选择、关键词输入、多引擎支持、版本匹配、错误处理以及图像去重的方法。确保在使用过程中关注系统兼容性和版本匹配问题，以获得高效和准确的爬取结果。
教你写爬虫用Java爬虫爬取百度搜索结果！可爬w+条！
教你写爬虫用Java爬取百度搜索结果的实战指南
在本文中，我们将学习如何利用Java编写爬虫，实现对百度搜索结果的抓取，最高可达万条数据。首先，目标是获取搜索结果中的五个关键信息：标题、原文链接、链接来源、简介和发布时间。 实现这一目标的关键技术栈包括Puppeteer（网页自动化工具）、Jsoup（浏览器元素解析器）以及Mybatis-Plus（数据存储库）。在爬取过程中，我们首先分析百度搜索结果的网页结构，通过控制台查看，发现包含所需信息的元素位于class为"result c-container xpath-log new-pmd"的div标签中。 爬虫的核心步骤包括：1）初始化浏览器并打开百度搜索页面；2）模拟用户输入搜索关键词并点击搜索；3）使用代码解析页面，获取每个搜索结果的详细信息；4）重复此过程，处理多个关键词和额外的逻辑，如随机等待、数据保存等。通过这样的通用方法，我们实现了高效的数据抓取。 总结来说，爬虫的核心就是模仿人类操作，获取网络上的数据。Puppeteer通过模拟人工点击获取信息，而我们的目标是更有效地获取并处理数据。如果你对完整源码感兴趣，可以在公众号获取包含爬虫代码、数据库脚本和网页结构分析的案例资料。MediaCrawler 小红书爬虫源码分析
MediaCrawler，一款开源多社交平台爬虫，以其独特的功能，近期在GitHub上广受关注。尽管源码已被删除，我有幸获取了一份，借此机会，我们来深入分析MediaCrawler在处理小红书平台时的代码逻辑。
爬虫开发时，通常需要面对登录、签名算法、反反爬虫策略及数据抓取等关键问题。让我们带着这些挑战，一同探索MediaCrawler是如何解决小红书平台相关问题的。
对于登录方式，MediaCrawler提供了三种途径：QRCode登录、手机号登录和Cookie登录。其中，QRCode登录通过`login_by_qrcode`方法实现，它利用QRCode生成机制，实现用户扫码登录。手机号登录则通过`login_by_mobile`方法，借助短信验证码或短信接收接口，实现自动化登录。而Cookie登录则将用户提供的`web_session`信息，整合至`browser_context`中，实现通过Cookie保持登录状态。
小红书平台在浏览器端接口中采用了签名验证机制，MediaCrawler通过`_pre_headers`方法，实现了生成与验证签名参数的逻辑。深入`_pre_headers`方法的`sign`函数，我们发现其核心在于主动调用JS函数`window._webmsxyw`，获取并生成必要的签名参数，以满足平台的验证要求。
除了登录及签名策略外，MediaCrawler还采取了一系列反反爬虫措施。这些策略主要在`start`函数中实现，通过`self.playwright_page.evaluate`调用JS函数，来识别和对抗可能的反爬虫机制。这样，MediaCrawler不仅能够获取并保持登录状态，还能够生成必要的签名参数，进而实现对小红书数据的抓取。
在数据抓取方面，MediaCrawler通过`httpx`库发起HTTP请求，请求时携带Cookie和签名参数，直接获取API数据。获取的数据经过初步处理后，被存储至数据库中。这一过程相对直接，无需进行复杂的HTML解析。
综上所述，MediaCrawler小红书爬虫通过主动调用JS函数、整合登录信息及生成签名参数，实现了对小红书平台的高效爬取。然而，对于登录方式中的验证码验证、自动化操作等方面，还需用户手动完成或借助辅助工具。此外，通过`stealthjs`库，MediaCrawler还能有效对抗浏览器检测，增强其反反爬虫能力。
