1.selenium用法详解【从入门到实战】【Python爬虫】【4万字】
2.Selenium超级详细的理源教程
3.Selenium基础 — 浏览器弹窗操作
4.附源码完整版，Python+Selenium+Pytest+POM自动化测试框架封装
5.浅析Selenium-WebDriver
6.selenium进行xhs爬虫：01获取网页源代码

selenium用法详解【从入门到实战】【Python爬虫】【4万字】

       为了获取实战源码与作者****，码s码共同学习进步，理源请跳转至文末。码s码

       Selenium是理源一个广泛使用的开源 Web UI 自动化测试套件，支持包括 C#、码s码html使用帮助源码Java、理源Perl、码s码PHP、理源Python 和 Ruby 在内的码s码多种编程语言。在 Python 和 C#中尤其受欢迎。理源Selenium 测试脚本可以使用任何支持的码s码编程语言进行编写，并能在现代浏览器中直接运行。理源

       安装步骤：打开命令提示符，码s码输入安装命令并执行。理源使用 pip show selenium 检查安装是否成功。接着，针对不同的浏览器安装相应的驱动程序。例如，为 Chrome 安装驱动需要找到对应版本的链接并下载。下载完成后，将 chromedriver.exe 文件保存到任意位置，并确保其路径包含在环境变量中。

       定位页面元素：首先通过浏览器的开发者工具查看页面代码，从而定位所需元素。使用 webdriver 打开指定页面后，可以通过多种方法定位元素。例如，利用元素的 id、name、class、tag、生成地图+源码xpath、css、link 和 partial_link 等属性进行定位。

       浏览器控制：使用 webdriver 可以调整浏览器窗口大小、执行前进和后退操作、刷新页面以及切换到新打开的窗口。这些操作有助于更好地控制和管理浏览器会话。

       常见操作：包括搜索框输入、搜索按钮点击、鼠标事件（如左键单击、右键单击、双击和拖动）、键盘输入等。这些操作覆盖了用户界面的基本交互。

       元素等待：当页面元素加载延迟时，可以使用显式等待或隐式等待来确保元素存在后再执行后续操作。显式等待允许用户指定等待时间，并在该时间内检查元素是否存在。隐式等待则为整个浏览器会话设置了一个全局等待时间。

       定位一组元素：使用 elements 而不是 element 来定位一组元素，适用于需要批量操作的场景。

       窗口切换：在操作多个标签页或窗口时，使用 switch_to.windows() 方法来切换到目标窗口，确保正确的元素被操作。

       表单切换：针对嵌套的 frame/iframe 表单，使用 switch_to.frame() 方法进行切换。

       弹窗处理：使用 switch_to.alert 来处理 JavaScript 弹窗，通过调用相应方法处理确认、取消或输入文本。

       上传和下载文件：通过 send_keys 方法上传文件，下载文件则需在 Chrome 浏览器中通过特定选项实现。视频弹幕+源码

       cookies 操作：通过 webdriver 提供的 API 读取、添加和删除 cookies，用于模拟用户登录状态。

       调用 JavaScript：使用 execute_script 方法执行 JavaScript 代码，如滚动页面或向文本框输入文本。

       其他操作：包括关闭所有页面和当前页面、对页面进行截图等。

       Selenium 进阶：通过使用 stealth.min.js 文件隐藏指纹特征，以提高模拟浏览器的逼真度，从而更好地应对网站的反爬虫机制。

       实战案例：使用 Selenium 模拟登录 B 站，并处理登录所需的验证码，通过调用第三方平台如超级鹰实现验证码的自动识别。最终，通过精确点击坐标完成登录过程。

       为了获取实战源码与作者****，请点击文末链接。

Selenium超级详细的教程

       Selenium作为自动化测试框架的佼佼者，尤其在处理Ajax异步加载问题上表现出色。让我们深入了解这个强大的工具。

       1. 安装与导入

       首先，你需要安装Selenium框架、对应浏览器（如谷歌浏览器，地址见u.com/file/-4...）以及浏览器驱动（下载地址同上）。确保浏览器驱动与浏览器版本匹配，放在浏览器同一目录便于调用。

       2. 与浏览器交互

       安装完毕后，只需简单的Python代码，你就可以与浏览器建立连接，进行后续操作。

       3. 查找与操作元素

       Selenium提供了多种方法来定位页面元素，物流+源码+asp如使用ID（如查找ID为KW、Name为WD的输入框）有三种方法可供选择。

       4. 浏览器操作

       Selenium支持获取URL、日志、设置延时、关闭浏览器、查看源代码、屏幕截图以及执行自定义JS代码等，极大地增强了自动化测试的灵活性。

       5. 元素操作与事件监听

       找到元素后，可以进一步操作，包括键盘鼠标模拟，通过监听事件实现高级功能，如复制粘贴等。

       6. 选项设置

       无界面浏览

       禁用JavaScript和

       多种选项，如无痕模式

       7. 框架操作

       包括处理IFrame和Frame，需要根据页面结构灵活运用。

       8. 弹窗处理

       涉及浏览器弹出框、新窗口弹出框和人为弹出框，各有其处理方法。

       9. 判断与选择

       使用Expected_Conditions模块进行元素判断，选择操作则依据需求筛选和操作元素。

       . 显示等待与隐式等待

       理解显示等待与隐式等待的概念，利用"wait"模块进行控制。

       总结

       Selenium功能丰富，手机端测试同样适用，感谢开源社区的贡献。学习Selenium的关键在于理解文档，尤其是其模块化设计和清晰的文档说明。

Selenium基础 — 浏览器弹窗操作

       说明：在webdriver中，处理JavaScript生成的无源码外包alert、confirm以及prompt弹窗非常简单。具体方法是通过switch_to.alert()方法定位到alert/confirm/prompt弹窗，然后使用text/accept/dismiss/send_keys方法进行操作。常用操作有：

       示例：页面代码片段：

       脚本代码：

       注意：prompt弹窗输入框，Chrome不显示输入文本 Python版本 3.7.7

       由于alert弹窗不够美观，现在大多数网站都会使用自定义弹窗。使用Selenium自带的方法无法处理这种情况，此时就需要使用JS方法进行处理。需求：去掉淘宝首页的自定义弹窗。淘宝首页的自定义弹窗如下：

       提示：网页中弹出的对话框，也属于页面自定义弹窗，都可以用下面方式处理。实现方式：这种弹窗属于自定义弹窗的表现形式，可以通过设置HTML、DOM、Style对象中的一个display属性来处理，可以设置元素如何被显示。具体解释可以参考：/jsref/prop_style_display.asp。将display的值设置成none：此元素不会被显示，就可以去除这个弹窗了。注意：手动页面刷新之后还会出现弹窗。步骤如下：

       提示：document.getElementById()是JS获取元素的方式，在JS获取元素方式中，只有ById()获取的是一个元素。其他获取元素的方式，都获取的是结果集，需要获取具体元素的时候，注意要使用索引。简单举例：

       示例：

       最后我这里给你们分享一下我所积累和真理的文档和学习资料，有需要是领取就可以了。

       这个大纲涵盖了目前市面上企业百分之的技术，这个大纲很详细的写了你该学习什么内容，企业会用到什么内容。总共十个专题足够你学习。

       这里我准备了对应上面的每个知识点的学习资料、可以自学神器，已经项目练手。

       软件测试/自动化测试全家桶装学习中的工具、安装包、插件....

       有了安装包和学习资料，没有项目实战怎么办，我这里都已经准备好了往下看。

       如何领取这些配套资料和学习思路图，以及项目实战源码。这些资料都已经让我准备在一个php网页里面了，可以在里面领取扫码或者进Q群交流都可以暗号和备注是哦。

       最后送上一句话：世界的模样取决于你凝视它的目光，自己的价值取决于你的追求和心态，一切美好的愿望，不在等待中拥有，而是在奋斗中争取。如果我的博客对你有帮助、如果你喜欢我的文章内容，请 “点赞” “评论” “收藏” 一键三连哦。

附源码完整版，Python+Selenium+Pytest+POM自动化测试框架封装

       Python+Selenium+Pytest+POM自动化测试框架封装的完整版教程中，主要涉及以下几个关键环节：

       1. 测试框架介绍：框架的优势在于代码复用高，可以集成高级功能如日志、报告和邮件，提高元素维护性，灵活运用PageObject设计模式。

       2. 时间管理和配置文件：创建times.py模块处理时间操作，conf.py管理测试框架目录，config.ini存储测试URL，readconfig.py读取配置信息。

       3. 日志记录和元素定位：通过logger.py记录操作日志，利用POM模型和XPath/CSS选择器定位页面元素。

       4. 页面元素管理和封装：使用YAML格式的search.yaml文件存储元素信息，readelement.py封装元素定位，inspect.py审查元素配置。

       5. Selenium基类封装：使用工厂模式封装Selenium操作，webpage.py提供更稳定的二次封装，确保测试稳定性。

       6. 页面对象模式：在page_object目录下创建searchpage.py，封装搜索相关操作，提高代码可读性。

       7. Pytest测试框架应用：通过pytest.ini配置执行参数，编写test_search.py进行测试用例，conftest.py传递driver对象。

       8. 邮件报告发送：完成后通过send_mail.py模块发送测试结果到指定邮箱。

       通过以上步骤，构建出了一套完整的自动化测试框架，提升了测试效率和维护性，是开发人员进行自动化测试的有力工具。

浅析Selenium-WebDriver

       年，当时在ThoughtWorks工作的Jason Huggins开发了Selenium（Selenium RC）的第一版。年，Google工程师基于Selenium开发了WebDriver。年，Selenium和WebDriver合并，形成了Selenium2（Selenium WebDriver）。目前，Selenium WebDriver的模式已经升级到Selenium4，并有一个支线项目Selenium-Grid，能够与Selenium配合进行多任务运行（主要针对分布式执行，对于当前业务现状，使用到的可能性很小，本文不展开讲解）。

       使用现状：虽然无法直接统计出每个公司的使用现状，但我们可以通过搜索趋势来侧面验证。通过Google Trends查询的结果显示，Selenium WebDriver主导的方案占据主流地位，而Selenium RC的方案正在逐步被淘汰。

       Selenium RC：

       组成部分：Selenium RC主要由客户端和服务器两部分组成。

       工作原理：Selenium RC通过发送HTTP请求与服务器进行通信，服务器再将请求转发给浏览器执行。

       缺点：Selenium RC的执行速度较慢，且需要各个浏览器厂商提供支持。

       Selenium WebDriver：

       组成部分：WebDriver主要由WebDriver接口和对应的浏览器驱动程序组成。

       Web Driver：WebDriver提供了另一种与浏览器交互的方式，即利用浏览器原生的API，封装成一套面向对象的Selenium WebDriver API，直接操作浏览器页面里的元素，甚至操作浏览器本身（截屏、窗口大小、启动、关闭、安装插件、配置证书等）。由于使用的是浏览器的原生API，速度大大提高，但缺点是需要各个浏览器厂商各自提供。

       各种编程语言编写的客户端：向remote server发起请求。

       工作原理：底层通信包含以下两个过程：

       Selenium -> ChromeDriver server：这个通信过程是基于HTTP协议。

       例如，我们要打开一个浏览器页面，并访问www.google.com，先看下Selenium源码是怎么实现这个过程的。

       首次建立连接的过程：

       选择一个空闲的端口启动chromedriver。

       具体发请求的接口：

       最终的收口就是_request，发起一个blogs.com/uncleyong/p...

       [8] cloud.tencent.com/devel...

       [9] einverne.gitbook.io/sel...

selenium进行xhs爬虫：获取网页源代码

       学习XHS网页爬虫，本篇将分步骤指导如何获取网页源代码。本文旨在逐步完善XHS特定博主所有图文的抓取并保存至本地。具体代码如下所示：

       利用Python中的requests库执行HTTP请求以获取网页内容，并设置特定headers以模拟浏览器行为。接下来，我将详细解析该代码：

       这段代码的功能是通过发送HTTP请求获取网页的原始源代码，而非经过浏览器渲染后的内容。借助requests库发送请求，直接接收服务器返回的未渲染HTML源代码。

       在深入理解代码的同时，我们需关注以下关键点：

用爬虫抓取网页得到的源代码和浏览器中看到的不一样运用了什么技术？

       网页源代码和浏览器中看到的不一样是因为网站采用了动态网页技术（如AJAX、JavaScript等）来更新网页内容。这些技术可以在用户与网站进行交互时，通过异步加载数据、动态更新页面内容，实现更加流畅、快速的用户体验。而这些动态内容无法通过简单的网页源代码获取，需要通过浏览器进行渲染后才能看到。

       当使用爬虫抓取网页时，一般只能获取到网页源代码，而无法获取到经过浏览器渲染后的页面内容。如果要获取经过浏览器渲染后的内容，需要使用一个浏览器渲染引擎（如Selenium）来模拟浏览器行为，从而获取到完整的页面内容。

       另外，网站为了防止爬虫抓取数据，可能会采用一些反爬虫技术，如设置验证码、限制IP访问频率等。这些技术也会导致爬虫获取到的页面内容与浏览器中看到的不一样。

怎么获取网页源代码中的文件

       怎么获取网页源代码中的文件？

       网页源代码是父级网页的代码网页中有一种节点叫iframe，也就是子Frame，相当于网页的子页面，他的结构和外部网页的结构完全一致，框架源代码就是这个子网页的源代码。另外，爬取网易云推荐使用selenium，因为我们在做爬取网易云热评的操作时，此时请求得到的代码是父网页的源代码，这时是请求不到子网页的源代码的，也得不到我们需要提取的信息，这是因为selenium打开页面后，默认是在父级frame里面的操作，而此时如果页面中还有子frame，它是不能获取到子frame里面的节点的，这是需要用swith_to.frame（）方法来切换frame，这时请求得到的代码就从网页源代码切换到了框架源代码，然后就可以提取我们所需的信息。