1.Spark-Submit 源码剖析
2.Apache源代码全景分析:体系结构与核心模块编辑推荐
3.Tomcat Session(CVE-2020-9484)反序列化复现
4.Apache源代码全景分析:体系结构与核心模块内容简介
Spark-Submit 源码剖析
直奔主题吧:
常规Spark提交任务脚本如下:
其中几个关键的源码参数:
再看下cluster.conf配置参数,如下:
spark-submit提交一个job到spark集群中,剖析大致的源码经历三个过程:
代码总Main入口如下:
Main支持两种模式CLI:SparkSubmit;SparkClass
首先是checkArgument做参数校验
而sparksubmit则是通过buildCommand来创建
buildCommand核心是AbstractCommandBuilder类
继续往下剥洋葱AbstractCommandBuilder如下:
定义Spark命令创建的方法一个抽象类,SparkSubmitCommandBuilder刚好是实现类如下
SparkSubmit种类可以分为以上6种。SparkSubmitCommandBuilder有两个构造方法有参数和无参数:
有参数中根据参数传入拆分三种方式,剖析然后通过OptionParser解析Args,源码构造参数创建对象后核心方法是剖析内核源码官网通过buildCommand,而buildCommand又是源码通过buildSparkSubmitCommand来生成具体提交。
buildSparkSubmitCommand会返回List的剖析命令集合,分为两个部分去创建此List,源码
第一个如下加入Driver_memory参数
第二个是通过buildSparkSubmitArgs方法构建的具体参数是MASTER,DEPLOY_MODE,剖析FILES,源码CLASS等等,剖析这些就和我们上面截图中是源码对应上的。是剖析通过OptionParser方式获取到。
那么到这里的源码话buildCommand就生成了一个完成sparksubmit参数的命令List
而生成命令之后执行的任务开启点在org.apache.spark.deploy.SparkSubmit.scala
继续往下剥洋葱SparkSubmit.scala代码入口如下:
SparkSubmit,kill,request都支持,后两个方法知识支持standalone和Mesos集群方式下。junit4 源码dosubmit作为函数入口,其中第一步是初始化LOG,然后初始化解析参数涉及到类
SparkSubmitArguments作为参数初始化类,继承SparkSubmitArgumentsParser类
其中env是测试用的,参数解析如下,parse方法继承了SparkSubmitArgumentsParser解析函数查找 args 中设置的--选项和值并解析为 name 和 value ,如 --master yarn-client 会被解析为值为 --master 的 name 和值为 yarn-client 的 value 。
这之后调用SparkSubmitArguments#handle(MASTER, "yarn-client")进行处理。
这个函数也很简单,根据参数 opt 及 value,设置各个成员的值。接上例,parse 中调用 handle("--master", "yarn-client")后,在 handle 函数中,master 成员将被赋值为 yarn-client。
回到SparkSubmit.scala通过SparkSubmitArguments生成了args,然后调用action来匹配动作是submit,kill,request_status,print_version。
直接看submit的ciq溯源码查询action,doRunMain执行入口
其中prepareSubmitEnvironment初始化环境变量该方法返回一个四元 Tuple ,分别表示子进程参数、子进程 classpath 列表、系统属性 map 、子进程 main 方法。完成了提交环境的准备工作之后,接下来就将启动子进程。
runMain则是执行入口,入参则是执行参数SparkSubmitArguments
Main执行非常的简单:几个核心步骤
先是打印一串日志(可忽略),然后是创建了loader是把依赖包jar全部导入到项目中
然后是MainClass的生成,异常处理是ClassNotFoundException和NoClassDeffoundError
再者是生成Application,根据MainClass生成APP,最后调用start执行
具体执行是SparkApplication.scala,那么继续往下剥~
仔细阅读下SparkApplication还是挺深的,所以打算另外写篇继续深入研读~
Apache源代码全景分析:体系结构与核心模块编辑推荐
如果您正在寻找对Apache源代码深入了解的资源,那么《Apache源代码全景分析第1卷:体系结构与核心模块》无疑是一个值得推荐的选择。这本书在市场上独树一帜,专注于详尽解析Apache的php学校网站源码体系结构和关键组成部分,为读者揭开其内在运作的神秘面纱。 作者通过细致入微的剖析,引导读者一步步探索Apache系统架构的复杂网络,如同剥丝抽茧般逐步揭示其内在逻辑。它不仅仅是一份技术指南,更是对开源社区集体智慧的高度赞赏,展示了如何通过集体努力创造出如此强大且高效的软件平台。 这本书不仅适合对Apache有深厚兴趣的专业开发者,也适合对开源技术有研究的人士,它提供了一个全面且深入的视角,帮助读者重新认识这个开源社区的杰作。无论你是初次接触还是经验丰富的开发者,都将从中受益匪浅。扩展资料
《Apache源代码全景分析:体系结构与核心模块》是由张中庆、梁雪平等编著的计算机应用技术类书籍;该书由电子工业出版社于年出版发行。书中详细介绍了Apache的基础体系结构和核心模块的实现机制,包括配置文件、病毒式营销源码模块化结构、多任务并发,以及网络连接和请求读取等知识。Tomcat Session(CVE--)反序列化复现
Apache Tomcat远程代码执行风险剖析
Apache Tomcat,一个开放源代码的Web应用服务器,主要实现Java EE规范中的Servlet、JSP,并提供HTTP服务,是广泛使用的Java Web容器。在年,由Sun Microsystems开发并在年捐献给ASF(Apache Software Foundation),现独立为顶级项目。Tomcat为中小规模系统和低并发访问提供高效服务,适合初学者开发和调试JSP程序。它作为Apache服务器的扩展运行独立进程,具备轻量级应用服务器特性。
CVE--:Tomcat反序列化漏洞
年5月日,Apache官方宣布了Tomcat远程代码执行风险,漏洞编号CVE--。此漏洞存在于Tomcat使用内置session同步功能时,若配置不当(未使用EncryptInterceptor),攻击者通过精心构造数据包,可对使用内置session同步的Tomcat服务器发起攻击。
成功利用此漏洞需满足四条件:攻击者能够控制服务器文件内容与名称;服务器使用FileStore进行持久化;sessionAttributeValueClassNameFilter配置不当,允许攻击者提供反序列化对象;攻击者知道FileStore存储位置与攻击可控文件相对路径。
影响版本
Apache Tomcat版本包括:.0.0-M1至.0.0-M4,9.0.0.M1至9.0.,8.5.0至8.5.,以及7.0.0至7.0.。
源码分析
根据配置,对Tomcat源码进行分析。以Tomcat .0.0-M4为例,关注FileStore的load方法,此方法首先将session id转换为file object并检查文件是否存在。若存在,则读取文件内容。文件对象会添加'.session'后缀,但未验证目录路径。当文件存在时,系统运行CustomObjectInputStream获取gadget类,进行反序列化操作。
环境搭建
安装Tomcat需Java8环境,具体安装教程可见相关链接。下载Tomcat .0.0-M4,创建tomcat目录,解压文件。在conf目录下编辑context.xml文件添加Manager配置。下载groovy-2.3.9.jar,放入lib目录下。执行wget命令下载依赖,运行catalina.sh启动Tomcat。访问ip:,确认安装成功。
漏洞复现
使用ysoserial生成Java反序列化payload,执行java命令生成payload文件。在浏览器中添加Cookie,包含攻击性JSESSIONID值。或直接通过curl命令加载恶意session持久化文件。执行ls /tmp查看结果。
修复方法
通过升级Tomcat版本、配置WAF过滤器、或避免使用FileStore来修复此漏洞。
免责申明
本项目仅用于安全人员完成授权项目测试与学习交流,不涉及漏洞利用与攻击性行为。使用时请遵守当地法律法规,避免非授权测试。
Apache源代码全景分析:体系结构与核心模块内容简介
Apache源代码的深入解析,从第1卷《体系结构与核心模块》开始。该书详尽剖析了Apache的基础架构,特别是核心模块的运作机制,如配置文件、模块化设计、多任务并发处理,以及网络连接和请求处理过程。其中,多任务并发体系结构是本书的重点,包括Prefork、Worker及WinNT等MPM模型的深入探讨。 Apache 2.0版本引入的过滤器是另一个关键部分,书中讲解了过滤器的使用方法和实现原理,特别关注了存储段和存储段组这两种数据组织形式。作者对Apache中常用的过滤器进行了详细的剖析,帮助读者理解它们在实际应用中的作用和内部运作。 《Apache源代码全景分析第1卷:体系结构与核心模块》的目的是揭示Apache运行背后的底层机制和模块开发的细节。无论是Apache模块开发者,还是希望深入了解Apache内部工作原理的管理员,或者是Web服务器和大规模服务器的开发者,都能从中获益匪浅。这本书是他们学习和研究Apache源代码的宝贵资源。扩展资料
《Apache源代码全景分析:体系结构与核心模块》是由张中庆、梁雪平等编著的计算机应用技术类书籍;该书由电子工业出版社于年出版发行。书中详细介绍了Apache的基础体系结构和核心模块的实现机制,包括配置文件、模块化结构、多任务并发,以及网络连接和请求读取等知识。2024-12-24 09:042040人浏览
2024-12-24 08:53442人浏览
2024-12-24 08:341852人浏览
2024-12-24 08:342797人浏览
2024-12-24 08:211278人浏览
2024-12-24 08:16936人浏览
美國前統川普遭到槍擊,消息一出震驚全球,這是1981年時任總統的雷根遇襲後,首度有人試圖暗殺美國總統或總統候選人。美國史上共有4位總統在任內遭到暗殺身亡,最廣為人知的,就是1963年的甘迺迪;另外,前
1.mcgse怎么双击进入用户窗口属性设置2.组态软件国内品牌mcgse怎么双击进入用户窗口属性设置 mcgse是什么? mcgse是一个允许用户双击进入窗口属性设置的工具,它支持对窗口的各种