1.抽丝剥茧:Electron与Node.js的隐患源码隐患源码奇葩Bug
2.网站被挂马,后来删除了,提交提交但是隐患源码隐患源码百度快照上面还是显示违法信息
3.源代码审计工具之:SonarQube
4.多个系统源代码暴露在互联网,超四百万公民个人隐私信息存在泄露的提交提交风险
5.原件源码是什么意思?
6.代码安全扫描的对象是什么
抽丝剥茧:Electron与Node.js的奇葩Bug
起因是最近在用Electron开发一个桌面端项目,有个需求是隐患源码隐患源码需要遍历某个文件夹下的所有JavaScript文件,对它进行AST词法语法分析,提交提交找源码的网站解析出元数据并写入到某个文件里。隐患源码隐患源码需求整体不复杂,提交提交只是隐患源码隐患源码细节有些麻烦,当我以为开发的提交提交差不多时,注意到一个匪夷所思的隐患源码隐患源码问题,查的提交提交我快怀疑人生。
缘起
什么问题呢?
原来这个需求一开始仅是隐患源码隐患源码遍历当前文件夹下的文件,我的提交提交获取所有JS文件的代码是这样的:
后来需求改为要包含文件夹的子文件夹,那就需要进行递归遍历。隐患源码隐患源码按照我以前的做法,当然是手撸一个递归,代码并不复杂,缺点是递归可能会导致堆栈溢出:
但做为一个紧跟时代浪潮的开发者,我知道Node.js的fs.readdir API中加了一个参数recursive,表示可以进行递归,人家代码的鲁棒性肯定比我的好多了:
只改了一行代码,美滋滋~
兼容性怎么样呢?我们到Node.js的API文档里看下:
是从v..0添加的,而我本地使用的Node.js版本正是这个(好巧),我们Electron中的Node.js版本是多少呢?先看到electron的版本是.0.4:
在Electron的 发布页上能找到这个版本对应的是..1,比我本地的还要多一个小版本号:
这里需要说明一下,Electron之所以优于WebView方案,是因为它内置了Chrome浏览器和Node.js,锁定了前端与后端的版本号,这样只要Chrome和Node.js本身的跨平台没有问题,理论上Electron在各个平台上都能获得统一的UI与功能体验。 而以Tauri为代表的WebView方案,则是不内置浏览器,应用程序使用宿主机的浏览器内核,开发包的体积大大减小,比如我做过的同样功能的一个项目,Electron版本有M+,而Tauri的只有4M左右。虽然体积可以这么小,又有Rust这个性能大杀器,但在实际工作中的技术选型上,想想各种浏览器与不同版本的兼容性,换我也不敢头铁地用啊! 所以,尽管Electron有这样那样的缺点,仍是我们开发客户端的不二之选。 之所以提这个,是因为读者朋友需要明白实际项目运行的是Electron内部的Node.js,而我们本机的Node.js只负责启动Electron这个工程。
以上只是iview项目源码 下载为了说明,我这里使用fs.readdir这个API新特性是没有问题的。
排查
为方便排查,我将代码再度简化,提取一个单独的文件中,被Electron的Node.js端引用:
能看到控制台打印的 Node.js 版本与我们刚才查到的是一样的,文件数量为2:
同样的代码使用本机的Node.js执行:
难道是这个小版本的锅?按理说不应该。但为了排除干扰,我将本机的Node.js也升级为..1:
这下就有些懵逼了!
追踪
目前来看,锅应该是Electron的。那么第一思路是什么?是不是人家已经解决了啊?我要不要先升个级?
没毛病。
升级Electron
将Electron的版本号换成最新版本v.1.0:
再看效果:
我去,正常了!
不过,这个包的升级不能太草率,尤其正值发版前夕,所以还是先改代码吧,除了我上面手撸的代码外,还有个包readdirp也可以做同样的事情:
这两种方式,在原版本的Electron下都没有问题。
GitHub上搜索
下来接着排查。
Electron是不是有人发现了这个Bug,才进行的修复呢?
去 GitHub issue里瞅一瞅:
没有,已经关闭的问题都是年提的问题,而我们使用的Electron的版本是年月日发布的。 那么就去 代码提交记录里查下(GitHub这个功能还是很好用的):
符合条件的就一条,打开看下:
修复的这个瞅着跟我们的递归没有什么关系嘛。
等等,这个文件是什么鬼?
心血来潮的收获
我们找到这个文件,目录在lib下:
从命名上看,这个文件是对Node.js的fs模块的一个包装。如果你对Electron有了解的话,仔细一思索,就能理解为什么会有这么个文件了。我们开发时,项目里会有许多的资源,Electron的Node.js端读取内置的文件,与正常Node.js无异,但事实上,当我们的项目打包为APP后,文件的路径与开发状态下完全不一样了。所以Electron针对打包后的文件处理,重写了fs的各个方法。
这段代码中重写readdir的部分如下:
上面的判断isAsar就是判断是否打包后的归档文件,来判断是否要经Electron特殊处理。如果要处理的话,会调用Electron内部的C++代码方法进行处理。
我发现,这里Electron并没有对打包后的obj网格合并 源码归档文件处理递归参数recursive,岂不是又一个Bug?应该提个issue提醒下。
不过,我们目前的问题,并不是它造成的,因为现在是开发状态下,上面代码可以简化为:
对Promise了如指掌的我怎么看这代码也不会有问题,只是心血来潮执行了一下:
我去,差点儿脑溢血!
好的一点是,曙光似乎就在眼前了!事实证明,心血来潮是有用的!
Node.js的源码
这时不能慌,本地切换Node.js版本为v,同样的代码再执行下:
这说明Electron是被冤枉的,锅还是Node.js的!
Node.js你这个浓眉大眼的,居然也有Bug!呃,还偷偷修复了!
上面的情况,其实是说原生的fs.readdir有问题:
也就是说,fs.promises.readdir并不是用util.promisify(fs.readdir)实现的!
换成同步的代码readdirSync,效果也是一样:
我们来到Node.js的GitHub地址,进行 搜索:
打开这两个文件,能发现,二者确实是不同的实现,不是简单地使用util.promisify进行转换。
fs.js
我们先看 lib/fs.js。
当recursive为true时,调用了一个readdirSyncRecursive函数,从这个命名上似乎可以看出有性能上的隐患。正常来说,这个函数是异步的,不应该调用同步的方法,如果文件数量过多,会把主进程占用,影响性能。
如果没有recursive,则是原来的代码,我们看到binding readdir这个函数,凡是binding的代码,应该就是调用了C++的底层库,进行了一次『过桥』交互。
我们接着看readdirSyncRecursive,它的命名果然没有毛病,binding readdir没有第4个参数,是ai论文系统源码完全同步的,这个风险是显而易见的:
fs/promises.js
在lib/internal/fs/promises.js中,我们看到binding readdir的第4个参数是kUsePromises,表明是个异步的处理。
当传递了recursive参数时,将调用readdirRecursive,而readdirRecursive的代码与readdirSyncRecursive的大同小异,有兴趣的可以读一读:
fs.js的提交记录
我们搜索readdir的提交记录,能发现这两篇都与深度遍历有关:
其中 下面的这个,正是我们这次问题的罪魁祸首。
刚才看到的fs.js中的readdirSyncRecursive里这段长长的注释,正是这次提交里添加的:
从代码对比上,我们就能看出为什么我们的代码遍历的程序为2了,因为readdirResult是个二维数组,它的长度就是2啊。取它的第一个元素的长度才是正解。坑爹!
也就是说,如果不使用withFileTypes这个参数,得到的结果是没有问题的:
发版记录
我们在Node.js的发版记录中,找到这条提交记录,也就是说,v..0才修复这个问题。
而Electron只有Node.js更新到v后,这个功能才修复。
而从Electron与Node.js的版本对应上来看,得更新到v了。
只是需要注意的是,像前文提过的,如果是遍历的是当前项目的内置文件,Electron并没有支持这个新的参数,在打包后会出现Bug。
fs的同步阻塞
其实有人提过一个 issue:
确实是个风险点。所以,建议Node.js开发者老老实实使用fs/promises代替fs,而Electron用户由于坑爹的fs包裹,还是不要用这个特性了。
总结
本次问题的起因是我的一个Electron项目,使用了一个Node.js fs API的一个新参数recursive递归遍历文件夹,偶然间发现返回的文件数量不对,就开始排查问题。
首先,我选择了升级Electron的包版本,发现从v.0.4升级到最新版本v.1.0后,问题解决了。但由于发版在即,不能冒然升级这么大件的东西,所以先使用readdirp这个第三方包处理。
接着排查问题出现的原因。我到Electron的同花顺饿狼指标源码GitHub上搜索issue,只找到一条近期的提交,但看提交信息,不像是我们的目标。我注意到这条提交的修改文件(asar-fs-wrapper.ts),是Electron针对Node.js的fs API的包装,意识到这是Electron为了解决打包前后内置文件路径的问题,心血来潮之下,将其中核心代码简化后,测试发现问题出在fs.promises readdir的重写上,继而锁定了Node.js版本v..1的fs.readdir有Bug。
下一步,继续看Node.js的源码,确定了fs.promises与fs是两套不同的实现,不是简单地使用util.promisify进行转换。并在fs的代码找到关于recursive递归的核心代码readdirSyncRecursive。又在提交记录里,找到这段代码的修复记录。仔细阅读代码对比后,找到了返回数量为2的真正原因。
我们在Node.js的发版记录中,找到了这条记录的信息,确定了v..0才修复这个问题。而内嵌Node.js的Electron,只有v版本起才修复。
不过需要注意的是,如果是遍历的是当前项目的内置文件,由于Electron并没有支持这个新的参数,在打包后会出现Bug。而且由于fs.readdir使用recursive时是同步的,Electron重写的fs.promises readdir最终调用的是它,可能会有隐性的性能风险。
本次定位问题走了些弯路,一开始将目标锁定到Electron上,主要是它重写fs的锅,如果我在代码中用的fs.readdirSync,那么可能会更早在Node.js上查起。谁能想到我调用的fs.promises readdir不是真正的fs.promises readdir呢?
最后,针对此次问题,我们有以下启示:
PS:我给Electron提了个 issue,一是让他们给fs.readdir添加recursive参数的实现,二是让他们注意下重写时fs.promises readdir的性能风险。
网站被挂马,后来删除了,但是百度快照上面还是显示违法信息
我觉得我来回答很有发言权。因为我前段时间也出现了这样的现象。肯定是网站还是被黑客篡改了,只删除是没用的,你看看你的主页的源代码是不是如下这样的,网站标题、关键词、描述都发生了变化,多了如图所示的代码在网站里面。这个就是病毒代码,但是删除之后,过段时间有出现了这样的情况。那是因为删除只是一时的,并没有解决网站漏洞的根本原因。如果自己懂程序,那就可以自己针对代码的漏洞进行漏洞修复,不懂的话,就请专业的网站安全公司来完善一下程序上的某些代码漏洞,国内像SINE安全、绿盟安全、启明星辰都是比较专业的安全公司,很多黑客之所以能植入木马病毒,就是抓住了这些网站代码上的漏洞。
源代码审计工具之:SonarQube
SonarQube是一个开源的代码分析平台,用于持续分析和评估项目源代码的质量。它能检测出项目中的重复代码、潜在bug、代码规范和安全性漏洞等问题,并通过web UI展示结果。
1. Sonar简介
1.1 SonarQube是什么?
1. 代码质量和安全扫描和分析平台。
2. 多维度分析代码:代码量、安全隐患、编写规范隐患、重复度、复杂度、代码增量、测试覆盖率等。
3. 支持+编程语言的代码扫描和分析,包括Java、Python、C#、JavaScript、Go、C++等。
4. 涵盖了编程语言的静态扫描规则:代码编写规范和安全规范。
5. 能够与代码编辑器、CI/CD平台完美集成。
6. 能够与SCM集成,可以直接在平台上看到代码问题是由哪位开发人员提交。
7. 帮助程序猿写出更干净、更安全的代码。
静态扫描主要针对开发人员编写的源代码。
通过定义好的代码质量和安全规则,对开发人员编写的代码进行扫描和分析。
将分析的结果多维护的呈现出来,以方便开发人员进行代码的优化和规范编写。
1.2 SonarQube的各个功能:
1.2.1 代码可靠性
1. BUG检测
2. 设置需要的代码标准
3. 代码异味
4. 代码安全性
5. 对于开发的各个路径进行检测
1.2.2 软件安全性
1. Security Hotspots: 代码存在安全问题的部分
2. Vulnerabilities: 代码是否存在漏洞
1.3 SonarQube如何工作?
Sonar静态代码扫描由两部分组成:SonarQube平台和sonar-scanner扫描器。
SonarQube: web界面管理平台。
1)展示所有的项目代码的质量数据。
2)配置质量规则、管理项目、配置通知、配置SCM等。
SonarScanner: 代码扫描工具。
专门用来扫描和分析项目代码。支持+语言。
代码扫描和分析完成之后,会将扫描结果存储到数据库当中,在SonarQube平台可以看到扫描数据。
SonarQube和sonarScanner之间的关系:
2 检测
Sonar是一个用于代码质量管理的开源平台,用于管理源代码的质量,可以从七个维度检测代码质量。通过插件形式,可以支持包括Java、C#、C/C++、PL/SQL、Cobol、JavaScript、Groovy等等二十几种编程语言的代码质量管理与检测。
2.1 Rules提示
2.1.1 Rule界面
2.1.2 Rule正确实例提示
2.2 糟糕的复杂度分布
文件、类、方法等,如果复杂度过高将难以改变,这会使得开发人员难以理解它们,且如果没有自动化的单元测试,对于程序中的任何组件的改变都将可能导致需要全面的回归测试。
2.3 重复
显然程序中包含大量复制粘贴的代码是质量低下的,Sonar可以展示源码中重复严重的地方。
2.4 缺乏单元测试
Sonar可以很方便地统计并展示单元测试覆盖率。
2.5 没有代码标准
Sonar可以通过PMD、CheckStyle、Findbugs等等代码规则检测工具规范代码编写。
2.6 没有足够的或者过多的注释
没有注释将使代码可读性变差,特别是当不可避免地出现人员变动时,程序的可读性将大幅下降,而过多的注释又会使得开发人员将精力过多地花费在阅读注释上,亦违背初衷。
2.7 潜在的bug
Sonar可以通过PMD、CheckStyle、Findbugs等等代码规则检测工具检测出潜在的bug。
2.8 糟糕的设计(原文Spaghetti Design,意大利面式设计)
通过Sonar可以找出循环,展示包与包、类与类之间的相互依赖关系,可以检测自定义的架构规则;通过Sonar可以管理第三方的jar包,可以利用LCOM4检测单个任务规则的应用情况,检测耦合。
3. Sonar组成
4. Sonar集成过程
开发人员在他们的IDE中使用SonarLint运行分析本地代码。
开发人员将他们的代码提交到代码管理平台中(SVN、GIT等),
持续集成工具自动触发构建,调用SonarScanner对项目代码进行扫描分析,
分析报告发送到SonarQube Server中进行加工,
SonarQube Server加工并且保存分析报告到SonarQube Database中,通过UI显示分析报告。
多个系统源代码暴露在互联网,超四百万公民个人隐私信息存在泄露的风险
截至年3月,绿盟科技创新研究院监测到上万个互联网中暴露的DevOps资产存在未授权访问情况,源代码仓库成为“重灾区”。这些暴露的源代码仓库包含了境内多家机构的重要系统源代码,部分源代码中硬编码了数据存储服务配置信息,存在敏感信息意外泄露的风险。事件敏感,以下仅示例部分脱敏案例,并已上报给相关监管机构。
案例1:某沿海地区的科技公司使用Gitblit维护多个医疗IT系统源代码时配置错误,导致这些系统存在未经授权的访问漏洞。结果,包括某大学附属医院的排班系统在内的多个平台源代码被公开暴露在互联网上。暴露源代码中包含数据库连接详细信息,导致约万名病人的姓名、身份证号、住址等信息以及近1万名医护人员的姓名、****、学历和身份证等个人隐私信息暴露,存在严重隐私泄露风险。
案例2:某互联网科技有限公司使用Gogs维护开发系统的源代码时配置错误,系统被暴露在互联网中并允许未经授权访问。暴露源代码中含有详细的数据库连接信息,导致大约万公民的姓名、手机号、身份证号码等个人隐私信息暴露,存在严重隐私数据泄露风险。
案例3:某教育科技有限公司使用Gitea维护开发系统的源代码时配置错误,系统存在未经授权的访问漏洞。暴露源代码中包含数据库连接详细信息,导致大约万学员姓名、手机、QQ号等个人隐私信息暴露,存在严重隐私数据泄露风险。
此类安全事件不仅暴露了系统的源代码,还暴露了公民的个人隐私信息及敏感数据。这些泄露可能带来数据被不法分子出售、公民面临电诈风险、安全漏洞暴露以及关键基础设施单位存在安全隐患等严重后果。案例显示,数据泄露风险来源于配置错误,导致源代码、敏感信息被不安全方式暴露在互联网上。
云计算技术广泛应用,但带来了安全风险问题。DevOps流程在提升开发、测试和部署效率的同时,也引入了云上安全风险,尤其是源代码、敏感信息的不当管理。绿盟科技创新研究院通过云上网络空间的测绘,揭示云组件暴露面,识别攻击面,以深入了解可能隐藏的安全风险。
针对此类事件,监管部门开始采取行动。如衡阳市网信办对某开发应用网站数据库存在未授权访问漏洞、泄露公民个人信息的公司进行了行政处罚。企业可通过利用绿盟公有云测绘技术、敏感泄露发现服务以及EASM服务,加强自身风险暴露面的发现与防护。定期对内外部和上下游供应链人员进行安全培训,也能有效减少数据泄露事件。
综上,源代码暴露事件对国家安全、关键基础设施单位、企业和公民隐私构成严重威胁。应加强技术监控、提高安全意识、定期进行安全培训,以有效应对云上安全风险。
原件源码是什么意思?
原件源码是指一个软件或者一个系统最原始的代码。原件源码包含了程序员亲手编写的所有代码,包括注释和空行。原件源码的好处是可以让其他程序员更深入地理解和学习一个软件或者系统的实现原理,同时也方便开发者进行二次开发。
对于一些开源的软件或者系统,原件源码是完全对外公开的。这种方式可以促进开源社区的成长,让更多的开发者参与到项目的开发过程中来;同时也可以增强软件或系统的透明度和稳定性,减少潜在的安全隐患。
对于商业软件或者系统来说,公开原件源码是不太可能的,出于商业利益的考虑,商业软件或系统的原件源码只会被少数人掌握。但是,对于一些开放式的商业软件或者系统,其开发者也会建立自己的开发者社区,并提供一定程度的源码开放性,让开发者可以在有限程度上参与到项目的开发中来。
代码安全扫描的对象是什么
代码安全扫描的对象主要是源代码。
源代码是软件开发的基石,包含了程序运行的所有指令和逻辑。然而,编写代码的过程中可能会引入一些安全隐患,如未经验证的用户输入、不安全的函数调用或者潜在的数据泄露等。这些问题如果没有及时发现和修复,可能会被恶意利用,导致系统被攻击或数据被窃取。
代码安全扫描,就是通过自动化的工具来检查源代码,以发现其中可能存在的安全问题。这些工具会分析代码的语法、结构以及调用关系,寻找可能的安全漏洞。例如,某些扫描工具可以检测出SQL注入、跨站脚本攻击等常见安全漏洞的潜在风险。
举个例子,如果一个Web应用程序的源代码中存在直接将用户输入拼接到SQL查询语句中的情况,那么这段代码就存在SQL注入的风险。代码安全扫描工具可以通过静态代码分析,发现这种不安全的编码实践,并提醒开发人员修复。这样,开发人员就可以在代码上线之前,及时修改这部分代码,比如通过使用参数化查询来防止SQL注入攻击,从而提升应用程序的安全性。
总的来说,代码安全扫描的对象是源代码,通过自动化的工具来分析和检测代码中的潜在安全问题,帮助开发人员及时发现并修复安全漏洞,确保软件的质量和安全性。