1.node.js中的偷源fs.readdirSync方法使用说明
2.抽丝剥茧:Electron与Node.js的奇葩Bug
3.fs是什么意思吗?
4.node.js中的fs.readdir方法使用说明
5.vue反编译dist包到源码
6.fs社区是什么意思?
node.js中的fs.readdirSync方法使用说明
方法说明:
同步版本的 fs.readdir() 。
方法将返回一个包含“指定目录下所有文件名称”的偷源数组对象。
语法:
代码如下:
fs.readdirSync(path)
由于该方法属于fs模块,偷源使用前需要引入fs模块(var fs= require(“fs”) )
接收参数:
path 目录路径
例子:
代码如下:
var fs = require('fs');
var readDir = fs.readdirSync('readdirtest');
console.log(readDir);
源码:
代码如下:
fs.readdirSync = function(path) {
nullCheck(path);
return binding.readdir(pathModule._makeLong(path));
};
抽丝剥茧:Electron与Node.js的偷源奇葩Bug
起因是最近在用Electron开发一个桌面端项目,有个需求是偷源需要遍历某个文件夹下的所有JavaScript文件,对它进行AST词法语法分析,偷源pytorch得到源码解析出元数据并写入到某个文件里。偷源需求整体不复杂,偷源只是偷源细节有些麻烦,当我以为开发的偷源差不多时,注意到一个匪夷所思的偷源问题,查的偷源我快怀疑人生。
缘起
什么问题呢?
原来这个需求一开始仅是偷源遍历当前文件夹下的文件,我的偷源获取所有JS文件的代码是这样的:
后来需求改为要包含文件夹的子文件夹,那就需要进行递归遍历。偷源按照我以前的做法,当然是手撸一个递归,代码并不复杂,缺点是递归可能会导致堆栈溢出:
但做为一个紧跟时代浪潮的开发者,我知道Node.js的fs.readdir API中加了一个参数recursive,表示可以进行递归,人家代码的鲁棒性肯定比我的好多了:
只改了一行代码,美滋滋~
兼容性怎么样呢?我们到Node.js的API文档里看下:
是从v..0添加的,而我本地使用的Node.js版本正是这个(好巧),我们Electron中的Node.js版本是多少呢?先看到electron的版本是.0.4:
在Electron的 发布页上能找到这个版本对应的是..1,比我本地的还要多一个小版本号:
这里需要说明一下,Electron之所以优于WebView方案,是因为它内置了Chrome浏览器和Node.js,锁定了前端与后端的版本号,这样只要Chrome和Node.js本身的跨平台没有问题,理论上Electron在各个平台上都能获得统一的UI与功能体验。 而以Tauri为代表的WebView方案,则是不内置浏览器,应用程序使用宿主机的浏览器内核,开发包的体积大大减小,比如我做过的同样功能的一个项目,Electron版本有M+,智能电灯源码而Tauri的只有4M左右。虽然体积可以这么小,又有Rust这个性能大杀器,但在实际工作中的技术选型上,想想各种浏览器与不同版本的兼容性,换我也不敢头铁地用啊! 所以,尽管Electron有这样那样的缺点,仍是我们开发客户端的不二之选。 之所以提这个,是因为读者朋友需要明白实际项目运行的是Electron内部的Node.js,而我们本机的Node.js只负责启动Electron这个工程。
以上只是为了说明,我这里使用fs.readdir这个API新特性是没有问题的。
排查
为方便排查,我将代码再度简化,提取一个单独的文件中,被Electron的Node.js端引用:
能看到控制台打印的 Node.js 版本与我们刚才查到的是一样的,文件数量为2:
同样的代码使用本机的Node.js执行:
难道是这个小版本的锅?按理说不应该。但为了排除干扰,我将本机的Node.js也升级为..1:
这下就有些懵逼了!
追踪
目前来看,锅应该是Electron的。那么第一思路是什么?是不是人家已经解决了啊?我要不要先升个级?
没毛病。
升级Electron
将Electron的版本号换成最新版本v.1.0:
再看效果:
我去,正常了!
不过,这个包的升级不能太草率,尤其正值发版前夕,所以还是先改代码吧,除了我上面手撸的代码外,还有个包readdirp也可以做同样的事情:
这两种方式,在原版本的Electron下都没有问题。
GitHub上搜索
下来接着排查。
Electron是不是有人发现了这个Bug,才进行的记录软件源码修复呢?
去 GitHub issue里瞅一瞅:
没有,已经关闭的问题都是年提的问题,而我们使用的Electron的版本是年月日发布的。 那么就去 代码提交记录里查下(GitHub这个功能还是很好用的):
符合条件的就一条,打开看下:
修复的这个瞅着跟我们的递归没有什么关系嘛。
等等,这个文件是什么鬼?
心血来潮的收获
我们找到这个文件,目录在lib下:
从命名上看,这个文件是对Node.js的fs模块的一个包装。如果你对Electron有了解的话,仔细一思索,就能理解为什么会有这么个文件了。我们开发时,项目里会有许多的资源,Electron的Node.js端读取内置的文件,与正常Node.js无异,但事实上,当我们的项目打包为APP后,文件的路径与开发状态下完全不一样了。所以Electron针对打包后的文件处理,重写了fs的各个方法。
这段代码中重写readdir的部分如下:
上面的判断isAsar就是判断是否打包后的归档文件,来判断是否要经Electron特殊处理。如果要处理的话,会调用Electron内部的C++代码方法进行处理。
我发现,这里Electron并没有对打包后的归档文件处理递归参数recursive,岂不是又一个Bug?应该提个issue提醒下。
不过,我们目前的问题,并不是它造成的,因为现在是开发状态下,上面代码可以简化为:
对Promise了如指掌的我怎么看这代码也不会有问题,只是心血来潮执行了一下:
我去,差点儿脑溢血!
好的一点是,曙光似乎就在眼前了!萝卜通道源码事实证明,心血来潮是有用的!
Node.js的源码
这时不能慌,本地切换Node.js版本为v,同样的代码再执行下:
这说明Electron是被冤枉的,锅还是Node.js的!
Node.js你这个浓眉大眼的,居然也有Bug!呃,还偷偷修复了!
上面的情况,其实是说原生的fs.readdir有问题:
也就是说,fs.promises.readdir并不是用util.promisify(fs.readdir)实现的!
换成同步的代码readdirSync,效果也是一样:
我们来到Node.js的GitHub地址,进行 搜索:
打开这两个文件,能发现,二者确实是不同的实现,不是简单地使用util.promisify进行转换。
fs.js
我们先看 lib/fs.js。
当recursive为true时,调用了一个readdirSyncRecursive函数,从这个命名上似乎可以看出有性能上的隐患。正常来说,这个函数是异步的,不应该调用同步的方法,如果文件数量过多,会把主进程占用,影响性能。
如果没有recursive,则是原来的代码,我们看到binding readdir这个函数,凡是binding的代码,应该就是调用了C++的底层库,进行了一次『过桥』交互。
我们接着看readdirSyncRecursive,mysql 源码6它的命名果然没有毛病,binding readdir没有第4个参数,是完全同步的,这个风险是显而易见的:
fs/promises.js
在lib/internal/fs/promises.js中,我们看到binding readdir的第4个参数是kUsePromises,表明是个异步的处理。
当传递了recursive参数时,将调用readdirRecursive,而readdirRecursive的代码与readdirSyncRecursive的大同小异,有兴趣的可以读一读:
fs.js的提交记录
我们搜索readdir的提交记录,能发现这两篇都与深度遍历有关:
其中 下面的这个,正是我们这次问题的罪魁祸首。
刚才看到的fs.js中的readdirSyncRecursive里这段长长的注释,正是这次提交里添加的:
从代码对比上,我们就能看出为什么我们的代码遍历的程序为2了,因为readdirResult是个二维数组,它的长度就是2啊。取它的第一个元素的长度才是正解。坑爹!
也就是说,如果不使用withFileTypes这个参数,得到的结果是没有问题的:
发版记录
我们在Node.js的发版记录中,找到这条提交记录,也就是说,v..0才修复这个问题。
而Electron只有Node.js更新到v后,这个功能才修复。
而从Electron与Node.js的版本对应上来看,得更新到v了。
只是需要注意的是,像前文提过的,如果是遍历的是当前项目的内置文件,Electron并没有支持这个新的参数,在打包后会出现Bug。
fs的同步阻塞
其实有人提过一个 issue:
确实是个风险点。所以,建议Node.js开发者老老实实使用fs/promises代替fs,而Electron用户由于坑爹的fs包裹,还是不要用这个特性了。
总结
本次问题的起因是我的一个Electron项目,使用了一个Node.js fs API的一个新参数recursive递归遍历文件夹,偶然间发现返回的文件数量不对,就开始排查问题。
首先,我选择了升级Electron的包版本,发现从v.0.4升级到最新版本v.1.0后,问题解决了。但由于发版在即,不能冒然升级这么大件的东西,所以先使用readdirp这个第三方包处理。
接着排查问题出现的原因。我到Electron的GitHub上搜索issue,只找到一条近期的提交,但看提交信息,不像是我们的目标。我注意到这条提交的修改文件(asar-fs-wrapper.ts),是Electron针对Node.js的fs API的包装,意识到这是Electron为了解决打包前后内置文件路径的问题,心血来潮之下,将其中核心代码简化后,测试发现问题出在fs.promises readdir的重写上,继而锁定了Node.js版本v..1的fs.readdir有Bug。
下一步,继续看Node.js的源码,确定了fs.promises与fs是两套不同的实现,不是简单地使用util.promisify进行转换。并在fs的代码找到关于recursive递归的核心代码readdirSyncRecursive。又在提交记录里,找到这段代码的修复记录。仔细阅读代码对比后,找到了返回数量为2的真正原因。
我们在Node.js的发版记录中,找到了这条记录的信息,确定了v..0才修复这个问题。而内嵌Node.js的Electron,只有v版本起才修复。
不过需要注意的是,如果是遍历的是当前项目的内置文件,由于Electron并没有支持这个新的参数,在打包后会出现Bug。而且由于fs.readdir使用recursive时是同步的,Electron重写的fs.promises readdir最终调用的是它,可能会有隐性的性能风险。
本次定位问题走了些弯路,一开始将目标锁定到Electron上,主要是它重写fs的锅,如果我在代码中用的fs.readdirSync,那么可能会更早在Node.js上查起。谁能想到我调用的fs.promises readdir不是真正的fs.promises readdir呢?
最后,针对此次问题,我们有以下启示:
PS:我给Electron提了个 issue,一是让他们给fs.readdir添加recursive参数的实现,二是让他们注意下重写时fs.promises readdir的性能风险。
fs是什么意思吗?
fs的意思有:文件系统、金融服务、自由软件、飞行安全、森林保护。
1、文件系统:在计算机中,文件系统是一种用于管理和组织数据的方法。它定义了文件和目录的命名、存储和访问方式。文件系统可以在硬盘、闪存或其他存储介质上进行操作,使用户能够创建、读取、修改和删除文件。
2、金融服务:FS是金融行业的缩写,代表金融服务。金融服务包括银行、证券、保险、信贷等各种金融机构提供的各种服务。金融服务在全球经济中起着重要的角色,为个人和企业提供了各种金融产品和服务,支持经济发展和风险管理。
3、自由软件:FS是自由软件的简称,是指在使用和修改上有各种自由度的软件。自由软件不仅允许用户免费使用,而且允许用户查看、修改和重新发布软件的源代码。这种自由性使得用户能够自由地共享和改进软件,以满足其特定需求。
4、飞行安全:FS是飞行安全的缩写,用于指代航空公司、机场和飞行器制造商等在飞行过程中确保安全的一系列措施。飞行安全涉及飞行员的培训和资质、飞行器的设计和维护、空管系统的运作以及航空公司的安全管理体系等方面。
5、森林保护:FS是森林保护或可持续林业管理的一种认证标准,旨在确保木材和木制产品的可持续生产和消费。获得FS认证的企业和产品需要符合一系列环境、社会和经济可持续性标准,以保护森林资源、生态系统和当地社区的利益。
node.js中的fs.readdir方法使用说明
方法说明:
以异步的方式读取文件目录。
语法:
代码如下:
fs.readdir(path, [callback(err,files)])
由于该方法属于fs模块,使用前需要引入fs模块(var fs= require(“fs”) )
接收参数:
path 目录路径
callback 回调,传递两个参数 err 和 files,files是一个包含 “ 指定目录下所有文件名称的” 数组。
例子:
代码如下:
var fs = require('fs');
fs.readdir('readdirtest', function(err,files){
if(err){
console.log(err);
}
console.log(files);
})
源码:
代码如下:
fs.readdir = function(path, callback) {
callback = makeCallback(callback);
if (!nullCheck(path, callback)) return;
binding.readdir(pathModule._makeLong(path), callback);
};
vue反编译dist包到源码
在处理老项目源码缺失问题时,可以通过反编译dist包获取部分源码。以下是具体步骤:
当面临源码缺失的挑战时,可以通过反编译dist包来补全代码。首先,需要在管理员权限下启动命令行工具(cmd)。 在dist包的static/js目录下,找到如0.7ab7dffccc1ca.js.map这样的编译映射文件。以这个文件为例,执行反编译操作,可以全局安装reverse-sourcemap插件,然后执行命令:reverse-sourcemap --output-dir source 0.7ab7dffccc1ca.js.map 为了自动化这个过程,可以编写脚本利用Node.js的child_process模块。通过fs模块遍历文件夹,找出所有.map文件,将其存入数组,然后使用递归调用reverse-sourcemap命令。以下是关键步骤的脚本编写方法:创建一个函数,用于执行反编译命令(reverse-sourcemap)。
使用fs模块读取文件并使用正则表达式匹配.map文件。
遍历匹配到的.map文件,并调用执行函数。
通过这些步骤,你将能够从dist包反编译出部分源码,尽管可能只限于Vue文件,但这已能满足基本需求。最终,你会看到source目录下反编译得到的源码文件。fs社区是什么意思?
FS社区是自由软件社区的缩写,是一个非营利性组织。它的目标是在自由软件的原则下,发展和推广自由文化和开放科技,并为开源软件的开发者和用户提供支持和互动的场所。FS社区致力于维护计算机用户权利,它提供免费的操作系统、软件程序和源代码,鼓励开发人员自由地披露和共享他们的代码。
在FS社区,一个核心的价值观是自由。自由软件是指可以任意复制、分发、修改和使用的软件,其许可证不限制用户在任何情况下使用软件。由于软件的自由性,FS社区依托社区的力量,促进了自由软件的发展。它可以避免商业软件的限制和不公平竞争,让人们宽松地使用软件进行计算和创造。
FS社区是构建自由软件发展生态的一项重要工具。在这个社区中,人们可以共享他们的知识、经验和技能。它鼓励开发人员互相合作和交流,而不会受到资本和政治势力的影响。在FS社区中,开源软件的发展可以获得越来越多的支持和认知,而且越来越多的人在使用和开发它。这将对整个社会的发展产生深远的影响。
node.js中的fs.mkdirSync方法使用说明
方法说明:
同步版的 fs.mkdir() 。
语法:
代码如下:
fs.mkdirSync(path, [mode])
由于该方法属于fs模块,使用前需要引入fs模块(var fs= require(“fs”) )
接收参数:
path 将创建的目录路径
mode 目录权限(读写权限),默认
例子:
代码如下:
var fs = require('fs');
var creats = fs.mkdirSync('creatdir2', );
console.log(creats);
源码:
代码如下:
fs.mkdirSync = function(path, mode) {
nullCheck(path);
return binding.mkdir(pathModule._makeLong(path),
modeNum(mode, /*=*/));
};
2024-12-24 09:46
2024-12-24 09:25
2024-12-24 09:22
2024-12-24 09:15
2024-12-24 08:54
2024-12-24 07:26