Lua5.4 源码剖析——杂谈 之 如何调试Lua源码

       我们有时候写了一段Lua代码，希望能通过断点调试的码教方式看一下我们的代码在执行过程中Lua虚拟机的状态与运行流程。本篇教程我将教大家Windows与Mac环境下如何配置Lua源码调试环境。码教

       Lua调试环境需要有Lua源码，码教我们从官网下载源码：

       Windows下Lua源码调试环境搭建

       1）下载Visual Studio，码教可自行在官网下载最新版本即可：

       2）打开VIsual Studio，码教安装asp源码创建一个新的码教C++控制台工程，我这里以Visual Studio 版本进行举例：

       项目可任意命名，码教本例中我们命名为TestLua：

       3）工程中添加Lua源码文件：

       3.1）拷贝源代码文件到项目的码教文件夹，Makefile文件可以不拷贝：

       3.2）把上面这些文件导入工程：

       "

       .h

       头文件导入：导入所有".h"后缀文件到头文件文件夹中（右键头文件->添加->现有项）：

       "

       .c

       源文件导入：导入所有".c"后缀文件到源文件的码教文件夹（右键源文件->添加->现有项）：

       4）生成exe可执行文件：

       文件都导入完成了，这时候如果按"生成"或者"F5"，码教会有如下的码教报错：

       这是因为除了我们创建项目工程的时候自带源文件中的一个main函数以外，Lua源码中也定义了两个Main函数。码教他们分别对应的码教是luac编译工具的启动函数和lua运行工具的启动函数。要想编译通过，码教我们只需要根据自己要调试目的，从3个main里面把用不到的2个main删掉或者重命名即可。

       本例中，我打算在自己的main里面实现通过dofile函数执行一个Lua文件的功能，所以我不需要启动lua和luac指令控制台，所以我把他们的main函数改名：

       luac.c：把main函数改名为luac_main函数：

       lua.c：把main函数改为lua_main：

       上述源码中多余的2个main函数都改名了，这时候已经能编译通过并生成出exe可执行文件了。

       接下来我们可以开始编写自己的main函数逻辑了，打开TestLua.cpp，输入以下内容，作用是运行一个在项目目录下名字为"testlua.lua"的lua文件：

       5）testlua.lua文件创建与编写：

       上述代码在运行时会执行testlua.lua文件，接下来我们就需要在工程目录下创建这个将要被执行的testlua.lua文件：

       打开testlua.lua文件，添加任意lua代码，这里我们简单调用print打印一句信息：

       6）在Visual Studio中按“F5”开启调试，可以看到控制台被成功运行，我们的lua文件也被成功执行，打印出了信息：

       7）断点调试指令OpCode：

       学习过我的《Lua源码剖析 之 虚拟机》系列教程的同学应该知道Lua的指令就是各种OpCode的执行，我们可以在《lvm.c》的下面这个地方加断点再按F5重新启动程序，程序在每执行一条OpCode指令就会在这处代码断点下来，辅助整套源码这时候我们就能看到下一条要执行的OpCode是哪一条了：

       在本例中的print函数最终会执行到OP_CALL这个调用分支：

       Windows环境下搭建Lua源码调试环境的教程到此结束。

       Mac下Lua源码调试环境搭建

       因为大部分流程与上面Windows一样，所以我下面会省略一些重复步骤。

       1）下载XCode，可自行在AppStore进行下载。

       2）打开XCode，创建一个新的C++控制台工程，本例中命名为TestLua：

       3）工程中添加Lua源码文件：

       3.1）拷贝源代码文件到项目的文件夹，Makefile文件可以不拷贝：

       3.2）把拷贝后的文件导入工程：

       不需要区分".h"和".cpp"，全选导进来就好了：

       4）与Windows流程同样，把源码自带的2个main函数改名：

       luac.c：把main函数改名为luac_main函数：

       lua.c：把main函数改为lua_main：

       把源码中多余的2个main函数都改名了，接下来同样，开始编写我们的main.cpp，打开该文件并添加代码如下代码。为了在mac下文件读取代码更简洁，在下面的Lua文件我暂时先使用文件的绝对路径，暂时把testlua.lua文件放在我的mac的桌面上进行读取：

       5）在mac的桌面上创建testlua.lua文件，添加任意lua代码：

       6）同理可正常运行或者加断点进行调试，这里不再赘述：

       总结

       本文我们学习了如何在Windows与Mac下搭建Lua源码调试环境。另外，我们上述使用的例子是通过dofile运行一个lua文件，同学们也可以试试保留lua.c里面的main函数，删掉另外两个，此时按开始调试可启动lua的即时解析控制台，在控制台里面可自行输入任意Lua代码，并可断点查看即时运行状态或最终结果，感兴趣的同学可以自行试试。

       不过，尽管能调试Lua源码，但如果之前没有学习过我的那些Lua源码剖析教程，可能很多地方会看不懂，所以这里建议有空的同学还是可以先去学习一下的。

       谢谢阅读。whatsns 源码下载

LuaJIT源码分析（一）搭建调试环境

       LuaJIT，这个以高效著称的lua即时编译器（JIT），因其源码资料稀缺，促使我们不得不自建环境进行深入学习。分析源码的第一步，就是搭建一个可用于调试的环境，但即使是这个初始步骤，能找到的指导也相当有限，反映出LuaJIT的编译过程复杂性。

       首先，从官方git仓库开始，通过命令`git clone patible bytecode"错误。

       2. 利用命令行工具进行编译。在mac操作系统中，直接执行"make"即可完成编译；对于win用户，需先配置VSCommandPrompt，执行参数为"/k \"C:\\Program Files (x)\\Microsoft Visual Studio .0\\Common7\\Tools\\VsDevCmd.bat\""，然后进入jit源代码目录并运行"msvcbuild.bat"进行编译。

       3. 使用"luajit -b"命令生成bytecode，此步骤生成的bytecode在runtime中通过interpreter模式运行。值得注意的是，jit bytecode生成后，行号钩子失效，可能影响基于行号的debug或profile操作，需要进行相应的调整。

       考虑到不同平台对JIT模式的处理，ios系统默认关闭JIT，而android则需通过"jit.off()"进行手动关闭。在游戏开发中，对JIT模式的使用需谨慎考虑，以避免可能的性能损耗。

       在禁用JIT模式后，游戏开发者可能会考虑使用luac而非jit的彩虹源码4.5bytecode。然而，针对iOS禁用JIT、Android主动关闭JIT，以及可能面临其他平台不稳定情况，仍选择使用jit的bytecode具有以下优势：

       1. 减少体积，提高包体、内存、转化率和热更文件大小的效率。相较于luac，jit的bytecode体积减少了约%。

       2. 加速require代码时的load过程，性能提升达倍。在禁用JIT的环境下，性能特性与luac保持一致，无需对代码进行额外优化。

如何使用unlua反编译来查看lua代码?

       要使用unlua反编译Lua字节码查看源代码，主要步骤如下：

       首先，确保你的环境安装了Lua编译器和unlua工具。

       接着，确定你想要保存反编译后源代码文件的目标目录，即output_directory。

       随后，准备好需要反编译的Lua字节码文件，其名称为input_file.luac。

       打开终端或命令提示符，输入以下命令来执行反编译操作：

       unlua -o output_directory input_file.luac

       这里，unlua工具会将指定的输入Lua字节码文件反编译为源代码文件，并将结果保存在指定的目标目录下。

       通过以上步骤，你便成功地使用unlua工具查看了Lua字节码文件的源代码。这种方法尤其适用于研究和调试，帮助开发者了解Lua代码的内部工作原理。

Unlua源码解析（一） 通过 UE 命名空间访问C++类型

       通过UE4的staple算法源码命名空间访问C++类型的机制，让我们从一个具体的例子出发，即UE4.UKismetSystemLibrary.PrintString（“hello”），来深入解析这一过程。在Unlua提供的例子中，HelloWorld的实现展现了Lua与C++的交互方式。要理解为什么Lua的代码能最终调用C++的方法，并且成功执行，我们需要从底层逻辑出发，解析这一过程中的关键步骤。

       首先，我们从Unlua.lua中的声明开始，UE4实际上被表示为全局表_G，其元表为global_mt，Index元方法为global_index。当我们在Lua代码中尝试访问UE4的成员，如UKismetSystemLibrary，实际上是在查找全局表_G中的“UKismetSystemLibrary”。为了实现这一查找，我们引入了元方法，即global_index方法，其在Lua代码中扮演了关键角色。

       在访问过程中，当Lua尝试获取表中不存在的“UKismetSystemLibrary”时，会触发元方法global_index。这个过程实际上涉及到一系列的函数调用，包括RegisterClass等。注册类的逻辑在于，将C函数注册为Lua端可以通过全局名称访问的函数。在这一过程中，UE4.UKismetSystemLibrary最终会成为一个Lua端的表，其元表指向自身，并且通过特定的元方法（如Class_Index）来处理访问与调用。

       在UE4.UKismetSystemLibrary.PrintString（“Hello”）的调用中，我们可以看到一系列的执行逻辑。首先，通过一系列函数调用，UE4.UKismetSystemLibrary表中实现了PrintString方法的描述信息与调用机制。这个过程涉及到类的注册、属性与方法的描述、以及在Lua端的表中存储这些描述信息。

       最终，当执行PrintString方法时，Lua端的调用实际转化为C++端的函数调用。这一过程涉及到参数的转换、方法的调用机制（如PreCall、ProcessEvent、PostCall等），以及最终的返回值转换与处理。这一系列的步骤确保了Lua端的代码能够与C++端的方法进行交互，实现功能的调用与执行。

       通过这一解析，我们可以清晰地看到，UE4与Unlua的结合是如何通过元方法、表操作以及函数注册机制，实现了Lua与C++之间的高效通信与调用，使得跨语言编程成为可能。这一机制不仅展示了语言间的交互灵活性，也体现了底层设计在实现复杂功能中的重要性。

Lua5.4 源码剖析——虚拟机2 之 闭包与UpValue

       故事将由我们拥有了一段 Lua 代码开始，我们先用 Lua 语言写一段简单的打印一加一计算结果的 Lua 代码，并把代码保存在 luatest.lua 文件中：

       可执行的一个 Lua 文件或者一份单独的文本形式 Lua 代码，在 Lua 源码中叫做 "Chunk"。无论我们通过什么形式去执行，或者用什么编辑器去执行，最终为了先载入这段 Lua 的 Chunk 到内存中，无外乎会归结到以下两种方式：1）Lua 文件的载入：require 函数 或 loadfile 函数；2）Lua 文本代码块的载入：load 函数；这两种方式最终都会来到下面源码《lparse.c》luaY_parser 函数。该函数是解析器的入口函数，负责完成代码解析工作，最终会创建并返回一个 Lua 闭包（LClosure），见下图的红框部分：

       另外，上图中间有一行代码最终会调用到 statement 函数，statement 函数是 Chunk 解析的核心函数，它会一个一个字符地处理我们编写的 Lua 代码，完成词法分析和语法分析工作，想要了解字符处理整个状态流程的可以自行研读该部分源码，见源码《lparse.c》statement 函数部分代码：

       完成了解析工作之后，luaY_parser 函数会把解析的所有成果放到 Lua 闭包（LClosure）对象之中，这些存储的内容能保证后续执行器能正常执行 Lua 闭包对应的代码。

       Lua 闭包由 Proto（也叫函数原型）与 UpValue（也叫上值）构成，见源码《lobject.h》LClosure 定义，我们下面将进行详细的讲解：

       UpValue 是 Lua 闭包数据相关的，在 Lua 的函数调用中，根据数据的作用范围可以把数据分为两种类型：1）内部数据：函数内部自己定义的数据，或者通过函数参数的形式传入的数据（在 Lua 中通过参数传入的数据本质上也是先赋值给一个局部变量）；2）外部数据：在函数的更外层进行定义，脱离了该函数后仍然有效的数据；外部数据在我们的 Lua 闭包中就是 UpValue，也叫上值。

       既然 Lua 支持函数嵌套，也知道了 UpValue 本质就是上层函数的内部数据。那么 UpValue 有必要存储于 Lua 闭包（LClosure）结构体当中吗？是为了性能考虑而做的一层指针引用缓存吗？回答：并不是基于性能的考虑，因为在实际的 Lua 运用场景中，函数嵌套的层数通常来说不会太多，个别函数多一层的查询访问判断不会带来过多的性能开销。需要在闭包当中存储 UpValue 主要原因是因为内存。Lua 作为一门精致小巧的脚本语言，设计初衷不希望占用过多的系统内存，它会尽量及时地清理内存中用不到的对象。在嵌套函数中，内层函数如果仍然有被引用处于有效状态，而外层函数已经没有被引用了已经无效了，此时 Lua 支持在保留内层函数的情况下，对外层函数进行清除，从而可以清理掉外层函数引用的非当前函数 UpValue 用途以外的大量数据内存。

       尽管外层函数被清除了，Lua 仍然可以保持内层函数用到的 UpValue 值的有效性。UpValue 如何能继续保持有效，我们在之前的基础教程《基本数据类型 之 Function》里面学习过，主要是因为 UpValue 有 open 与 close 两种状态，当外层函数被清除的时候，UpValue 会有一个由 open 状态切换到 close 状态的过程，会对数据进行一定的处理，感兴趣的同学可以回到前面复习一下。

       UpValue 有效性例子

       接下来我们举一个代码例子与一个图例，表现一下 UpValue 在退出外层函数后仍然生效的情况，看一下可以做什么样的功能需求，加深一下印象，请看代码与注释：

       上述代码在执行 OutFunc 函数后，外层的 globalFunc 函数变量完成了赋值，每次对它进行调用，都将可以对它引用的 UpValue 值即 outUpValue 变量进行正常加 1。

       函数的内部数据属于函数自身的内容，外部其它函数无法通过直接的方式访问其它函数的内部数据。函数自身的东西会存在于 LClosure 结构体的 Proto*p 字段中。Proto 全称 "Function Prototypes"，通常也可以叫做 "函数原型"，我们来看一下它的定义，见源码《lobject.h》Proto 结构体：

       结构体字段比较多，我们先不细看，后面用到哪个字段会再进行补充说明。函数的内部数据分为常量与变量（即函数局部变量），分别对应上图的如下字段：

       1）常量：TValue* k 为指针指向常量数组；int sizek 为函数内部定义的常量个数，也即常量数组 k 的元素个数。

       2）局部变量：LocVar* locvars 为指针指向局部变量数组；int sizelocvars 为函数定义的局部变量个数，也即局部变量数组 locvars 的元素个数。

       UpValue 的描述信息会存储在 Proto 结构体中的 Upvaldesc* upvalues 字段，解析器解析 Lua 代码的时候会生成这个 UpValue 描述信息，并用于生成指令，而执行器运行的时候可以通过该描述信息方便快速地构建出真正的 UpValue 数组。

       至此，我们知道了函数拥有 UpValue，有常量，有局部变量。外部数据 UpValue 也讲完，内部数据也讲完。接下来，我们开始学习函数运行的逻辑指令相关内容。

       函数逻辑指令存储于函数原型 Proto 结构体中，这些函数逻辑是由一行行的 Lua 代码构成的，代码会被解析器翻译成 Lua 虚拟机能识别的指令，我们把这些指令称为 "OpCode"，也叫 "操作码"。Proto 结构体存储 OpCode 使用的是下图中红框部分字段，见源码《lobject.h》Proto 结构体：

       至此，我们可以简单提前说一下 Lua 虚拟机的功能了，本质上来看，Lua 虚拟机的工作，就是为当前函数（或者当前一段 OpCode 数组）准备好数据，然后有序执行 OpCode 指令。

       对 OpCode 有了一定的认识了，接下来我们要补充一个 OpCode 相关的 Lua 闭包相关的内容，就是 Lua 闭包的运行环境。

       一个 Lua 文件在载入的时候会先创建出一个最顶层（Top level）的 Lua 闭包，该闭包默认带有一个 UpValue，这个 UpValue 的变量名为 "_ENV"，它指向 Lua 虚拟机的全局变量表，即_G 表，可以理解为_G 表即为当前 Lua 文件中代码的运行环境 (env)。事实上，每一个 Lua 闭包它们第一个 UpValue 值都是_ENV。

       ENV 的定义在我们之前提到的解析器相关函数 mainfunc 中，见源码《lparser.c》：

       如果想要设置这个载入后的初始运行环境不使用默认的 _G 表，除了直接在该文件代码中重新赋值_ENV 变量这种粗暴且不推荐的方式以外，通常是通过我们前面提到的加载 Lua 文件函数或加载 Lua 字符串代码函数传入 env 参数（Table 类型），就可以用自定义的 Table 作为当前 Lua 闭包的全局变量环境了，env 参数为上面两个函数的最末尾一个参数，'[' 与 ']' 字符中的内容表示参数可选，函数的定义摘自 Lua5.4 官网文档：

       所以我们可以在 Lua 代码通过 _ENV 访问当前环境：

       在 Lua 的旧版本中，变量的查询最多会分为 3 步：1）先从函数局部变量中进行查找；2）找不到的话就从 UpValue 中查找；3）还找不到就从全局环境默认 _G 表查找。而在 Lua5.4 中，把 UpValue 与全局 _G 表的查询统一为 UpValue 查询，并把一些操作判断提前到了解析器解析阶段进行，例如函数内部使用的某个 UpVaue 变量在代码解析的时候就可以通过 UpValue 描述信息知道存储于 Lua 闭包 upvals 数组的哪个下标位置，在执行器运行的时候只需要直接在数组拿取对应下标的这个 UpValue 数据即可。

       从 OpCode 的层面来看，Lua 除了支持通过一个 UpValue 数组下标访问一个 UpValue 变量，在把 _G 表合并到 UpValue 之后，Lua 为此实现了通过一个字符串 key 值从某个 Table 类型的 UpValue 中查询变量的操作。

       至此，我们了解了 Lua 闭包的结构与运行环境，以及 OpCode 的基本概念。接下来，我们将深入学习 OpCode，掌握 OpCode 就掌握了整个 Lua 虚拟机数据与逻辑的流向。