皮皮网

1.unity urp源码学习一（渲染流程）
2.说说 Python 的元编程
3.抽丝剥茧代码属性图CPG-第一弹：CPG介绍
4.python中的源码pass代表什么意思呢
5.Tensorflow 编译加速器 XLA 源码深入解读
6.Obfuscator-llvm源码分析

unity urp源码学习一（渲染流程）

       sprt的一些基础:

       绘制出物体的关键代码涉及设置shader标签（例如"LightMode" = "CustomLit"），以确保管线能够获取正确的源码shader并绘制物体。排序设置（sortingSettings）管理渲染顺序，源码如不透明物体从前至后排序，源码透明物体从后至前，源码以减少过绘制。源码次元导航源码逐物体数据的源码启用、动态合批和gpuinstance支持，源码以及主光源索引等配置均在此进行调整。源码

       过滤规则（filteringSettings）允许选择性绘制cullingResults中的源码几何体，依据RenderQueue和LayerMask等条件进行过滤。源码

       提交渲染命令是源码关键步骤，无论使用context还是源码commandbuffer，调用完毕后必须执行提交操作。源码例如，源码context.DrawRenderers()用于绘制场景中的网格体，本质上是执行commandbuffer以渲染网格体。

       sprt管线的基本流程涉及context的命令贯穿整个渲染流程。例如，首次调用渲染不透明物体，视频弹幕网站源码大全随后可能调用渲染半透明物体、天空盒、特定层渲染等。流程大致如下：

       多相机情况也通过单个context实现渲染。

       urp渲染流程概览:

       渲染流程始于遍历相机，如果是游戏相机，则调用RenderCameraStack函数。此函数区分base相机和Overlay相机：base相机遍历渲染自身及其挂载的Overlay相机，并将Overlay内容覆盖到base相机上；Overlay相机仅返回，不进行渲染操作。

       RenderCameraStack函数接受CameraData参数，其中包含各种pass信息。添加pass到m_ActiveRenderPassQueue队列是关键步骤，各种pass类实例由此添加至队列。

       以DrawObjectsPass为例，其渲染流程在UniversialRenderer.cs中实现。首先在Setup函数中将pass添加到队列，执行时，执行队列内的短线抓连板源码pass，并按顺序提交渲染操作。

说说 Python 的元编程

       æåˆ°å…ƒè¿™ä¸ªå­—，你也许会想到元数据，元数据就是描述数据本身的数据，元类就是类的类，相应的元编程就是描述代码本身的代码，元编程就是关于创建操作源代码(比如修改、生成或包装原来的代码)的函数和类。主要技术是使用装饰器、元类、描述符类。

       æœ¬æ–‡çš„主要目的是向大家介绍这些元编程技术，并且给出实例来演示它们是怎样定制化源代码的行为。

       è£…饰器 装饰器就是函数的函数，它接受一个函数作为参数并返回一个新的函数，在不改变原来函数代码的情况下为其增加新的功能，比如最常用的计时装饰器：

from functools import wrapsdef timeit(logger=None):"""耗时统计装饰器，单位是秒，保留 4 位小数"""def decorator(func):@wraps(func)def wrapper(*args, **kwargs):start = time.time()result = func(*args, **kwargs)end = time.time()if logger:logger.info(f"{ func.__name__} cost { end - start :.4f} seconds")else:print(f"{ func.__name__} cost { end - start :.4f} seconds")return resultreturn wrapperreturn decorator

       (注：比如上面使用 @wraps(func) 注解是很重要的， 它能保留原始函数的元数据) 只需要在原来的函数上面加上 @timeit() 即可为其增加新的功能：

@timeit()def test_timeit():time.sleep(1)test_timeit()#test_timeit cost 1. seconds

       ä¸Šé¢çš„代码跟下面这样写的效果是一样的：

test_timeit = timeit(test_timeit)test_timeit()

       è£…饰器的执行顺序 当有多个装饰器的时候，他们的调用顺序是怎么样的？

       å‡å¦‚有这样的代码，请问是先打印 Decorator1 还是 Decorator2 ?

from functools import wrapsdef decorator1(func):@wraps(func)def wrapper(*args, **kwargs):print('Decorator 1')return func(*args, **kwargs)return wrapperdef decorator2(func):@wraps(func)def wrapper(*args, **kwargs):print('Decorator 2')return func(*args, **kwargs)return wrapper@decorator1@decorator2def add(x, y):return x + yadd(1,2)# Decorator 1# Decorator 2

       å›žç­”这个问题之前，我先给你打个形象的比喻，装饰器就像函数在穿衣服，离它最近的最先穿，离得远的最后穿，上例中 decorator1 是外套，decorator2 是内衣。

       add = decorator1(decorator2(add))

       åœ¨è°ƒç”¨å‡½æ•°çš„时候，就像脱衣服，先解除最外面的 decorator1，也就是先打印 Decorator1，执行到 return func(

       args, kwargs) 的时候会去解除 decorator2，然后打印 Decorator2，再次执行到 return func(

       args, kwargs) 时会真正执行 add() 函数。

       éœ€è¦æ³¨æ„çš„是打印的位置，如果打印字符串的代码位于调用函数之后，像下面这样，那输出的结果正好相反：

def decorator1(func):@wraps(func)def wrapper(*args, **kwargs):result = func(*args, **kwargs)print('Decorator 1')return resultreturn wrapperdef decorator2(func):@wraps(func)def wrapper(*args, **kwargs):result = func(*args, **kwargs)print('Decorator 2')return resultreturn wrapper

       è£…饰器不仅可以定义为函数，也可以定义为类，只要你确保它实现了__call__() 和 __get__() 方法。

       å…ƒç±» Python 中所有类（object）的元类，就是 type 类，也就是说 Python 类的创建行为由默认的 type 类控制，打个比喻，type 类是所有类的祖先。我们可以通过编程的方式来实现自定义的一些对象创建行为。

       å®šä¸€ä¸ªç±»ç»§æ‰¿ type ç±» A，然后让其他类的元类指向 A，就可以控制 A 的创建行为。典型的就是使用元类实现一个单例：

class Singleton(type):def __init__(self, *args, **kwargs):self._instance = Nonesuper().__init__(*args, **kwargs)def __call__(self, *args, **kwargs):if self._instance is None:self._instance = super().__call__(*args, **kwargs)return self._instanceelse:return self._instanceclass Spam(metaclass=Singleton):def __init__(self):print("Spam!!!")

       å…ƒç±» Singleton 的__init__和__new__ 方法会在定义 Spam 的期间被执行，而 __call__方法会在实例化 Spam 的时候执行。

       descriptor 类（描述符类）

       descriptor 就是任何一个定义了 __get__()，__set__()或 __delete__()的对象，描述器让对象能够自定义属性查找、存储和删除的操作。这里举官方文档[1]一个自定义验证器的例子。

       å®šä¹‰éªŒè¯å™¨ç±»ï¼Œå®ƒæ˜¯ä¸€ä¸ªæè¿°ç¬¦ç±»ï¼ŒåŒæ—¶è¿˜æ˜¯ä¸€ä¸ªæŠ½è±¡ç±»ï¼š

from abc import ABC, abstractmethodclass Validator(ABC):def __set_name__(self, owner, name):self.private_name = '_' + namedef __get__(self, obj, objtype=None):return getattr(obj, self.private_name)def __set__(self, obj, value):self.validate(value)setattr(obj, self.private_name, value)@abstractmethoddef validate(self, value):pass

       è‡ªå®šä¹‰éªŒè¯å™¨éœ€è¦ä»Ž Validator 继承，并且必须提供 validate() 方法以根据需要测试各种约束。

       è¿™æ˜¯ä¸‰ä¸ªå®žç”¨çš„数据验证工具：

       OneOf 验证值是一组受约束的选项之一。

class OneOf(Validator):def __init__(self, *options):self.options = set(options)def validate(self, value):if value not in self.options:raise ValueError(f'Expected { value!r} to be one of { self.options!r}')

       Number 验证值是否为 int 或 float。根据可选参数，它还可以验证值在给定的最小值或最大值之间。

class Number(Validator):def __init__(self, minvalue=None, maxvalue=None):self.minvalue = minvalueself.maxvalue = maxvaluedef validate(self, value):if not isinstance(value, (int, float)):raise TypeError(f'Expected { value!r} to be an int or float')if self.minvalue is not None and value < self.minvalue:raise ValueError(f'Expected { value!r} to be at least { self.minvalue!r}')if self.maxvalue is not None and value > self.maxvalue:raise ValueError(f'Expected { value!r} to be no more than { self.maxvalue!r}')

       String 验证值是否为 str。根据可选参数，它可以验证给定的最小或最大长度。它还可以验证用户定义的 predicate。

class String(Validator):def __init__(self, minsize=None, maxsize=None, predicate=None):self.minsize = minsizeself.maxsize = maxsizeself.predicate = predicatedef validate(self, value):if not isinstance(value, str):raise TypeError(f'Expected { value!r} to be an str')if self.minsize is not None and len(value) < self.minsize:raise ValueError(f'Expected { value!r} to be no smaller than { self.minsize!r}')if self.maxsize is not None and len(value) > self.maxsize:raise ValueError(f'Expected { value!r} to be no bigger than { self.maxsize!r}')if self.predicate is not None and not self.predicate(value):raise ValueError(f'Expected { self.predicate} to be true for { value!r}')

       å®žé™…应用时这样写：

@timeit()def test_timeit():time.sleep(1)test_timeit()#test_timeit cost 1. seconds0

       æè¿°å™¨é˜»æ­¢æ— æ•ˆå®žä¾‹çš„创建：

@timeit()def test_timeit():time.sleep(1)test_timeit()#test_timeit cost 1. seconds1

       æœ€åŽçš„话 关于 Python 的元编程，总结如下：

       å¦‚果希望某些函数拥有相同的功能，希望不改变原有的调用方式、不写重复代码、易维护，可以使用装饰器来实现。

       å¦‚果希望某一些类拥有某些相同的特性，或者在类定义实现对其的控制，我们可以自定义一个元类，然后让它类的元类指向该类。

       å¦‚果希望实例的属性拥有某些共同的特点，就可以自定义一个描述符类。

       ä»¥ä¸Šå°±æ˜¯æœ¬æ¬¡åˆ†äº«çš„所有内容，如果你觉得文章还不错，欢迎关注公众号：Python编程学习圈，每日干货分享，内容覆盖Python电子书、教程、数据库编程、Django，爬虫，云计算等等。或是前往编程学习网，了解更多编程技术知识。

原文：/post/

抽丝剥茧代码属性图CPG-第一弹：CPG介绍

       在探索代码属性图（CPG）的世界之前，让我们先澄清一些基本概念。CPG是一种基于图的代码表示方法，它整合了诸如抽象语法树（AST）、控制流图（CFG）等概念，形成一个统一的超级图。这种设计使CPG能够提供进行静态程序分析所需的关键信息，并且通过一定的抽象层次，适配不同的编程语言。

       CPG具有多种优势，支持多种编程语言，并且提供自定义语言前端的能力。它还包含了一系列内置分析，支持多种使用方式，并具有高度的可扩展性。对于非编译项目，CPG能够处理未定义的类、方法、量能柱副图源码字段或属性，通过丰富的推断机制，在图上添加虚拟节点。

       将源代码转换为CPG图的流程分为两步：首先，通过所谓的“语言前端”解析源代码，并将之转化为CPG节点；其次，一系列“Pass”阶段进一步细化信息，添加额外的节点和边以反映程序的语义。Pass阶段是可顺序执行的，每次输出都是下一次执行的输入。通过继承Pass类或重写其方法，用户可以自定义Pass实现。

       CPG支持特定的依赖关系控制Pass的执行顺序，确保信息的正确积累。除此之外，CPG还提供了一个名为“CodeAnalyzer Ultra”的开源工具，它能够高效地进行代码搜索，支持正则表达式，并在创建一次索引后提供快速搜索能力。班车购票小程序源码该工具界面友好，功能强大，适合各种编程场景。

python中的pass代表什么意思呢

       pass就是什么也不做，只是为了防止语法错误，比如：

if a>1:

           pass #我这里先不做任何处理，直接跳过，但是如果不写pass，就会语法错误

       如果解决了您的问题请采纳！

       如果未解决请继续追问

Tensorflow 编译加速器 XLA 源码深入解读

       XLA是Tensorflow内置的编译器，用于加速计算过程。然而，不熟悉其工作机制的开发者在实践中可能无法获得预期的加速效果，甚至有时会导致性能下降。本文旨在通过深入解读XLA的源码，帮助读者理解其内部机制，以便更好地利用XLA的性能优化功能。

       XLA的源码主要分布在github.com/tensorflow/tensorflow的多个目录下，对应不同的模块。使用XLA时，可以采用JIT（Just-In-Time）或AOT（ Ahead-Of-Time）两种编译方式。JIT方式更为普遍，对用户负担较小，只需开启一个开关即可享受到加速效果。本文将专注于JIT的实现与理解。

       JIT通过在Tensorflow运行时，从Graph中选择特定子图进行XLA编译与运行，实现了对计算图的加速。Tensorflow提供了一种名为JIT的使用方式，它通过向Tensorflow注册多个优化PASS来实现这一功能。这些优化PASS的执行顺序决定了加速效果。

       核心的优化PASS包括但不限于EncapsulateXlaComputationsPass、MarkForCompilationPass、EncapsulateSubgraphsPass、BuildXlaOpsPass等。EncapsulateXlaComputationsPass负责将具有相同_xla_compile_id属性的算子融合为一个XlaLaunch，而XlaLaunch在运行时将子图编译并执行。

       AutoClustering则自动寻找适合编译的子图，将其作为Cluster进行优化。XlaCompileOp承载了Cluster的所有输入和子图信息，在运行时通过编译得到XlaExecutableClosure，最终由XlaRunOp执行。

       在JIT部分，关键在于理解和实现XlaCompilationCache::CompileStrict中的编译逻辑。此过程包括两步，最终结果封装在XlaCompilationResult和LocalExecutable中，供后续使用。

       tf2xla模块负责将Tensorflow Graph转化为XlaCompilationResult（HloModuleProto），实现从Tensorflow到XLA的转换。在tf2xla中定义的XlaOpKernel用于封装计算过程，并在GraphCompiler::Compile中实现每个Kernel的计算，即执行每个XlaOpKernel的Compile。

       xla/client模块提供了核心接口，用于构建计算图并将其转换为HloModuleProto。XlaBuilder构建计算图的结构，而XlaOpKernel通过使用这些基本原语描述计算过程，最终通过xla_builder的Build方法生成HloComputationProto。

       xla/service模块负责将HloModuleProto编译为可执行的Executable。该过程涉及多个步骤，包括LLVMCompiler的编译和优化，最终生成适合特定目标架构的可执行代码。此模块通过一系列的优化pass，如RunHloPasses和RunBackend，对HloModule进行优化和转换，最终编译为目标代码。

       本文旨在提供XLA源码的深度解读，帮助开发者理解其工作机制和实现细节。如有问题或疑问，欢迎指正与交流，共同探讨和学习。期待与您在下一篇文章中再次相遇。

Obfuscator-llvm源码分析

       在逆向分析中，Obfuscator-llvm是一个备受关注的工具，它通过混淆前端语言生成的中间代码来增强SO文件的安全性。本文主要讲解了Obfuscator-llvm的三个核心pass——BogusControlFlow、Flattening和Instruction Substitution，它们在O-llvm-3.6.1版本中的实现。

       BogusControlFlow通过添加虚假控制流和垃圾指令来混淆函数，其runOnFunction函数会检查特定参数，如混淆次数和基本块混淆概率。在测试代码中，它会将基本块一分为二，插入随机指令，形成条件跳转，如“1.0 == 1.0”条件下的真跳转和假跳转。

       Flattening通过添加switch-case语句使函数结构扁平化，runOnFunction会检查启动标志。在示例代码中，它将基本块分隔，创建switch结构，并根据随机值跳转到不同case，使函数执行流程变得复杂。

       Instruction Substitution负责替换特定指令，runOnFunction会检测启动命令，遍历所有指令并随机应用替换策略，如Add指令的多种可能替换方式。

       虽然O-llvm提供了一定程度的混淆，但仍有改进空间，比如增加更多的替换规则和更复杂的跳转策略。作者建议，利用O-llvm的开源特性，开发者可以根据需求自定义混淆方法，提高混淆的复杂性和逆向难度。

       最后，对于对Obfuscator-llvm感兴趣的读者，可以参考《ollvm的混淆反混淆和定制修改》的文章进一步学习。网易云安全提供的应用加固服务提供了试用机会，对于保护软件安全具有实际价值。

       更多关于软件安全和源码分析的内容，欢迎访问网易云社区。