1.win10 + CUDA 9.0 + cuDNN 7.0 + tensorflow源码编译安装
2.Tensorflow 编译加速器 XLA 源码深入解读
3.电脑macOS mojave 10.14.6, 编译tensorflow2.6解决SSE4.1 SSE4.2 AVX指令集问题。
4.极简入门TensorFlow C++源码
5.探索TensorFlow核心组件系列之Session的运行源码分析
6.TensorFlow 源码大坑(2) Session

win10 + CUDA 9.0 + cuDNN 7.0 + tensorflow源码编译安装

       在配置个人深度学习主机后，安装必备软件环境成为首要任务。使用Anaconda5.0.0 python3.6版本管理Win python环境，新建基于python3.5的tensorflow-gpu-py conda环境。直接使用conda安装tensorflow，米克设计源码会默认安装tensorflow-gpu 1.1.0并主动安装cudatoolkit8.0 + cudnn6.0。若需配置CUDA环境，需自行下载并安装cuda9.0 + cudnn7.0，配置环境变量。pip安装tensorflow，会默认安装最新版本tensorflow-gpu 1.3.0。配置不当导致import tensorflow时报错：'ModuleNotFoundError: No module named '_pywrap_tensorflow_internal'。尝试源码编译tensorflow解决此问题。

       查阅tensorflow官网文档，了解cmake window build tensorflow方法。文档中提到，tensorflow源代码目录下有详细网页介绍Windows环境编译方法，包含重要信息。发现安装tensorflow-gpu版本、配置CUDA8.0 + cuDNN6.0/cuDNN5.1或CUDA9.0 + cuDNN7.0时，import tensorflow时报错。查阅错误信息，网上解答提及需要配置正确的CUDA和cuDNN版本。然而，尝试安装和配置后依然报错。安装tensorflow cpu版本无问题，确认CUDA环境配置错误。

       决定源码编译tensorflow-gpu以解决问题。查阅文档，执行编译操作。在window环境下编译tensorflow源码，需要准备的软件包括Git、tensorflow源码、anaconda、swig、CMake、CUDA、cuDNN、水电安装源码Visual Studio 。在百度网盘下载相关软件。

       配置过程中，修改CMakeLists.txt以适应CUDA 9.0 + cuDNN 7.0。在cmake目录下新建build文件夹，执行命令配置tensorflow。配置后进行编译，遇到问题如：cudnnSetRNNDescriptor参数不匹配、网络访问问题、编码问题、protobuf库下载问题、zlib.h文件不存在、下载链接失败、无法解决的错误等。

       为解决这些问题，采取相应措施，如修改cuda_dnn.cc文件、网络代理设置、文件编码转换、忽略警告信息、多次尝试下载、修改cmake配置文件等。遇到无法解决的问题，如CUDA编译器问题、特定源代码文件问题，提交至github tensorflow进行讨论。

       完成源码编译后，安装tensorflow-gpu并进行验证。在下一步中继续讨论验证过程和可能遇到的后续问题。整个编译过程耗时、复杂，需要耐心和细心，希望未来能有官方解决方案以简化编译过程。

Tensorflow 编译加速器 XLA 源码深入解读

       XLA是Tensorflow内置的编译器，用于加速计算过程。然而，不熟悉其工作机制的开发者在实践中可能无法获得预期的加速效果，甚至有时会导致性能下降。批量下载源码本文旨在通过深入解读XLA的源码，帮助读者理解其内部机制，以便更好地利用XLA的性能优化功能。

       XLA的源码主要分布在github.com/tensorflow/tensorflow的多个目录下，对应不同的模块。使用XLA时，可以采用JIT（Just-In-Time）或AOT（ Ahead-Of-Time）两种编译方式。JIT方式更为普遍，对用户负担较小，只需开启一个开关即可享受到加速效果。本文将专注于JIT的实现与理解。

       JIT通过在Tensorflow运行时，从Graph中选择特定子图进行XLA编译与运行，实现了对计算图的加速。Tensorflow提供了一种名为JIT的使用方式，它通过向Tensorflow注册多个优化PASS来实现这一功能。这些优化PASS的执行顺序决定了加速效果。

       核心的优化PASS包括但不限于EncapsulateXlaComputationsPass、MarkForCompilationPass、EncapsulateSubgraphsPass、BuildXlaOpsPass等。EncapsulateXlaComputationsPass负责将具有相同_xla_compile_id属性的算子融合为一个XlaLaunch，而XlaLaunch在运行时将子图编译并执行。

       AutoClustering则自动寻找适合编译的子图，将其作为Cluster进行优化。XlaCompileOp承载了Cluster的所有输入和子图信息，在运行时通过编译得到XlaExecutableClosure，最终由XlaRunOp执行。

       在JIT部分，关键在于理解和实现XlaCompilationCache::CompileStrict中的编译逻辑。此过程包括两步，最终结果封装在XlaCompilationResult和LocalExecutable中，供后续使用。

       tf2xla模块负责将Tensorflow Graph转化为XlaCompilationResult（HloModuleProto），实现从Tensorflow到XLA的转换。在tf2xla中定义的XlaOpKernel用于封装计算过程，并在GraphCompiler::Compile中实现每个Kernel的计算，即执行每个XlaOpKernel的德玛源码Compile。

       xla/client模块提供了核心接口，用于构建计算图并将其转换为HloModuleProto。XlaBuilder构建计算图的结构，而XlaOpKernel通过使用这些基本原语描述计算过程，最终通过xla_builder的Build方法生成HloComputationProto。

       xla/service模块负责将HloModuleProto编译为可执行的Executable。该过程涉及多个步骤，包括LLVMCompiler的编译和优化，最终生成适合特定目标架构的可执行代码。此模块通过一系列的优化pass，如RunHloPasses和RunBackend，对HloModule进行优化和转换，最终编译为目标代码。

       本文旨在提供XLA源码的深度解读，帮助开发者理解其工作机制和实现细节。如有问题或疑问，欢迎指正与交流，共同探讨和学习。期待与您在下一篇文章中再次相遇。

电脑macOS mojave ..6, 编译tensorflow2.6解决SSE4.1 SSE4.2 AVX指令集问题。

       针对macOS mojave ..6系统用户在编译tensorflow 2.6版本时遇到的SSE4.1、SSE4.2和AVX指令集问题，以下为解决步骤：

       首先，前往tensorflow源码下载页面，下载v2.6.0版本。

       然后，进入下载后的目录，定位至v2.6.0。

       接下来，准备必要的软件环境。确保已安装java和minconda。

       开始编译tensorflow时，关键在于使用优化指令集。在执行编译命令时，加入参数`-march=native`以进行cpu指令集优化。

       使用命令行进行编译：`bazelisk build -c opt --copt=-march=native //tensorflow/tools/pip_package:build_pip_package`。

       编译完成后，在/tmp/tensorflow_pkg目录下找到生成的-24源码补码wheel文件。使用pip进行安装，即可完成tensorflow 2.6版本的安装。

       完成编译与安装后，用户可根据需要下载tensorflow-2.6.0-cp-cpm-macosx___x_.whl文件。提取码为kkli。

极简入门TensorFlow C++源码

       前一段时间，我专注在框架开发上，并偶尔协助业务同学优化使用TensorFlow的代码。在观看dmlc/relay、nnvm的代码时，我发现了它们的有趣之处。我也对TensorFlow的Graph IR、PaddlePaddle的Graph IR产生了兴趣，上周五在阅读代码时，无意间听到了一个数据竞赛群讨论框架的底层实现。几位算法大佬提到了看底层源码可能较为繁琐，因为这类代码通常相对容易理解。在与群内伙伴的交流后，我萌生了撰写一篇关于如何阅读TensorFlow或其他框架底层源码的文章。

       选择合适版本的bazel，对于阅读TensorFlow源码至关重要。应使用版本为0..0的bazel来拉取TF2.0代码，因为太高的版本或太低的版本可能影响阅读体验。在安装了合适的bazel版本后，使用clion上的bazel插件进行导入，然后配置编译，导入项目，等待clion编译整个项目。完成编译后，就能愉快地阅读代码，甚至于protobuf生成的文件也能轻松跳转。

       使用c++编译模型是TensorFlow的另一面。尝试使用c++编写模型代码，可以深入理解TensorFlow的底层机制。主要函数包括CreateGraphDef、ConcurrentSteps、ConcurrentSessions等。通过这些函数，可以构建计算图，定义节点、常量变量、操作符等。这为理解TensorFlow的逻辑提供了直观的视角。

       深入分析代码后，可以了解到TensorFlow的GraphDef机制、Square类的实现、注册到特定op的过程、functor的使用以及最终的实现逻辑。这有助于理解TensorFlow的核心原理，并在阅读源码时进行更深入的思考。

       除了阅读源码，还可以通过编写测试用例来增强理解。TensorFlow提供了丰富的测试用例，如在client_session_test.cc中运行测试程序，可以验证代码的正确性。这不仅有助于理解代码，还能提高对TensorFlow框架的掌握程度。

       阅读源码只是理解TensorFlow原理的开始，深入行业论文和请教行业专家是进一步深入学习的关键。网络上关于机器学习系统的资料丰富多样，但缺少系统性的课程。希望官方能够分享更多框架的干货，并期待在学习过程中总结和分享更多资源。阅读源码虽然复杂，但其背后蕴含的原理和逻辑十分有趣。

探索TensorFlow核心组件系列之Session的运行源码分析

       TensorFlow作为一个前后端分离的计算框架，旨在实现前端在任何设备、任何位置上使用API构建模型，而不受硬件资源限制。那么，TensorFlow是如何建立前后端的连接呢？在这一过程中，Session起着关键桥梁作用，它连接前后端通道，并通过session.run()触发计算，将前端的计算图转化为graphdef pb格式发送至后端。后端接收此格式，将计算图重建、剪枝、分裂，并分配到设备上，最终在多个Executor上执行计算。

       Session管理着计算图、变量、队列、锁、设备和内存等多种资源，确保资源安全、高效地使用。在Session生命周期中，包含创建、运行、关闭和销毁四个阶段，确保模型运行的正确性和效率。

       在Session创建时，使用BaseSession初始化，通过调用TF_NewSessionRef创建实例。此过程涉及确定图实例、判断混合精度设置以及创建Session。在分布式框架中，Python通过swig自动生成的函数符号映射关系调用C++层实现。

       Session运行主要通过session.run()触发，该方法在BaseSession的run()中实现，涉及创建fetch处理器、获取最终fetches和targets，调用_do_run方法启动计算，并输出结果。在本地模式下，Session初始化会生成DirectSession对象。

       综上所述，Session在TensorFlow架构中扮演着核心角色，连接前后端，管理资源，并确保模型高效、安全地运行。

TensorFlow 源码大坑(2) Session

       深入探讨TensorFlow源码中的Session机制，揭示其运行机制和复杂性。从Python和C++两端的Session API入手，解析其调用栈，解析内部工作流程。Python端的tf.Session().run()方法，通过初始化调用栈，实现计算图的执行。C++端的ClientSession.run()同样展示了Session运行机制，揭示了底层实现细节。对比之下，DirectSession作为Session的基类，展示了如何构建Executor并具体运行计算图，为理解TensorFlow的高效计算逻辑提供了深入视角。

       深入解析Python端tf.Session().run()方法的调用栈，揭示了其如何通过初始化调用栈来执行计算图的全过程。从创建Session到调用run方法，每一次调用都紧锣密鼓地执行一系列操作，确保计算图能够正确运行，这使得理解TensorFlow的执行流程变得清晰。

       同时，C++端的ClientSession.run()方法提供了另一种视角，展示了Session运行机制在底层语言中的实现。通过对比Python和C++端的实现，可以更深入地理解TensorFlow在不同环境下的兼容性和性能优化。

       DirectSession作为Session的基类，展示了如何构建Executor并具体运行计算图。通过分析DirectSession的run方法和构建过程，可以理解TensorFlow在执行计算图时的灵活性和高效性，以及如何通过Executor优化计算流程。

       总之，深入研究TensorFlow源码中的Session机制，不仅能够揭示其复杂性，还能为开发者提供优化计算图执行流程、提升模型训练效率的策略，是理解TensorFlow内核机制的关键。

Python语言学习（三）：Tensorflow_gpu搭建及convlstm核心源码解读

       在探索深度学习领域，使用Python语言进行编程无疑是一条高效且灵活的途径。尤其在科研工作或项目实施中，Python以其丰富的库资源和简单易用的特性，成为了许多专业人士的首选。本文旨在分享在Windows系统下使用Anaconda搭建TensorFlow_gpu环境及解读ConvLSTM核心源码的过程。在提供具体步骤的同时，也期待读者的反馈，以持续改进内容。

       为了在Windows系统下搭建适合研究或项目的TensorFlow_gpu环境，首先需要确认TensorFlow_gpu版本及其对应的cuDNN和CUDA版本。访问相关网站，以获取适合自身硬件配置的版本信息。以TensorFlow_gpu2.为例，进行环境搭建。

       在Anaconda环境下，通过命令行操作来创建并激活特定环境，如`tensorflow-gpu`环境，选择Python3.版本。接着，安装cuDNN8.1和CUDA.2。推荐使用特定命令确保安装过程顺利，亲测有效。随后，使用清华镜像源安装TensorFlow_gpu=2..0。激活虚拟环境后，使用Python环境验证安装成功，通常通过特定命令检查GPU版本是否正确。

       为了在Jupyter Notebook中利用该环境，需要安装ipykernel，并将环境写入notebook的kernel中。激活虚拟环境并打开Jupyter Notebook，通过命令确保内核安装成功。

       对于ConvLSTM核心源码的解读，重点在于理解模型的构建与参数设置。模型核心代码通常包括输入数据维度、模型结构、超参数配置等。以官方样例为例，构建模型时需关注样本整理、标签设置、卷积核数量等关键参数。例如，输入数据维度为（None，，，1），输出数据维度为（None，None，，，）。通过返回序列设置，可以控制模型输出的形态，是返回单个时间步的输出还是整个输出序列。

       在模型改造中，将彩色图像预测作为目标，需要调整模型的最后层参数，如将`return_sequence`参数更改为`False`，同时将`Conv3D`层修改为`Conv2D`层以适应预测彩色图像的需求。此外，选择合适的损失函数（如MAE）、优化器（如Adam）以及设置Metrics（如MAE）以便在训练过程中监控模型性能。

       通过上述步骤，不仅能够搭建出适合特定研究或项目需求的TensorFlow_gpu环境，还能够深入理解并灵活应用ConvLSTM模型。希望本文内容能够为读者提供有价值的指导，并期待在后续过程中持续改进和完善。