1.NVIDIA GPGPU（一）总览
2.银河系CUDA编程指南(2.5)——NVCC与PTX

NVIDIA GPGPU（一）总览

       GPGPU的源码概念已经火起来，理解其架构和功能对优化AI框架性能、源码推动国产自主研发AI芯片发展大有裨益。源码本文将对GPGPU进行概览，源码作为对先前学习的源码总结。

       GPU相较于CPU，源码app视频源码其设计重点更在计算性能上，源码大量面积用于计算单元（SM、源码SP）。源码GPU指令的源码延迟相对较高，但可编程性较强，源码能较好地支持软件程序员进行优化。源码在并行模型上，源码GPU设计通常采用SIMT（Single Instruction Multiple Threads）模型，源码收app源码灵活性与性能折中，源码相对SMT（Simultaneous Multithreading）和SIMD（Single Instruction Multiple Data）模型，具有编程友好性，减少地址计算和访存操作，但也存在分支运算和多访存单元的挑战。

       SIMT实现下，所有线程执行同一指令，遇到分支时，不同线程的执行路径存在等待。Warp作为线程集合，内部线程需执行同一指令，同一Warp硬件需在不同时间点执行不同Warp，以充分利用资源。goy引擎源码存储模型方面，GPU采用缓存一致性策略（Relaxed Memory Consistency，RC）以支持内存连贯性，确保软件指令顺序执行的结果符合预期。内存连贯性与缓存一致性相互支撑，共同保证了数据访问的一致性和程序运行的正确性。

       GPU存储布局包括寄存器文件（Regfile）、共享内存（Share memory）、L1/L2缓存和外部DRAM。寄存器文件的大小依赖于执行核最大线程数，通过划分多个Bank提高访问效率。共享内存需处理多线程并发访问带来的银行冲突问题。L1/L2缓存用于缓解访问DRAM的map查找源码性能瓶颈，GPU架构支持多种访存模型，包括顺序执行、TSO（Total Stored Ordering）、PSO（Partial Stored Ordering）和RC模型，以适应不同的计算需求。

       Tesla架构作为GPGPU之前的旗舰产品，采用统一着色与计算架构，集图形、游戏和计算功能于一身，其设计考虑了高性能并行计算需求。通过主机和系统内存的交互，GPU提供强大的计算能力，满足大数据量计算的klipper源码移植需求。CUDA编译器和计算库CUDA全家桶（如cudnn、cublas、cufft）支持多种语言，提供GPU通用计算能力，加速了科学计算、机器学习等领域的研究和应用。

       编译流程中，nvcc编译器能够编译CUDA源代码，生成可运行的二进制文件，支持AOT（Ahead-of-Time）和JIT（Just-In-Time）模式，便于在不同平台上部署和优化应用程序。通过NVCC，开发者可以将CPU和GPU代码整合在同一项目中，实现统一编译和运行。

       GPGPU的发展经历了从Fermi到Hopper的一系列架构演进，每代产品在工艺技术、核心架构、计算能力上均有显著提升。Compute Capability作为设备计算能力的标识，反映了GPU支持特性的版本号，从Tesla架构（1.0）到最新的Hopper架构（9.0），每一代产品都在原有基础上增加了新特性，提高了能效比和计算密度。

       后续文章将深入探讨从fermi到hopper各代产品的具体架构设计、特性及其工作原理，旨在为读者提供全面而深入的GPGPU技术理解。

银河系CUDA编程指南(2.5)——NVCC与PTX

       在构建了一个以cuDNN和cuBLAS为基础的简单深度学习框架后，我已将其开源，并鼓励大家参与交流学习。未来计划逐步完善框架，将尝试使用纯CUDA C实现，并与cuDNN进行性能比较。关于cuDNN的使用，我也会后续专门撰写文章进行详细介绍。

       NVCC，CUDA的编译器，其核心是NVVM优化器，基于LLVM编译器结构。它本质上是一个集合，调用gcc、cicc、ptxas等工具编译CUDA源代码，区分主机代码（用ANSI C编写）和设备代码（CUDA扩展语言编写）。

       NVCC的编译过程分为离线编译和即时编译，通过预处理将源代码分为两部分，分别由不同编译器处理，最终合并为单个object文件。例如，通过dryrun选项可以查看编译步骤，包括头文件配置、CUDA设备代码编译等。

       PTX是CUDA的编程模型和指令集，是一种虚拟架构汇编，允许跨GPU优化。NVCC通过虚拟架构编译生成PTX，然后在实际GPU上执行为SASS。编译时，需设置虚拟和实际GPU架构以保证兼容性。

       Separate Compilation允许在编译阶段将device code分开处理，形成relocatable代码，然后在链接阶段定位到最终的host object。这与Whole Program Compilation不同，后者直接编译为executable device code。

       以cudnn-learning-framework的Makefile为例，需配置CUDA相关路径，添加cuDNN库，并调整编译生成部分，确保链接所有需要的.o文件。NVCC命令在编译时会执行链接任务。