1.vue/compiler-sfc源码分析学习--part2:如何处理script--day5
2.python安装带有setup.py的库包以及解决问题
3.python打包分发工具:setuptools
4.torchvision应用与源码分析
5.花了两天,终于把 Python 的 setup.py 给整明白了
6.python setuptool包介绍
vue/compiler-sfc源码分析学习--part2:如何处理script--day5
在vue/compiler-sfc源码分析学习系列的part2中,我们深入探讨了script部分的处理。今天是系列的最后一天,我们将重点关注script的生成和转换。
首先,jfinalshop源码setup返回语句部分主要判断了使用的是template、inlineTemplate还是render函数。对于常规template,我们进入了第一部分逻辑,返回的`returned`包含了变量、函数、类等,但不包括defineProps、defineEmits和defineExpose这些特殊处理。
对于inline或render函数的处理,虽然重要,但这里暂且不表,留待后续章节。在`export default`部分,除了boolean类型和带有默认值的函数,其余类型定义会被移除,以符合非setup语法的要求。
接着,代码将解析后的数据整理成非setup语法糖形式,包括合并非setup块的export和导入。这部分,我们直接展示了最终的script代码,以直观展示转换过程。
在代码中,有几个关键点值得注意,特别是辅助函数的加入,如mergeDefaults,用于合并默认值。最后,总结部分重申,今天是script处理的尾声,主要工作是将setup语法糖转化为直观的代码,尤其是牛市副图源码处理props部分的复杂性。
python安装带有setup.py的库包以及解决问题
对于Python中安装带有setup.py的库包,理解是关键。常规情况下,pip install命令可以轻松处理大部分依赖。然而,一些源代码库会以带setup.py的文件夹形式提供,这需要特殊的处理方式。
这些文件夹实质上是第三方开发者创建的自定义库,为了跨平台兼容,它们没有直接提供预编译的版本。与C库类似,Python库可能需要编译过程,通过setup.py文件进行,以转化为系统能识别和运行的格式,类似于CMake在C开发中的作用。
安装步骤包括在命令行中,如cmd,进入setup.py文件夹,可能需要先激活特定的Python环境。如果遇到编译错误,可能是因为缺少Visual C++ Build Tools,尤其是当提示安装庞大的Microsoft Visual Studio时,可以考虑安装Visual C++ Build Tools的离线包,这将简化安装过程并解决编译问题。
如果对下载大软件感到困扰,另一种选择是寻找预编译的.whl(wheel)文件,这是一种编译好的库文件。可以从lfd.uci.edu/~gohlke/pytorch/等网站找到对应的whl文件,确保Python版本匹配后,将文件放置到Python或anaconda的Scripts文件夹,并通过pip install命令安装。
总的来说,安装带有setup.py的库包需要理解其原理,正确操作并可能需要解决特定的编译问题,但一旦掌握,就能方便地扩展Python环境。新手可能需要花费一些时间,但这是水产erp系统源码值得的,因为这能让你更深入地了解Python库的安装过程。
python打包分发工具:setuptools
setuptools是Python打包与分发的利器,它简化了库的创建与分发过程,使得开发者能够通过简单的命令实现库的安装。
setuptools的前身是distutils,它提供了打包与分发的功能。setuptools的功能包括源码包和二进制包的创建。
源码包sdist是常见的压缩包形式,包含库的源码及一些静态文件。打包源码包主要使用setup.py,通过formats参数指定压缩格式。安装源码包可选择解压缩后安装或直接安装。
二进制包bdist以wheel形式存在,格式为.whl,无需编译,安装更快。打包与分发二进制包同样使用setup.py,通过formats参数指定格式。
setup.py是打包过程的核心,它控制了重要的配置信息。通过packages、include_package_data、exclude_package_data、package_data、data_files参数指定需要打包的文件。
setup.py参数packages用于指定需要打包的package,类型为list[str]。find_packages和find_namespace_packages函数可快速找到所有package。
include_package_data参数用于根据MANIFEST.in文件打包非源码文件。package_data参数直接指定非源码文件。
依赖包的安装与版本管理由setup函数的install_requires、setup_requires、tests_require和extras_require参数实现。
对于python版本限制,使用python_requires参数指定。
setup函数的entry_points和scripts参数用于生成命令行脚本。而C/C++扩展则通过python setup.py build_ext --inplace命令进行编译。
主要通过setup函数的爬棋牌网站源码ext_modules参数进行C/C++扩展的编译,setuptools.Extension类用于指定扩展参数。setuptools.Extension用define_macros和undef_macros参数定义或取消定义宏。
自定义命令行为是setuptools的高级特性,通过继承setuptools.command类来实现。需要通过cmdclass参数告知setuptools,该参数是一个字典,key为命令名,value为继承的类。
torchvision应用与源码分析
torchvision是PyTorch库中的一部分,用于计算机视觉任务,它包含了一系列的预训练模型和数据集。
一:torchvision应用
在计算机视觉领域,torchvision提供了方便的API,用于加载和处理图像数据,训练模型和进行预测。它通常与PyTorch深度学习框架结合使用,为用户提供了一个完整的框架来开发和部署计算机视觉应用。
二:torchvision源码分析
1. setup.py分析
setup.py是Python包的配置文件,用于描述包的元数据和安装步骤。在torchvision中,setup.py文件被用来编译和安装包的依赖库。
1.1 导入依赖的模块
1.2 从配置文件中获取当前torchvision的版本信息
1.3 获取依赖的torch版本信息
1.4 获取编译扩展信息,然后传递给setup函数,启动编译
1.5 重点:get_extensions分析
在torchvision的setup.py文件中,get_extensions函数是核心部分,它负责编译torchvision自身的源码以及一些第三方库,如jpeg和codec等。
1.5.1 获取ccsrc下面的cpp源码
1.5.2 获取环境变量中配置的编译选项
1.5.3 判断是AMD的HIP还是nVidia的CUDA,来获取到最终的cuda文件
1.5.4:依据环境上是否支持cuda来确定编译扩展
1.5.5 添加扩展
至此,torchvision就将整个版本包编译出来了,会调用torch的cpp和cuda编译扩展(即:通过gcc+nvcc来编译ccsrc下面的源码,而不用torchvision自行再来设置各种编译环境信息了)。
整个编译核心流程总结如下:
2. torchvision新增算子流程
以torchvision.ops.DeformConv2d为例
2.1 基础用法与模型结构
通过Netron工具打开模型结构,可以看到torchvision的deform_conv2d是单独的IR定义的算子
2.2 python侧实现分析
deform_conv2d定义在Python侧,实际上做了参数初始化后,将转交给了C++侧对应的接口
2.3 C++侧分析:torch.ops.torchvision.deform_conv2d
2.3.1 接口定义
2.3.2 接口实现
关键在于这两个接口的注册
算子的具体实现和如何向pytorch完成注册呢?
该算子有C++和CUDA实现方式,C++方式可以在纯CPU版本中运行,cuda实现则依赖于GPU和CUDA
2.3.2.1 C++实现
2.3.2.2 CUDA实现
这种方式实现的非常竟游源码算子,trace出来的模型中,为单个算子
总结:自定义算子向torch集成分为两步
三:基于torchvision新增一个算子
实现一个算子:my_add = 2*x + y
3.1 环境准备
花了两天,终于把 Python 的 setup.py 给整明白了
为了便于理解与操作,我们首先需要明确为何要对项目进行分发与打包。在日常开发中,我们通常通过pip来安装第三方模块,这一过程之所以简便,是因为模块开发者已经为我们完成了复杂的工作。而这个工作过程即为打包,它将源代码进行进一步封装,并预先安排好项目部署,使得用户只需简单操作即可使用,无需再关注复杂的部署细节。
随着Python的发展,项目打包工具已相当成熟。让我们来了解一下其中的关键工具。
distutils是Python的一个标准库,它是一个基础的分发工具,从命名上可以看出其本质在于封装与分发(distribute)。它是官方提供的分发与安装指导文件setup.py的基石。
setup.py文件是模块分发与安装的核心,编写setup.py的过程包含了许多复杂的内容,我将在后续的篇章中详细解析,希望你能够耐心阅读。
你可能未曾编写过setup.py,但你一定使用过它来进行模块的安装,例如使用pip命令进行源码安装。同样,也存在通过二进制软件包进行安装的选项,关于这一点,我将在后续进行介绍。
setuptools是distutils的增强版本,虽然未包含在标准库中,它提供了更多的功能,旨在帮助开发者更高效地创建与分发Python包。大部分Python用户都使用更先进的setuptools模块。
另一个与setuptools相关的组件是distribute,它是一个分支版本,后来被合并回setuptools。因此,它们实际上代表同一工具。
另一个大型包分发工具是distutils2,该工具试图充分利用distutils、detuptools和distribute,成为Python标准库中的标准工具。但该计划未达到预期目标,现已废弃。因此,setuptools是一个非常优秀的、可靠的Python包安装与分发工具。
如果你想要在干净的环境中安装setuptools,主要有两种方法。
其中一种方法是使用easy_install工具,它是一个第三方管理工具,能够提供比distutils更便捷的体验。这里简单介绍一下它的用法,尽管它现在使用较少。
easy_install支持包的安装、升级与删除。需要注意的是,删除操作仅在easy-install.pth文件中执行,使其无法在Python中使用,但实际的包仍然存在于你的电脑中。若要彻底删除,需要手动删除相关的.egg及其他文件。
默认情况下,easy_install会从pypi下载包,但由于该源在国外,下载速度可能不理想。使用过pip的朋友可能想了解,easy_install是否能够指定源进行安装呢?答案是肯定的。可以通过编辑配置文件/root/.pydistutils.cfg来实现。
总结来说,setuptools是一个专业用于包分发的工具,从安装的角度来看,它的功能看似简单。然而,其更大的意义在于包的分发,具有极高的定制化程度。我们至今仍在使用它进行版本包的发布。
Python包的分发主要分为两种方式:源码包与二进制包。源码包安装过程包括解压、编译与安装,因此它是跨平台的,但由于每次安装都需要编译,相对二进制包安装方式来说,安装速度较慢。源码包实质上是一个压缩包,常见的格式有...
接下来,我们深入探讨egg与wheel的区别。egg格式由setuptools在年引入,而wheel格式由PEP在年定义。Wheel被认为是Python二进制包的标准格式。以下是Wheel和egg的主要区别...
在编写setup.py时,它最关键的一步是实现。以下是一个setup.py简单的使用示例。接下来,我将逐步扩展这个setup函数,增加更多的参数,以便你能够理解setup函数的功能。
程序分类信息、文件分发、依赖包下载安装、安装环境限制、生成可执行文件分发、构建C和C++扩展包、指定release、参数列表等,都需要在setup.py文件中进行详细配置。在编写时,可能会遇到较多的参数,因此,为了方便查阅,我整理了setup函数常用的一些参数。
最后,我们介绍pbr,这是一个setuptools的辅助工具,最初是为了OpenStack开发。pbr会读取和过滤setup.cfg中的数据,然后将解析后的数据提供给setup.py作为参数。包含如下功能...
通过学习,你已经学会了如何打包自己的项目。若你认为自己开发的模块非常出色,想要与他人共享使用,你可以将其上传至PyPi(Python Package Index),它是Python官方维护的第三方包仓库,用于统一存储与管理开发者发布的Python包。首先,你需要在PyPi注册账号,然后创建~/.pypirc文件,配置PyPI访问地址和账号。接下来,使用相应的命令进行注册与上传,即可在PyPi上看到项目信息,并允许他人下载安装。
python setuptool包介绍
Python的setuptools是一个关键工具,专为构建和分发Python包而设计。它整合了一系列强大功能,用于管理和定义包的元数据、依赖关系以及构建选项,还能生成易于安装的包。以下是setuptools的基本应用步骤:安装:使用pip简单快捷,只需在命令行输入`pip install setuptools`。
配置:创建核心的setup.py文件,替换`your_package_name`为你的包名,描述你的包功能,将依赖项列表如['dependency1', 'dependency2']替换为实际的依赖。`setup()`函数可添加作者和许可证等额外信息。
构建:
生成wheel文件(可分发的二进制包):在项目根目录下,执行`python setup.py bdist_wheel`,会在dist目录下生成一个`--py3-none-any.whl`文件。
创建源码分发包(tar.gz文件):若需要源码包,运行`python setup.py sdist`,dist目录下会生成一个`.tar.gz`文件。
通过setuptools,开发者可以高效地管理和构建自己的Python包,确保它们在不同环境中正确安装和运行。
QMSetup:多功能 CMake 辅助配置工具
qmsetup是一个专注于为CMake配置过程提供更人性化支持的强大辅助工具。它由一系列的.cmake文件组成,作为一个脚本包,为CMake配置过程提供便利。首先,让我们了解一下qmsetup的安装方法。尽管qmsetup中包含了需要编译的程序,它在用户执行配置CMake时发挥作用,因此不能通过子模块的方式引入,需要先进行编译和安装。
所有CMake脚本都位于源代码仓库的cmake目录内,主模块QMSetupAPI.cmake在执行find_package时会被引入。其他模块则通过qm_import指定不包含扩展名的文件名进行引入,或者通过添加查找模块参数进行引入。
在构建与安装配置参数方面,CMake支持模块引入,qmsetup提供了丰富的功能。例如,使用qm_find_qt可以查找Qt库,qm_link_qt用于链接Qt库,qm_include_qt_private则用于包含Qt库的私有头文件目录。此外,qmsetup还支持自动配置目标,如qm_configure_target可以批量对目标进行target_xxx函数操作。为了实现更直观的头文件目录包含,qmsetup提供了dir/*和dir/**的扩展方式,将扩展为目录及其所有子目录或递归所有子孙目录。
在处理特定平台的配置时,qmsetup同样表现出色。针对Windows资源文件的处理,qm_add_win_rc可以为目标添加rc资源,并设置各种信息。对于Mac Bundle,qm_add_mac_bundle则可设置目标为Mac包,并配置相应的信息。为了提高构建过程的自动化水平,qmsetup提供了预处理功能,包括重新排列头文件、生成宏定义和生成构建信息。这些功能在一定程度上解决了C/C++项目中头文件结构与项目逻辑结构不一致的问题。
在生成宏定义方面,qmsetup提供了qm_add_definition、qm_remove_definition和qm_generate_config函数,允许用户在CMakeLists.txt中添加、删除和生成宏定义头文件。通过这些函数添加的宏定义会被临时存储在GLOBAL属性中,开发者可以使用QMSETUP_DEFINITION_SCOPE参数或添加特定参数来自定义存储对象。
qmsetup还提供了自动部署依赖的功能,包括自动解析和部署目录内的可执行文件与动态库依赖,并修复rpath。为了进一步提高构建过程的自动化,qmsetup提供了自动拷贝文件功能,允许在指定目标构建后自动将文件或目录拷贝到目标位置,并根据时间戳决定是否覆盖。此外,qmsetup还支持Doxygen文档生成、Qt翻译更新发布,并为不使用Qt的C++工程提供了额外的支持。
qmsetup的功能远不止于此,它定义了一组头文件,包含Qt常用的宏以及Qt隐式数据共享类,旨在为CMake构建系统提供更人性化的体验。为了满足不同用户的需求,qmsetup的find-modules目录内包含了YY-Thunks与VC-LTL5的搜索支持。如果您想深入了解qmsetup的更多信息,建议查阅其仓库文档。
总的来说,qmsetup是为支援CMake构建系统而设计的脚本库,旨在为CMake构建系统提供更人性化的配置体验。