皮皮网

【网狐精华版源码带h5源码】【社工php源码】【麻将源码 代码】context编程源码_context 编程

来源:元宇宙游戏源码源码 时间:2024-12-23 21:34:51

1.[转]Megatron-LM源码系列(八): Context Parallel并行
2.Go 组件:context 学习笔记
3.Context 使用场景&&源码解读
4.SpringBoot源码 | refreshContext方法解析
5.Spring Boot源码解析(四)ApplicationContext准备阶段
6.React中不常用的编编程功能——Context

context编程源码_context 编程

[转]Megatron-LM源码系列(八): Context Parallel并行

       原文链接: Megatron-LM源码系列(八): Context Parallel并行

       Context Parallel并行(CP)与sequence并行(SP)相比,核心差异在于SP只针对Layernorm和Dropout输出的程源activation在sequence维度进行切分,而CP则进一步扩展,编编程对所有input输入和所有输出activation在sequence维度上进行切分,程源形成更高效的编编程并行处理策略。除了Attention模块外,程源网狐精华版源码带h5源码其他如Layernorm、编编程Dropout等模块在CP并行中无需任何修改,程源因为它们在处理过程中没有涉及多token间的编编程交互。

       Attention模块之所以特殊,程源是编编程因为在计算过程中,每个token的程源查询(query)需要与同一sequence中其他token的键(key)和值(value)进行交互计算,存在内在依赖性。编编程社工php源码因此,程源在进行CP并行时,编编程计算开始前需要通过allgather通信手段获取所有token的KV向量,反向计算时则通过reduce_scatter分发gradient梯度。

       为了降低显存使用,前向计算阶段每个GPU仅保存部分KV块,反向阶段则通过allgather通信获取全部KV数据。这些通信操作在特定的rank位置(相同TP组内)进行,底层通过send和recv等操作实现allgather和reduce_scatter。

       以TP2-CP2的transformer网络为例,CP并行的通信操作在Attention之前执行,其他则为TP通信。麻将源码 代码AG表示allgather,RS表示reduce_scatter,AG/RS表示前向allgather反向reduce_scatter,RS/AG表示前向reduce_scatter反向allgather。

       TP2对应为[GPU0, GPU1], [GPU2, GPU3],CP2指的就是TP组相同位置的rank号,即[GPU0, GPU2], [GPU1, GPU3]。CP并行类似于Ring Attention,但提供了OSS与FlashAttention版本,并去除了冗余的low-triangle causal masking计算。

       LLM常因序列长度过长而导致显存耗尽(OOM)。传统解决方法包括重计算或扩大TP(tensor parallel)大小,保险分销 源码但各自存在计算代价增加或线性fc计算时间减少与通信难以掩盖的问题。CP则能更高效地解决这一问题,每个GPU处理一部分序列,同时减少CP倍的通信和计算量,同时保持TP不变,使得activation量也减少CP倍。性能优化结果展示于图表中,用户可通过指定--context-parallel-size在Megatron中实现CP。

       具体源码实现以Megatron-Core 0.5.0版本为例进行说明。

       

参考资料:

[链接]

Go 组件:context 学习笔记

       作者:@神奇的君,腾讯CSIG后台开发工程师

       在追求Go语言强大并发能力的过程中,Context成为了不可或缺的快控源码工具。它使得协程间的协作和管理更加便捷,尤其是在需要控制协程状态和同步操作时。

       想象没有Context的世界,每个编程语言都有自己的并发控制方式,比如Java通过join进行同步。在Go中,channel和sync包常用于协程间通信,channel用于通知协程执行特定操作,而sync则用于加锁和同步。

       以往,若要实现协程的终止,可能会通过channel来控制,因为Go协程不支持直接外部退出。例如,通过设置关闭条件,每个协程需要判断channel的状态,这在处理全局时间限制时显得复杂。这时,Context的出现就显得尤为重要。

       Context简化了代码,通过Context,我们可以轻松地在库函数中利用ctx.Done()来判断协程状态。例如,/post/spring...

Vert.x 源码解析(4.x)——Context源码解析

       Vert.x 4.x 源码深度解析:Context核心概念详解

       Vert.x 通过Context这一核心机制,解决了多线程环境下的资源管理和状态维护难题。Context在异步编程中扮演着协调者角色,确保线程安全的资源访问和有序的异步操作。本文将深入剖析Context的源码结构,包括其接口设计、关键实现以及在Vert.x中的具体应用。

       Context源代码解析

       Context接口定义了基础的事件处理功能,如立即执行和阻塞任务。ContextInternal扩展了Context,包含内部方法和功能,通常开发者无需直接接触,如获取当前线程的Context。在vertx的beginDispatch和endDispatch方法中,Context的切换策略取决于线程类型,Vertx线程会使用上下文切换,而非Vertx线程则依赖ThreadLocal。

       ContextBase是ContextInternal的实现类,负责执行耗时任务,内部包含TaskQueue来管理任务顺序。WorkerContext和EventLoopContext分别对应工作线程和EventLoop线程的执行策略,它们通过execute()、runOnContext()和emit()方法处理任务,同时监控性能。

       Context的创建和获取贯穿于Vert.x的生命周期,它在DeploymentManager的doDeploy方法中被调用,如NetServer和NetClient等组件的底层实现也依赖于Context来处理网络通信。

       额外说明

       Context与线程并非直接绑定,而是根据场景动态管理。部署时创建新Context,非部署时优先获取Thread和ThreadLocal中的Context。当执行异步任务时,当前线程的Context会被暂时替换,任务完成后才恢复。源码中已加入详细注释,如需获取完整注释版本,可联系作者。

       Context的重要性在于其在Vert.x的各个层面如服务器部署、EventBus通信中不可或缺,它负责维护线程同步与异步任务的执行顺序,是异步编程中不可或缺的基石。理解Context的实现,有助于更好地利用Vert.x进行高效开发。

Application中的 Context 和 Activity 中的Context区别

        Context在我们开发中经常用到,不管是Framework提供给我们的四大组件,还是应用级别的Application,还是负责表现层的View相关类,甚至连我们很多时候创建的实体类都会需要持有一个Context的引用。那么Context到底是什么呢?

        建议看这个: /p/bde4cb

        Context英文释义是当前上下文,或者当前场景上,

        官方文档:Context

        public abstractclass Context extends Object

        Interface to globalinformation about an application environment. This is an abstract class whoseimplementation is provided by the Android system. It allows access toapplication-specific resources and classes, as well as up-calls forapplication-level operations such as launching activities, broadcasting andreceiving intents, etc.

        由官方文档,我们可以知道:

        1.该类是一个抽象(abstract class)类;

        2.它描述的是一个应用程序环境的信息,即上下文;

        3.通过它(Context)我们可以获取应用程序的资源和类,也包括一些应用级别的操作(例如,启动 Activity,广播和服务等);

        前面我们讲过 Context 是一个抽象类,通过 Context我们可以获取应用程序的资源和类,调用它们的方法,那么具体定义的方法有哪些呢?我们来看一下 Context 的源码:

        源码里的方法太多了,总共 行。我们从以上部分源码看到了熟悉的对象---Application、Activity、Service、Broadcast、这些对象和 Context 的关系到底是什么呢?我们看一下官方文档可知:

        1.Acitiivity 继承自ContextThemeWrapper--->再继承ContextWrapper--->Context。

        2.Appliction 、Service继承自ContextWrapper--->再继承Context。

        3.Application、Service 和 Activity 最终都是继承自Context,所以它们是同一个上下文。

        通过以上的继承关系,我们就可以知道,Context的具体作用会包括:

        - 启动一个新的Activity

        - 启动和停止Service

        - 发送广播消息(Intent)

        - 注册广播消息(Intent)接收者

        - 可以访问APK中各种资源,如Resources和AssetManager

        - 创建View

        - 访问Package的相关信息

        - APK的各种权限管理

        由上面分析的继承关系,我们可以知道,Context创建的时机有三个:

        ①创建Application 对象时, 而且整个App共一个Application对象;

        ②创建Service对象时;

        ③创建Activity对象时;

        所以应用程序App共有的Context数目公式为:

        Service个数 + Activity个数 + 1(Application对应的Context实例)

        如上,Android中context可以作很多操作,但是最主要的功能是加载和访问资源。在android中常用的context有两种,一种是application context,一种是activity context,通常我们在各种类和方法间传递的是activity context。

        两者的区别:

        this是Activity 的实例,扩展了Context,其生命周期是Activity 创建到销毁。getApplicationContext()返回应用的上下文,生命周期是整个应用,应用摧毁它才被摧毁。Activity.this的context 返回当前activity的上下文,属于activity ,activity摧毁时被摧毁。

        使用Context时最需要注意的一个点就是,使用了不正确的context,比如有一个全局的数据操作类用到了context,这个时候就要getApplicationContext 而不是用ACtivity,如果在这个全局操作中引用的是Activity的context,那么就会一直引用Activity的资源,导致GC无法回收这部分内存,从而最终导致了内存泄漏。

        内存泄漏是开发中常见的错误之一,能不能发现取决于开发者的经验,当然了我们也会依赖现有的内存泄漏库,但是如果我们在开发的源头减少内存泄漏的概率,那么后期的工作会少很多。

        以下是避免context相关的内存泄露,给出的几点建议:

        以下的表列举的是三种Context对象的对应使用场景:

        从表中可以看到,和UI相关的都使用Activity的Context对象。

        小结:如上分析,Context在对应开发里的来源就是三个——Activity、Service和Appliaction,那么我们该如何选择使用哪一个Context对象呢?一个比较简单的方法是,当你无法确定使用某个Context对象是否会造成长引用导致内存泄漏时,那么就使用Appliaction的Context对象,因为Appliaction存在于整个应用的生命周期内。

        在实际开发中,我们往往会为项目定义一个Applictaion,然后在AndroidMainfest.xml文件中进行注册,

        而且在自定义Application往往会定义好一个静态方法,用以全局获取application实例:

        Activity和Application都是Context的子类,但是他们维护的生命周期不一样。前者维护一个Acitivity的生命周期,所以其对应的Context也只能访问该activity内的各种资源。后者则是维护一个Application的生命周期。

        1.如何判断context是属于哪个activity?

        2.全局不同如何获取对应的context?

        静态加载一个Fragment,在onCreateView()方法中通过getActivity获取上下文实例:

        3.四大组件可以像普通Java类一样,采用new的方式实例化吗?

        Android程序不像Java程序一样,随便创建一个类,写个main()方法就能运行,Android应用模型是基于组件的应用设计模式,组件的运行要有一个完整的Android工程环境,在这个环境下,Activity、Service等系统组件才能够正常工作,而这些组件并不能采用普通的Java对象创建方式,new一下就能创建实例了,而是要有它们各自的上下文环境,也就是我们这里讨论的Context。可以这样讲,Context是维持Android程序中各组件能够正常工作的一个核心功能类。