皮皮网

1.golang map 源码解读（8问）
2.Golang源码分析Golang如何实现自举（一）
3.Golang 汇编介绍
4.golang源码系列---手把手带你看list实现
5.golang面试题库？
6.golang 日志切割库 goroutine 泄漏导致进程 panic 问题排查

golang map 源码解读（8问）

       map底层数据结构为hmap，源码包含以下几个关键部分：

       1. buckets - 指向桶数组的行数指针，存储键值对。源码

       2. count - 记录key的行数数量。

       3. B - 桶的源码数量的对数值，用于计算增量扩容。行数word网页在线编辑源码

       4. noverflow - 溢出桶的源码数量，用于等量扩容。行数

       5. hash0 - hash随机值，源码增加hash值的行数随机性，减少碰撞。源码

       6. oldbuckets - 扩容过程中的行数旧桶指针，判断桶是源码否在扩容中。

       7. nevacuate - 扩容进度值，行数小于此值的源码已经完成扩容。

       8. flags - 标记位，用于迭代或写操作时检测并发场景。

       每个桶数据结构bmap包含8个key和8个value，以及8个tophash值，用于第一次比对。

       overflow指向下一个桶，桶与桶形成链表存储key-value。

       结构示意图在此。

       map的初始化分为3种，具体调用的函数根据map的初始长度确定：

       1. makemap_small - 当长度不大于8时，只创建hmap，不初始化buckets。

       2. makemap - 当长度参数为int时，底层调用makemap。

       3. makemap - 初始化hash0，计算对数B，并初始化buckets。

       map查询底层调用mapaccess1或mapaccess2，前者无key是否存在的bool值，后者有。

       查询过程：计算key的hash值，与低B位取&确定桶位置，获取tophash值，比对tophash，相同则比对key，获得value，否则继续寻找，直至返回0值。

       map新增调用mapassign，步骤包括计算hash值，确定桶位置，比对tophash和key值，插入元素。

       map的扩容有两种情况：当count/B大于6.5时进行增量扩容，容量翻倍，资金量能指标源码渐进式完成，每次最多2个bucket；当count/B小于6.5且noverflow大于时进行等量扩容，容量不变，但分配新bucket数组。

       map删除元素通过mapdelete实现，查找key，计算hash，找到桶，遍历元素比对tophash和key，找到后置key,value为nil，修改tophash为1。

       map遍历是无序的，依赖mapiterinit和mapiternext，选择一个bucket和offset进行随机遍历。

       在迭代过程中，可以通过修改元素的key,value为nil，设置tophash为1来删除元素，不会影响遍历的顺序。

Golang源码分析Golang如何实现自举（一）

       本文旨在探索Golang如何实现自举这一复杂且关键的技术。在深入研究之前，让我们先回顾Golang的历史。Golang的开发始于年，其编译器在早期阶段是由C语言编写。直到Go 1.5版本，Golang才实现了自己的编译器。研究自举的最佳起点是理解从Go 1.2到Go 1.3的版本，这些版本对自举有重要影响，后续还将探讨Go 1.4。

       接下来，我们来了解一下Golang的编译过程。Golang的编译主要涉及几个阶段：词法解析、语法解析、优化器和生成机器码。这一过程始于用户输入的“go build”等命令，这些命令实际上触发了其他内部命令的执行。这些命令被封装在环境变量GOTOOLDIR中，具体位置因系统而异。尽管编译过程看似简单，但实际上包含了多个复杂步骤，包括词法解析、语法解析、优化器、生成机器码以及连接器和buildid过程。

       此外，本文还将介绍Golang的目录结构及其功能，包括API、文档、C头文件、依赖库、cs对战平台 源码源代码、杂项脚本和测试目录。编译后生成的文件将被放置在bin和pkg目录中，其中bin目录包含go、godoc和gofmt等文件，pkg目录则包含动态链接库和工具命令。

       在编译Golang时，首先需要了解如何安装GCC环境。为了确保兼容性，推荐使用GCC 4.7.0或4.7.1版本。通过使用Docker镜像简化了GCC的安装过程，使得编译变得更为便捷。编译Golang的命令相对简单，通过执行./all即可完成编译过程。

       最后，本文对编译文件all.bash和make.bash进行了深入解析。all.bash脚本主要针对nix系统执行，而make.bash脚本则包含了编译过程的关键步骤，包括设置SELinux、编译dist文件、编译go_bootstrap文件，直至最终生成Golang可执行文件。通过分析这些脚本，我们可以深入了解Golang的自举过程，即如何通过go_bootstrap文件来编译生成最终的Golang。

       总结而言，Golang的自举过程是一个复杂且多步骤的技术，包含了从早期C语言编译器到自动生成编译器的转变。通过系列文章的深入探讨，我们可以更全面地理解Golang自举的实现细节及其背后的逻辑。本文仅是这一过程的起点，后续将详细解析自举的关键组件和流程。

Golang 汇编介绍

       当你在深入研究 Golang 源代码时，可能会遇到汇编部分，这可能让阅读变得不那么顺畅。下面将简要概述 Golang 中的汇编语言特性。

       Go语言的汇编主要遵循Plan9风格，区别于Intel和AT&T的传统风格。Plan9汇编是由Unix操作系统开发团队，特别是Bell实验室的成员所创建的，它为适应不同CPU架构提供了灵活性。尽管Go汇编基于Plan9，但考虑到现实中众多CPU架构的多样性，同一个方法在不同指令集下会有不同的实现。

       要查看Go汇编代码，可以在Golang源代码中查找。让我们先了解基础概念：

       通用寄存器：与特定CPU架构相关，如amd架构提供了个通用寄存器，如rax,cps订单系统源码 rbx, rbp等。在Plan9汇编中，这些被映射为AX, BX, BP, SP等。

       虚拟寄存器：Go汇编中引入的4个虚拟寄存器，如R, SP等。

       在指令层面，Go汇编包含：

       变量声明：通过DATA和GLOBL来定义全局变量，如NOPTR表示非指针，不需要垃圾回收。局部变量则根据堆栈帧自动管理。

       函数声明：使用TEXT指令，如pkgname·funname(SB),flag,$framesize-argsize，其中flag如NOSPLIT用于优化，framesize和argsize分别表示栈帧大小和参数/返回值大小。

       常见操作：如数据搬运(CMPQ), 条件和无条件跳转(JNE)，以及更多复杂指令。

       通过这些基础，你应该能开始理解和解析简单的汇编代码了。如果你想深入学习，这里推荐一些可供参考的源代码。

golang源码系列---手把手带你看list实现

       本文提供Golang源码中双向链表实现的详细解析。

       双向链表结构包含头节点对象root和链表长度，无需遍历获取长度，链表节点额外设指针指向链表，方便信息获取。

       创建双向链表使用`list.New`函数，初始化链表。

       `Init`方法可初始化或清空链表，链表结构内含占位头结点。

       `Len`方法返回链表长度，由结构体字段存储，无需遍历。

       `Front`与`Back`分别获取头结点和尾结点。

       `InsertBefore`与`InsertAfter`方法在指定节点前后插入新节点，底层调用`insertValue`实现。

       `PushFront`与`PushBack`方法分别在链表头部和尾部插入新节点。

       `MoveToBack`与`MoveToFront`内部调用`move`方法，将节点移动至特定位置。

       `MoveBefore`与`MoveAfter`将节点移动至指定节点前后。

       `PushBackList`与`PushFrontList`方法分别在链表尾部或头部插入其他链表节点。

       例如，原始链表A1 - A2 - A3与链表B1 - B2 - B3，`PushFrontList`结果为B1 - B2 - B3 - A1 - A2 - A3，`PushBackList`结果为A1 - A2 - A3 - B1 - B2 - B3。

golang面试题库？

       go面试题整理（附带部分自己的解答）

       原文：

       如果有解答的不对的，麻烦各位在评论写出来~

       go的调度原理是基于GMP模型，G代表一个goroutine，不限制数量；M=machine，代表一个线程，最大1万，提供WEB源码的网站所有G任务还是在M上执行；P=processor代表一个处理器，每一个允许的M都会绑定一个G，默认与逻辑CPU数量相等（通过runtime.GOMAXPROCS(runtime.NumCPU())设置）。

       go调用过程：

       可以能，也可以不能。

       因为go存在不能使用==判断类型：map、slice，如果struct包含这些类型的字段，则不能比较。

       这两种类型也不能作为map的key。

       类似栈操作，后进先出。

       因为go的return是一个非原子性操作，比如语句returni，实际上分两步进行，即将i值存入栈中作为返回值，然后执行跳转，而defer的执行时机正是跳转前，所以说defer执行时还是有机会操作返回值的。

       select的case的表达式必须是一个channel类型，所有case都会被求值，求值顺序自上而下，从左至右。如果多个case可以完成，则会随机执行一个case，如果有default分支，则执行default分支语句。如果连default都没有，则select语句会一直阻塞，直到至少有一个IO操作可以进行。

       break关键字可跳出select的执行。

       goroutine管理、信息传递。context的意思是上下文，在线程、协程中都有这个概念，它指的是程序单元的一个运行状态、现场、快照，包含。context在多个goroutine中是并发安全的。

       应用场景：

       例子参考：

       waitgroup

       channel

       len：切片的长度，访问时间复杂度为O(1)，go的slice底层是对数组的引用。

       cap：切片的容量，扩容是以这个值为标准。默认扩容是2倍，当达到的长度后，按1.倍。

       扩容：每次扩容slice底层都将先分配新的容量的内存空间，再将老的数组拷贝到新的内存空间，因为这个操作不是并发安全的。所以并发进行append操作，读到内存中的老数组可能为同一个，最终导致append的数据丢失。

       共享：slice的底层是对数组的引用，因此如果两个切片引用了同一个数组片段，就会形成共享底层数组。当sliec发生内存的重新分配（如扩容）时，会对共享进行隔断。详细见下面例子：

       make([]Type,len,cap)

       map的底层是hashtable(hmap类型)，对key值进行了hash，并将结果的低八位用于确定key/value存在于哪个bucket（bmap类型）。再将高八位与bucket的tophash进行依次比较，确定是否存在。出现hash冲撞时，会通过bucket的overflow指向另一个bucket，形成一个单向链表。每个bucket存储8个键值对。

       如果要实现map的顺序读取，需要使用一个slice来存储map的key并按照顺序进行排序。

       利用map，如果要求并发安全，就用sync.map

       要注意下set中的delete函数需要使用delete(map)来实现，但是这个并不会释放内存，除非value也是一个子map。当进行多次delete后，可以使用make来重建map。

       使用sync.Map来管理topic，用channel来做队列。

       参考：

       多路归并法:

       preclass="vditor-reset"placeholder=""contenteditable="true"spellcheck="false"pdata-block="0"(1)假设有K路ahref=""数据流/a，流内部是有序的，且流间同为升序或降序；

       /ppdata-block="0"(2)首先读取每个流的第一个数，如果已经EOF，pass；

       /ppdata-block="0"(3)将有效的k(k可能小于K)个数比较，选出最小的那路mink，输出，读取mink的下一个；

       /ppdata-block="0"(4)直到所有K路都EOF。

       /p/pre

       假设文件又1个G，内存只有M，无法将1个G的文件全部读到内存进行排序。

       第一步：

       可以分为段读取，每段读取M的数据并排序好写入硬盘。

       假设写入后的文件为A,B，C...

       第二步:

       将A，B,C...的第一个字符拿出来，对这个字符进行排序，并将结果写入硬盘，同时记录被写入的字符的文件指针P。

       第三步：

       将刚刚排序好的9个字符再加上从指针P读取到的P+1位数据进行排序，并写入硬盘。

       重复二、三步骤。

       go文件读写参考：

       保证排序前两个相等的数其在序列的前后位置顺序和排序后它们两个的前后位置顺序相同的排序叫稳定排序。

       快速排序、希尔排序、堆排序、直接选择排序不是稳定的排序算法。

       基数排序、冒泡排序、直接插入排序、折半插入排序、归并排序是稳定的排序算法。

       参考：

       head只请求页面的首部。多用来判断网页是否被修改和超链接的有效性。

       get请求页面信息，并返回实例的主体。

       参考:

       ：未授权的访问。

       :拒绝访问。

       普通的.ipv4.tcp_keepalive_intvl=//当探测没有确认时，重新发送探测的频度。缺省是秒。

       net.ipv4.tcp_keepalive_probes=9//在认定连接失效之前，发送多少个TCP的keepalive探测包。缺省值是9。这个值乘以tcp_keepalive_intvl之后决定了，一个连接发送了keepalive之后可以有多少时间没有回应

       net.ipv4.tcp_keepalive_time=//当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时。一般设置为分钟

       修改：

       可以

       tcp是面向连接的，upd是无连接状态的。

       udp相比tcp没有建立连接的过程，所以更快，同时也更安全，不容易被攻击。upd没有阻塞控制，因此出现网络阻塞不会使源主机的发送效率降低。upd支持一对多，多对多等，tcp是点对点传输。tcp首部开销字节，udp8字节。

       udp使用场景：视频通话、im聊天等。

       time-wait表示客户端等待服务端返回关闭信息的状态，closed_wait表示服务端得知客户端想要关闭连接，进入半关闭状态并返回一段TCP报文。

       time-wait作用：

       解决办法：

       close_wait:

       被动关闭，通常是由于客户端忘记关闭tcp连接导致。

       根据业务来啊~

       重要指标是cardinality（不重复数量），这个数量/总行数如果过小（趋近于0）代表索引基本没意义，比如sex性别这种。

       另外查询不要使用select*，根据select的条件+where条件做组合索引，尽量实现覆盖索引，避免回表。

       僵尸进程：

       即子进程先于父进程退出后，子进程的PCB需要其父进程释放，但是父进程并没有释放子进程的PCB，这样的子进程就称为僵尸进程，僵尸进程实际上是一个已经死掉的进程。

       孤儿进程：

       一个父进程退出，而它的一个或多个子进程还在运行，那么那些子进程将成为孤儿进程。孤儿进程将被init进程(进程号为1)所收养，并由init进程对它们完成状态收集工作。

       子进程死亡需要父进程来处理，那么意味着正常的进程应该是子进程先于父进程死亡。当父进程先于子进程死亡时，子进程死亡时没父进程处理，这个死亡的子进程就是孤儿进程。

       但孤儿进程与僵尸进程不同的是，由于父进程已经死亡，系统会帮助父进程回收处理孤儿进程。所以孤儿进程实际上是不占用资源的，因为它终究是被系统回收了。不会像僵尸进程那样占用ID,损害运行系统。

       原文链接：

       产生死锁的四个必要条件：

       （1）互斥条件：一个资源每次只能被一个进程使用。

       （2）请求与保持条件：一个进程因请求资源而阻塞时，对已获得的资源保持不放。

       （3）不剥夺条件：进程已获得的资源，在末使用完之前，不能强行剥夺。

       （4）循环等待条件：若干进程之间形成一种头尾相接的循环等待资源关系。

       避免方法：

       端口占用：lsof-i:端口号或者nestat

       cpu、内存占用：top

       发送信号：kill-l列出所有信号，然后用kill[信号变化][进程号]来执行。如kill-。强制杀死进程

       gitlog:查看提交记录

       gitdiff：查看变更记录

       gitmerge：目标分支改变，而源分支保持原样。优点：保留提交历史，保留分支结构。但会有大量的merge记录

       gitrebase：将修改拼接到最新，复杂的记录变得优雅，单个操作变得(revert)很简单；缺点：

       gitrevert:反做指定版本，会新生成一个版本

       gitreset:重置到某个版本，中间版本全部丢失

       etcd、Consul

       pprof

       节省空间（非叶子节点不存储数据，相对btree的优势），减少I/O次数（节省的空间全部存指针地址，让树变的矮胖），范围查找方便（相对hash的优势）。

       explain

       其他的见：

       runtime2.go中关于p的定义：其中runnext指针决定了下一个要运行的g，根据英文的注释大致意思是说：

       所以当设置runtime.GOMAXPROCS(1)时，此时只有一个P，创建的g依次加入P，当最后一个即i==9时，加入的最后一个g将会继承当前主goroutinue的剩余时间片继续执行，所以会先输出9，之后再依次执行P队列中其它的g。

       方法一：

       方法二：

       [上传失败...(image-4ef-)]

       方法1：to_days，返回给的日期从0开始算的天数。

       方法2：data_add。向日期添加指定时间间隔

       [上传失败...(image-bb-)]

       面试问题总结（一）Golang

       使用go语言的好处:go语言的设计是务实的,go在针对并发上进行了优化,并且支持大规模高并发,又由于单一的码格式,相比于其他语言更具有可读性,在垃圾回收上比java和Python更有效,因为他是和程序同时执行的.

       1.进程,线程,协程的区别,协程的优势

       2.讲一下GMP模型(重点)

       3.Go的GC,混合写屏障(重点)

       4.go的Slice和数组的区别,slice的扩容原理(重点)

       5.讲一下channel,实现原理(重点)

       6.讲一下Go的Map的实现原理,是否线程安全,如何实现安全(重点)

       7.new和make的区别

       8.说一下内存逃逸

       9.函数传指针和传值有什么区别

       .goroutine之间的通信方式

       .测试是怎么做的(单元测试,压力测试)

       .堆和栈的区别

golang面试题2之判断字符串中字符是否全都不同

       请实现个算法，确定个字符串的所有字符是否全都不同。这我们要求不允

       许使额外的存储结构。给定个string，请返回个bool值,true代表所有字符全都

       不同，false代表存在相同的字符。保证字符串中的字符为ASCII字符。字符串的

       度于等于。

       这有个重点，第个是ASCII字符，ASCII字符字符共有个，其中个是常

       字符，可以在键盘上输。之后的是键盘上法找到的。

       然后是全部不同，也就是字符串中的字符没有重复的，再次，不准使额外的储存结

       构，且字符串于等于。

       如果允许其他额外储存结构，这个题很好做。如果不允许的话，可以使golang内置

       的式实现。

       通过strings.Count函数判断：

       使的是golang内置法strings.Count,可以来判断在个字符串中包含

       的另外个字符串的数量

       还有不同的方法同样可以实现，你了解吗?

       推荐go相关技术专栏

       gRPC-go源码剖析与实战_带你走进gRPC-go的源码世界-CSDN博客

golang 日志切割库 goroutine 泄漏导致进程 panic 问题排查

       golang 中的 goroutine 使用成本低，但不当使用会引发资源泄露，如 goroutine 泄漏。这种问题的根源通常是 goroutine 内部使用了阻塞的 channel 操作（如阻塞读或阻塞写）却未关闭 channel，导致 goroutine 难以退出。本文记录了一个服务在依赖的开源基础日志切割库时，因 goroutine 泄漏导致系统线程数激增直至超过 ，进而引发进程 panic 的排查与分析过程。

       问题最初出现在压测环境中，压测背景为大规模并发操作，涉及上千台主机的交互。在压测中，代理组件突然崩溃，显示出异常的 goroutine 数量。初看日志，发现有大量 goroutine 堆栈信息，且数量高达几十万，但因时间紧迫未深入分析，仅简单重启后继续测试。

       排查发现，问题与一个常用的日志库 lumberjack.v2 相关。在监控事件的 goroutine 中存在阻塞操作，但系统中主控 agent 实例数量远未达到预期的泄露数量。进一步研究代码发现，问题出在日志库中创建 goroutine 的操作，且在 goroutine 中有一个从 channel 中进行阻塞读的操作，但缺少关闭 channel 的逻辑。

       利用 pprof 工具分析后，确认问题源位于 lumberjack 库中，该库存在一个明确的 goroutine 泄漏问题。通过代码搜索和资料查阅，确认依赖库的最新版本 3.0 依然存在此缺陷，加剧了问题的严重性。

       深入源码跟踪后，发现了问题的全貌。日志库 zap，被广泛用于实现高效率的日志输出，通过调用 lumberjack 库来支持日志文件的归档功能。在 zap 的日志输出过程中，多次调用 lumberjack 库的 Logger.Write 方法，导致了 goroutine 的长期占用和泄露。

       总结，问题归结于依赖库的不完善设计导致的 goroutine 泄漏，且影响了上层日志库的正确执行。解决此类问题需要仔细审查依赖库的使用，确保资源的有效管理与释放，以避免潜在的系统稳定性风险。