1.go-iptables功能与源码详解
2.解析LinuxSS源码探索一探究竟linuxss源码
3.netfilter/iptables模块编译及应用
4.Linux下针对路由功能配置iptables的源码方法详解
5.一次“不负责任”的 K8s 网络故障排查经验分享

go-iptables功能与源码详解

       介绍iptables之前我们先搬出他的父亲netfilter，netfilter是解析基于 Linux 2.4.x或更新的内核，提供了一系列报文处理的源码能力（过滤+改包+连接跟踪），具体来讲可以包含以下几个功能：

       其实说白了，解析netfilter就是源码操作系统实现了网络防火墙的能力（连接跟踪+过滤+改包），而iptables就是解析微信在线答题系统源码用户态操作内核中防火墙能力的命令行工具，位于用户空间。源码快问快答，解析为啥计算机系统需要内核态和用户态（狗头）。源码

       既然netfilter是解析对报文进行处理，那么我们就应该先了解一下内核是源码如何进行收发包的，发生报文大致流程如下：

       netfilter框架就是解析作用于网络层中，在一些关键的源码报文收发处理路径上，加一些hook点，解析可以认为是源码一个个检查点，有的在主机外报文进入的位置（PREROUTING ），有的在经过路由发觉要进入本机用户态处理之前（INPUT ），有的在用户态处理完成后发出的地方（OUTPUT ），有的在报文经过路由并且发觉不是本机决定转发走的位置（FOWARD ），有的在路由转发之后出口的位置（POSTROUTING ），每个检查点有不同的规则集合，这些规则会有一定的优先级顺序，如果报文达到匹配条件（五元组之类的）且优先级最高的规则（序号越小优先级越高），内核会执行规则对应的动作，比如说拒绝，放行，记录日志，砸电脑404源码丢弃。

       最后总结如下图所示，里面包含了netfilter框架中，报文在网络层先后经过的一些hook点：

       报文转发视角：

       iptables命令行工具管理视角：

       规则种类：

       流入本机路径：

       经过本机路径：

       流出本机路径：

       由上一章节我们已经知道了iptables是用户态的命令行工具，目的就是为了方便我们在各个检查点增删改查不同种类的规则，命令的格式大致如下，简单理解就是针对具体的哪些流（五元组+某些特定协议还会有更细分的匹配条件，比如说只针对tcp syn报文）进行怎样的动作（端口ip转换或者阻拦放行）：

       2.1 最基本的增删改查

       增删改查的命令，我们以最常用的filter规则为例，就是最基本的防火墙过滤功能，实验环境我先准备了一个centos7的docker跑起来（docker好啊，实验完了直接删掉，不伤害本机），并通过iptables配置一些命令，然后通过主机向该docker发生ping包，测试增删改查的filter规则是否生效。

       1.查询

       如果有规则会把他的序号显示出来，后面插入或者删除可以用 iptables -nvL -t filter --line​

       可以看出filter规则可以挂载在INPUT，FORWARD，OUTPUT检查点上，并且兜底的规则都是ACCEPT，也就是没有匹配到其他规则就全部放行，这个兜底规则是可以修改的。 我们通过ifconfig查看出docker的ip，然后主机去ping一波：​

       然后再去查一下，会发现 packets,okhttp 3.4.2源码下载 bytes ---> 对应规则匹配到的报文的个数/字节数：

       2. 新增+删除 新增一条拒绝的报文，我们直接把docker0网关ip给禁了，这样就无法通过主机ping通docker容器了（如果有疑问，下面有解答，会涉及docker的一些小姿势）： iptables -I INPUT -s ..0.1 -j DROP （-I不指定序号的话就是头插） iptables -t filter -D INPUT 1​

       可见已经生效了，拦截了ping包，随后我删除了这条规则，又能够ping通了

       3. 修改 通过-R可以进行规则修改，但能修改的部分比较少，只能改action，所以我的建议是先通过编号删除规则，再在原编号位置添加一条规则。

       4. 持久化 当我们对规则进行了修改以后，如果想要修改永久生效，必须使用service iptables save保存规则，当然，如果你误操作了规则，但是并没有保存，那么使用service iptables restart命令重启iptables以后，规则会再次回到上次保存/etc/sysconfig/iptables文件时的模样。

       再使用service iptables save命令保存iptables规则

       5. 自定义链 我们可以创建自己的规则集，这样统一管理会非常方便，比如说，我现在要创建一系列的web服务相关的规则集，但我查询一波INPUT链一看，妈哎，条规则，秒赞源码2018这条规则有针对mail服务的，有针对sshd服务的，有针对私网IP的，有针对公网IP的，我这看一遍下来头都大了，所以就产生了一个非常合理的需求，就是我能不能创建自己的规则集，然后让这些检查点引用，答案是可以的： iptables -t filter -N MY_WEB

       iptables -t filter -I INPUT -p tcp --dport -j MY_WEB

       这就相当于tcp目的端口的报文会被送入到MY_WEB规则集中进行匹配了，后面有陆续新规则进行增删时，完全可以只针对MY_WEB进行维护。 还有不少命令，详见这位大佬的总结：

       回过头来，讲一个关于docker的小知识点，就是容器和如何通过主机通讯的？

       这就是veth-pair技术，一端连接彼此，一端连接协议栈，evth—pair 充当一个桥梁，连接各种虚拟网络设备的。

       我们在容器内和主机敲一下ifconfig：

       看到了吧，容器内的eth0和主机的vetha9就是成对出现的，然后各个主机的虚拟网卡通过docker0互联，也实现了容器间的通信，大致如下：

       我们抓个包看一哈：

       可以看出都是通过docker0网关转发的：

       最后引用一波 朱老板总结的常用套路，作为本章结尾：

       1、规则的linux 源码在哪下载顺序非常重要。

       如果报文已经被前面的规则匹配到，IPTABLES则会对报文执行对应的动作，通常是ACCEPT或者REJECT，报文被放行或拒绝以后，即使后面的规则也能匹配到刚才放行或拒绝的报文，也没有机会再对报文执行相应的动作了（前面规则的动作为LOG时除外），所以，针对相同服务的规则，更严格的规则应该放在前面。

       2、当规则中有多个匹配条件时，条件之间默认存在“与”的关系。

       如果一条规则中包含了多个匹配条件，那么报文必须同时满足这个规则中的所有匹配条件，报文才能被这条规则匹配到。

       3、在不考虑1的情况下，应该将更容易被匹配到的规则放置在前面。

       4、当IPTABLES所在主机作为网络防火墙时，在配置规则时，应着重考虑方向性，双向都要考虑，从外到内，从内到外。

       5、在配置IPTABLES白名单时，往往会将链的默认策略设置为ACCEPT，通过在链的最后设置REJECT规则实现白名单机制，而不是将链的默认策略设置为DROP，如果将链的默认策略设置为DROP，当链中的规则被清空时，管理员的请求也将会被DROP掉。

       3. go-iptables安装

       go-iptables是组件库，直接一波import " github.com/coreos/go-ip..."​，然后go mod tidy一番，就准备兴致冲冲的跑一波自带的测试用例集，没想到上来就是4个error:

       这还了得，我直接去go-iptables的仓库issue上瞅瞅有没有同道中人，果然发现一个类似问题：

       虽然都是test failures，但是错的原因是不一样的，但是看他的版本是1.8的，所以我怀疑是我的iptables的版本太老了，一个iptables -v看一眼：

       直接用yum update好像不能升级，yum search也没看到最新版本，看来只能下载iptables源码自己编译了，一套连招先打出来：

       不出意外的话，那就得出点意外了：

       那就继续下载源码安装吧，然后发现libmnl 又依赖libnftnl ，所以直接一波大招，netfilter全家桶全安装：

       Finally，再跑一次测试用例就成功了，下面就可以愉快的阅读源码了：

       4. 如何使用go-iptables

       5. go-iptables源码分析

       关键结构体IPTables

       初始化函数func New(opts ...option) (*IPTables, error) ，流程如下：

       几个重要函数的实现：

       其他好像也米有什么，这里面就主要介绍一下，他的命令行执行是怎么实现的：

       6. Reference

解析LinuxSS源码探索一探究竟linuxss源码

       被誉为“全球最复杂开源项目”的Linux SS（Secure Socket）是一款轻量级的网络代理工具，它在Linux系统上非常受欢迎，也成为了大多数网络应用的首选。Linux SS的源码的代码量相当庞大，也备受广大开发者的关注，潜心钻研Linux SS源码对于网络研究者和黑客们来说是非常有必要的。

       我们以Linux 3. 内核的SS源码为例来分析，Linux SS的源码目录位于linux/net/ipv4/netfilter/目录下，在该目录下包含了Linux SS的主要代码，我们可以先查看其中的主要头文件，比如说：

       include/linux/netfilter/ipset/ip_set.h

       include/linux/netfilter_ipv4/ip_tables.h

       include/linux/netfilter/x_tables.h

       这三个头文件是Linux SS系统的核心结构之一。

       接下来，我们还要解析两个核心函数：iptables_init函数和iptables_register_table函数，这两个函数的主要作用是初始化网络过滤框架和注册网络过滤表。iptables_init函数主要用于初始化网络过滤框架，主要完成如下功能：

       1. 调用xtables_init函数，初始化Xtables模型；

       2. 调用ip_tables_init函数，初始化IPTables模型；

       3. 调用nftables_init函数，初始化Nftables模型；

       4. 调用ipset_init函数，初始化IPset模型。

       而iptables_register_table函数主要用于注册网络过滤表，主要完成如下功能：

       1. 根据提供的参数检查表的有效性；

       2. 创建一个新的数据结构xt_table；

       3. 将该表注册到ipt_tables数据结构中；

       4. 将表名及对应的表结构存放到xt_tableshash数据结构中；

       5. 更新表的索引号。

       到这里，我们就大致可以了解Linux SS的源码，但Learning Linux SS源码只是静态分析，细节的分析还需要真正的运行环境，观察每个函数的实际执行，而真正运行起来的Linux SS，是与系统内核非常紧密结合的，比如：

       1. 调用内核函数IPv6_build_route_tables_sockopt，构建SS的路由表；

       2. 调用内核内存管理系统，比如kmalloc、vmalloc等，分配SS所需的内存；

       3. 初始化Linux SS的配置参数；

       4. 调用内核模块管理机制，加载Linux SS相关的内核模块；

       5. 调用内核功能接口，比如netfilter, nf_conntrack, nf_hook等，通过它们来执行对应的网络功能。

       通过上述深入了解Linux SS源码，我们可以迅速把握Linux SS的构架和实现，也能熟悉Linux SS的具体运行流程。Linux SS的深层原理揭示出它未来的发展趋势，我们也可以根据Linux SS的现有架构改善Linux的网络安全机制，进一步开发出与Linux SS和系统内核更加融合的高级网络功能。

netfilter/iptables模块编译及应用

       by KindGeorge # yahoo.com .4.2 at ChinaUnix.net

       相信很多人都会用iptables,我也一直用,并且天天用.特别是看完platinum的如何给iptables添加新的模块;;介绍后,觉得有必要深入了解一下它的拓展功能.于是立刻下载,先查看一下它的说明, 其功能很是令人感觉很兴奋,例如:comment (备注匹配) ,string(字符串匹配,可以用做内容过滤),iprang(ip范围匹配),time(时间匹配),ipp2p(点对点匹配),connlimit(同时连接个数匹配),Nth(第n个包匹配),geoip(根据国家地区匹配). ipp2p(点对点匹配), quota(配额匹配),还有很多......之后编译,几经测试,在rh7.3 kernel2.4.-3和rh9.0 kernel2.4.-8下均成功实现添加扩展功能.以下是介绍其部分功能,及编译方法.环境rh9.0 kernel2.4.-8. root身份.

       一,准备原码.

       1. 内核原码:为了减少复杂性,不编译所有内核和模块,建议找一个跟当前版本一样的内核原码,推荐安装时光盘的

       a. [root@kindgeorge] uname -r (查看当前版本)

       2.4.-8

       可以cd /usr/src 查看是否有这个目录2.4.-8

       b. 或者[root@kindgeorge]rpm -qa|grep kernel

        kernel-source-2.4.-8 如果有这个说明已安装了.

       如果没有安装,可以在RH第二张光盘中拷贝过来或安装 rpm -ivh kernel-source-2.4.-3.i.rpm. 安装后会在/usr/src/出现linux-2.4连接和linux-2.4.-8目录.

        c.在下载一个和当前版本的内核原码.

       2. 先获取最新的信息,当然要到piled for kernel version 2.4.-8custom

        while this kernel is version 2.4.-8.

       /lib/modules/2.4.-8/kernel/net/ipv4/netfilter/ipt_iprange.o: insmod /lib/modules/2.4.-8/kernel/net/ipv4/netfilter/ipt_iprange.o failed

       /lib/modules/2.4.-8/kernel/net/ipv4/netfilter/ipt_iprange.o: insmod ipt_iprange failed

       3. [root@kindgeorge linux-2.4]# make mrproper

       4. [root@kindgeorge linux-2.4]# make oldconfig

       'make oldconfig' - 采用以前的 .config 文件 (编译时十分有用)

       技巧：在make menuconfig时，我们面对众多的选项常常不知道该如何选择，此时可以把安装时的配置文件copy到/usr/src/linux-2.4中：cp /boot/config-2.4.* /usr/src/linux-2.4/.config,再用make menuconfig编译，它会读取.config中原来的配置信息.

       (二).给netfilter打补丁

       解开tar xjvf patch-o-matic-ng-.tar.bz2 包后,进入该目录,就会发现有很多目录,其实每个目录对应一个模块.

       我们可以这样来选择,根据不同贮仓库submitted|pending|base|extra,例如:

       KERNEL_DIR=/usr/src/linux-2.4 IPTABLES_DIR=/usr/src/iptables-1.3.1 ./runme base .

       或:KERNEL_DIR=/usr/src/linux-2.4 IPTABLES_DIR=/usr/src/iptables-1.3.1 ./runme extra

       执行后,会测试是否已经应用和提示你是否应用该模块,但这样会遍历所有模块,有很多是用不着的,并且可能和系统版本有冲突,如果不管三七二十一全部选择的话,一般都会在编译和使用时出错.所以推荐用cat /模块目录名/info 和cat /模块目录名/help 看过后,认为适合自己,才选择.

       我是针对在上面看过后,有目的的一个一个的应用的,这样做:

       KERNEL_DIR=/usr/src/linux-2.4 IPTABLES_DIR=/usr/src/iptables-1.3.1 ./runme string

       执行后,会测试是否已经应用和提示你是否应用该模块,按"y"应用.然后继续下一个

       KERNEL_DIR=/usr/src/linux-2.4 IPTABLES_DIR=/usr/src/iptables-1.3.1 ./runme comment

       KERNEL_DIR=/usr/src/linux-2.4 IPTABLES_DIR=/usr/src/iptables-1.3.1 ./runme connlimit

       KERNEL_DIR=/usr/src/linux-2.4 IPTABLES_DIR=/usr/src/iptables-1.3.1 ./runme time

       KERNEL_DIR=/usr/src/linux-2.4 IPTABLES_DIR=/usr/src/iptables-1.3.1 ./runme iprange

       KERNEL_DIR=/usr/src/linux-2.4 IPTABLES_DIR=/usr/src/iptables-1.3.1 ./runme geoip

       KERNEL_DIR=/usr/src/linux-2.4 IPTABLES_DIR=/usr/src/iptables-1.3.1 ./runme nth

       KERNEL_DIR=/usr/src/linux-2.4 IPTABLES_DIR=/usr/src/iptables-1.3.1 ./runme ipp2p

       KERNEL_DIR=/usr/src/linux-2.4 IPTABLES_DIR=/usr/src/iptables-1.3.1 ./runme quota

       上面全部完成后,

       cd /usr/src/linux-2.4

       make menuconfig，确认

       Prompt for development and/or incomplete code/drivers要选中

       然后进入Networking options

       再进入IP:Netfilter Configuration，会看到增加很多模块，每个新增的后面都会出现"NEW",把其想要的选中为模块"M"

       保存、退出，至此，给netfilter打补丁工作完成

       (三).编译netfilter模块

       1.这里只需要编译netfilter,不需要编译整个内核和模块.这里我只需要ipv4的,ipv6我还没用到,所以不管了

       cd /usr/src/linux-2.4

       make dep

       make modules SUBDIRS=net/ipv4/netfilter

       2.建立一个新目录备份原来模块,以防万一:

       mkdir /usr/src/netfilter

       cp /lib/modules/2.4.-8/kernel/net/ipv4/netfilter/*.o /usr/src/netfilter/

       3.应用新的模块

       cp -f /usr/src/linux-2.4/net/ipv4/netfilter/*.o /lib/modules/2.4.-8/kernel/net/ipv4/netfilter/

       4.更新你的modules.dep

       depmod -a

       当出现这个时,可以不用理会,因为ipchains, ipfwadm模块都没用,也可以把出错的删除.

       depmod: *** Unresolved symbols in /lib/modules/2.4.-8/kernel/net/ipv4/netfilter/ipchains_core.o

       depmod: *** Unresolved symbols in /lib/modules/2.4.-8/kernel/net/ipv4/netfilter/ipfwadm_core.o

       (四).编译安装新的iptables

       解压后有目录iptables-1.3.1

       cd /usr/src/iptables-1.3.1

       export KERNEL_DIR=/usr/src/linux-2.4

       export IPTABLES_DIR=/usr/src/iptables-1.3.1

       make BINDIR=/sbin LIBDIR=/lib MANDIR=/usr/share/man install

       三.安装完成,测试及应用

       1.内容过滤

       iptables -I FORWARD -m string --string "腾讯" -j DROP

       iptables -I FORWARD -s ..3. -m string --string "qq.com" -j DROP

       iptables -I FORWARD -d ..3.0/ -m string --string "宽频影院" -j DROP

       iptables -I FORWARD -s ..3.0/ -m string --string "色情" -j DROP

       iptables -I FORWARD -p tcp --sport -m string --string "广告" -j DROP

       2.备注应用

       iptables -I FORWARD -s ..3. -p tcp --dport -j DROP -m comment --comment "the bad guy can not online"

       iptables -I FORWARD -s ..3. -m string --string "qq.com" -j DROP -m comment --comment "denny go to qq.com"

       3.并发连接应用

       模块 connlimit 作用:连接限制

       --connlimit-above n 限制为多少个

       --connlimit-mask n 这组主机的掩码,默认是connlimit-mask ,即每ip.

       这个主要可以限制内网用户的网络使用,对服务器而言则可以限制每个ip发起的连接数...比较实用

       例如:只允许每个ip同时5个端口转发,超过的丢弃:

       iptables -I FORWARD -p tcp --syn --dport -m connlimit --connlimit-above 5 -j DROP

       例如:只允许每组ip同时个端口转发:

       iptables -I FORWARD -p tcp --syn --dport -m connlimit --connlimit-above --connlimit-mask -j DROP

       例如:为了防止DOS太多连接进来,那么可以允许最多个初始连接,超过的丢弃.

       /sbin/iptables -A INPUT -s ..1.0/ -p tcp --syn -m connlimit --connlimit-above -j DROP

       /sbin/iptables -A INPUT -s ..1.0/ -p tcp -m state --state ESTABLISHED,RELATED -j ACCEPT

       4.ip范围应用

       iptables -A FORWARD -m iprange --src-range ..1.5-..1. -j ACCEPT

       5.每隔N个匹配

       iptables -t mangle -A PREROUTING -m nth --every -j DROP

       6.封杀BT类P2P软件

       iptables -A FORWARD -m ipp2p --edk --kazaa --bit -j DROP

       iptables -A FORWARD -p tcp -m ipp2p --ares -j DROP

       iptables -A FORWARD -p udp -m ipp2p --kazaa -j DROP

       7.配额匹配

       iptables -I FORWARD -s ..3. -p tcp --dport -m quota --quota -j DROP

       iptables -I FORWARD -s ..3. -p tcp --dport -m quota --quota -j ACCEPT

       以上均测试通过,只有geoip的geoipdb.bin没下载到,所以没测试

       在此仅为抛个砖头,更多的应用,要根据自己的需要来组合各个规则和模块了.

       本来此篇文章和netfilter/iptables模块功能中文介绍;;是写在一起的,由于篇幅太长,所以份成两篇. 如果有更新请见我的blog: /l7-filter/

       iptables源码下载地址

       /l7-filter/

       代码如下:

       xz -d linux-2.6...tar.xz

       tar -xvf linux-2.6...tar.gz -C /usr/src #新的内核源码，用于重新编译

       tar -zxvf netfilter-layer7-v2..tar.gz -C /usr/src #内核补丁和iptables补丁 ，只支持到2.6.

       #进入解压目录并创建软连接

       pcd /usr/src

       ln -sv linux-2.6.. linux

       #进入内核目录

       pcd /usr/src/linux

       #为当前内核打补丁

       ppatch -p1 ../netfilter-layer7-v2./kernel-2.6.-2.6.-layer7-2..path

       #为了方便编译内核将系统上的内核配置文件复制过来

       pcp /boot/config-2.6.-.el5 /usr/src/linux/.config

       编译内核

       代码如下:

       make menuconfig

       Networking support - Networking Options - Network packet filtering framework - Core Netfilter Configuration

       Netfilter connection tracking support

       "lawyer7" match support

       "string" match support

       "time" match support

       "iprange" match support

       "connlimit" match support

       "state" match support

       "conntrack" connection match support

       "mac" address match support

       "multiport" Multiple port match support

       Networking support - Networign options - Network packet filtering framework - IP:Netfiltr Configuration

       IPv4 connection tracking support (required for NAT)

       Full NAT

       MASQUERADE target support

       NETMAP target support

       REDIRECT target support

       在Networking support中选择 Networking options

       查找Network packet filtering framework(Netfilter)–Core Netfiler Configrationg–Netfilter connection tracking support(NEW),”layer7″ match support(NEW),”time” match support(NEW),”iprange”

       查找IP:Netfilter Configuration–IPv4 connection tracking support,Full NAT(NEW)

       代码如下:

       make

       make modules_install

       make install

       重启操作系统选择新内核登录

       卸载旧的iptables

       代码如下:

       rpm -e iptables-1.3.5-9.1.el5 iptables-ipv6-1.3.5-9.1.el5 iptstate-1.4-2.el5 --nodeps

       安装新的iptables，以支持新的netfiler模块

       代码如下:

       tar -jsvf iptables-1.4.6.tar.bz2 -C /usr/src

       cd /usr/src/netfilter-layer7-v2.

       cd iptables-1.4.3forward-for-kernel-2.6.forward

       cp * /usr/src/iptables-1.4.6/extensions/

       cd /usr/src/iptables-1.4.6/

       ./configure --prefix=/usr --with-ksource=/usr/src/linux

       make

       make install

       查看安装后的iptables的文件

       代码如下:

       ls /usr/sbin |grep iptables

       ls /usr/libexec/xtables

       复制之前备份的配置文件和脚本

       代码如下:

       cp /root/iptables-config /etc/sysconfig/

       cp /root/iptables.sysv /etc/rc.d/init.d/iptables

       修改脚本中iptables的路径

       代码如下:

       vim /etc/rc.d/init.d/iptables

       :.,$s@/sbin/$IPTABLES@/usr/sbin/$IPTABLES@g

       让iptables服务开机自动启动

       代码如下:

       chkconfig --add iptables

       修改iptables 配置文件

       将/etc/sysconfig/iptables-config中的

       IPTABLES_MODULES=”ip_conntrack_netbios_ns” 注释掉

       安装协议特征码

       代码如下:

       tar xvf -protocols--.tar.gz

       make install

       完成后在/etc/l7-protocols会生成文件

       支持的协议/etc/l7-protocols/protocols

       添加iptables策略，运行内部网络上网，禁止qq和视频

       代码如下:

       iptables -t nat -A POSTROUTING -s .0.0.0/ -j SNAT --to-soure ..6.

       iptables -A FORWARD -m layer7 --l7proto qq -j DROP

       iptables -A FORWARD -m layer7 --l7proto es，宿主机内核为4.（CentOS 8.2），遇到节点无法加入集群的问题。故障现象表现为新节点无法通过master service VIP访问，但直接访问master hostIP则正常。以下是排查的关键步骤：

       首先，常规排查显示iptables模块加载正常，iptables转发规则默认接受，宿主机和容器网络都正常。接着，通过ipvsadm发现kube-proxy在启动后存在异常连接，syn_recv状态，表明K8s service网络出现问题。

       进一步分析，通过tcpdump抓包发现SYN包未从本地发送，初步锁定问题在kube-proxy。查看kube-proxy日志后，发现与iptables-restore命令的执行异常有关，涉及到KUBE-MARK-DROP链的创建问题。深入源码后，发现1..版本在特定条件下存在逻辑缺陷，导致报错。

       问题的根源在于，CentOS 8.2的4.内核环境下的iptables配置与kube-proxy容器内的配置不一致，因为Kubernetes的kubelet也在操作iptables。解决办法是升级内核至3.或5.0+，或者更新Kubernetes版本至1..以上。

       总结这次经验，对于K8s网络故障，关键在于理解内核、kube-proxy、kubelet之间的交互，以及选用正确的工具，如iptables或nftables。希望这个案例能帮助其他开发者在遇到类似问题时能更快定位和解决。

       如果想了解更多Erda项目信息，可以添加小助手微信（Erda）加入交流群。Erda是一个开源的云原生PaaS平台，欢迎关注、贡献代码和Star支持。

       Erda Github 地址 | Erda Cloud - 企业级数字平台