nginx å¦å¾å¥½è½å»batå
åªæ¯ä¼ç¨ãä¼é ç½®æ¯æ²¡æä»ä¹ç¨ç
å¦æä½ çå¦å¾å¥½æçæ¯è½å¤ä¿®æ¹nginxæºç 对æå¡å¨è¿è¡æ§è½ä¼å以åå ¶ä»ä¸äºæ¹é¢çå¼åï¼è¿ä¸ªæ¯å¾å°æ人è½åå°çï¼è¿ç§å¯ä»¥
nginx源码分析--master和worker进程模型
一、Nginx整体架构
正常执行中的懂n的人多把懂nginx会有多个进程,其中最基本的源码x源是master process(主进程)和worker process(工作进程),还可能包括cache相关进程。懂n的人多把懂
二、源码x源algorithm库函数源码核心进程模型
启动nginx的懂n的人多把懂主进程将充当监控进程,主进程通过fork()产生的源码x源子进程则充当工作进程。
Nginx也支持单进程模型,懂n的人多把懂此时主进程即是源码x源工作进程,不包含监控进程。懂n的人多把懂
核心进程模型框图如下:
master进程
监控进程作为整个进程组与用户的源码x源交互接口,负责监护进程,懂n的人多把懂不处理网络事件,源码x源不负责业务执行,懂n的人多把懂仅通过管理worker进程实现重启服务、平滑升级、更换日志文件、配置文件实时生效等功能。
master进程通过sigsuspend()函数调用大部分时间处于挂起状态,直到接收到信号。
master进程通过检查7个标志位来决定ngx_master_process_cycle方法的运行:
sig_atomic_t ngx_reap;
sig_atomic_t ngx_terminate;
sig_atomic_t ngx_quit;
sig_atomic_t ngx_reconfigure;
sig_atomic_t ngx_reopen;
sig_atomic_t ngx_change_binary;
sig_atomic_t ngx_noaccept;
进程中接收到的信号对Nginx框架的意义:
还有一个标志位:ngx_restart,仅在master工作流程中作为标志位使用,与信号无关。
核心代码(ngx_process_cycle.c):
ngx_start_worker_processes函数:
worker进程
worker进程主要负责具体任务逻辑,主要关注与客户端或后端真实服务器之间的数据可读/可写等I/O交互事件,因此工作进程的阻塞点在select()、epoll_wait()等I/O多路复用函数调用处,等待数据可读/写事件。也可能被新收到的进程信号中断。
master进程如何通知worker进程进行某些工作?采用的是信号。
当收到信号时,信号处理函数ngx_signal_handler()会执行。
对于worker进程的工作方法ngx_worker_process_cycle,它主要关注4个全局标志位:
sig_atomic_t ngx_terminate;//强制关闭进程
sig_atomic_t ngx_quit;//优雅地关闭进程(有唯一一段代码会设置它,就是接受到QUIT信号。ngx_quit只有在首次设置为1时,才会将ngx_exiting置为1)
ngx_uint_t ngx_exiting;//退出进程标志位
sig_atomic_t ngx_reopen;//重新打开所有文件
其中ngx_terminate、ngx_quit、ngx_reopen都将由ngx_signal_handler根据接收到的信号来设置。ngx_exiting标志位仅由ngx_worker_cycle方法在退出时作为标志位使用。
核心代码(ngx_process_cycle.c):
关于linux学习路线的问题 请教前辈
很多同学接触Linux不多,对Linux平台的开发更是一无所知。而现在的趋势越来越表明,作为一 个优秀的软件开发人员,或计算机IT行业从业人员,掌握Linux是一种很重要的谋生资源与手段。下来我将会结合自己的几年的个人开发经验,及对 Linux,更是类UNIX系统,及开源软件文化,谈谈Linux的学习方法与学习中应该注意的一些事。
就如同刚才说的,很多同学以前可能连Linux是什么都不知道,对UNIX更是一无所知。所以我们从最基础的讲起,对于Linux及UNIX的历史我们不做多谈,直接进入入门的学习。
Linux入门是很简单的,问题是你是否有耐心,是否爱折腾,是否不排斥重装一类的大修。没折腾可以说是学不好Linux的,鸟哥说过,要真正了解Linux的完美启动指标源码分区机制,对LVM使用相当熟练,没有次以上的Linux装机经验是积累不起来的,所以一定不要怕折腾。
由于大家之前都使用Windows,所以我也尽可能照顾这些“菜鸟”。我的推荐,如果你第一次接触Linux,那么首先在虚拟机中尝试它。虚拟机我推荐Virtual Box,我并不主张使用VM,原因是VM是闭源的,并且是收费的,我不希望推动盗版。当然如果你的Money足够多,可以尝试VM,但我要说的是即使是VM,不一定就一定好。付费的软件不一定好。首先,Virtual Box很小巧,Windows平台下安装包在MB左右,而VM动辄MB,虽然功能强大,但资源消耗也多,何况你的需求Virtual Box完全能够满足。所以,还是自己选。如何使用虚拟机,是你的事,这个我不教你,因为很简单,不会的话Google或Baidu都可以,英文好的可以直接看官方文档。
现在介绍Linux发行版的知识。正如你所见,Linux发行版并非Linux,Linux仅是指操作系统的内核,作为科班出生的你不要让我解释,我也没时间。我推荐的发行版如下:
UBUNTU适合纯菜鸟,追求稳定的官方支持,对系统稳定性要求较弱,喜欢最新应用,相对来说不太喜欢折腾的开发者。
Debian,相对UBUNTU难很多的发行版,突出特点是稳定与容易使用的包管理系统,缺点是企业支持不足,为社区开发驱动。
Arch,追逐时尚的开发者的首选,优点是包更新相当快,无缝升级,一次安装基本可以一直运作下去,没有如UBUNTU那样的版本概念,说的专业点叫滚动升级,保持你的系统一定是最新的。缺点显然易见,不稳定。同时安装配置相对Debian再麻烦点。
Gentoo,相对Arch再难点,考验使用者的综合水平,从系统安装到微调,合成游戏app源码内核编译都亲历亲为,是高手及黑客显示自己技术手段,按需配置符合自己要求的系统的首选。
Slackware与Gentoo类似。
CentOS,社区维护的RedHat的复刻版本,完全使用RedHat的源码重新编译生成,与RedHat的兼容性在理论上来说是最好的。如果你专注于Linux服务器,如网络管理,架站,那么CentOS是你的选择。
LFS,终极黑客显摆工具,完全从源代码安装,编译系统。安装前你得到的只有一份文档,你要做的就是照文档你的说明,一步步,一条条命令,一个个软件包的去构建你的Linux,完全由你自己控制,想要什么就是什么。如果你做出了LFS,证明你的Linux功底已经相当不错,如果你能拿LFS文档活学活用,再将Linux从源代码开始移植到嵌入式系统,我敢说中国的企业你可以混的很好。
你得挑一个适合你的系统,然后在虚拟机安装它,开始使用它。如果你想快速学会Linux,我有一个建议就是忘记图形界面,不要想图形界面能不能提供你问题的答案,而是满世界的去找,去问,如何用命令行解决你的问题。在这个过程中,你最好能将Linux的命令掌握的不错,起码常用的命令得知道,同时建立了自己的知识库,里面是你积累的各项知识。
再下个阶段,你需要学习的是Linux平台的C/C++开发,同时还有Bash脚本编程,如果你对Java兴趣很深还有Java。同样,建议你抛弃掉图形界面的IDE,从VIM开始,为什么是VIM,而不是Emacs,我无意挑起编辑器大战,但我觉得VIM适合初学者,适合手比较笨,脑袋比较慢的开发者。Emacs的键位太多,太复杂,我很畏惧。然后是GCC,Make,Eclipse(Java,C++或者)。虽然将C++列在了Eclipse中,但我并不推荐用IDE开发C++,则用源码定点加法因为这不是Linux的文化,容易让你忽略一些你应该注意的问题。IDE让你变懒,懒得跟猪一样。如果你对程序调试,测试工作很感兴趣,GDB也得学的很好,如果不是GDB也是必修课。这是开发的第一步,注意我并没有提过一句Linux系统API的内容,这个阶段也不要关心这个。你要做的就是积累经验,在Linux平台的开发经验。我推荐的书如下:C语言程序设计,谭浩强的也可以。C语言,白皮书当然更好。C++推荐C++ Primer Plus,Java我不喜欢,就不推荐了。工具方面推荐VIM的官方手册,GCC中文文档,GDB中文文档,GNU开源软件开发指导(电子书),汇编语言程序设计(让你对库,链接,内嵌汇编,编译器优化选项有初步了解,不必深度)。
如果你这个阶段过不了就不必往下做了,这是底线,最基础的基础,否则离开,不要霍霍Linux开发。不专业的Linux开发者作出的程序是与Linux文化或UNIX文化相背的,程序是走不远的,不可能像Bash,VIM这些神品一样。所以做不好干脆离开。
接下来进入Linux系统编程,不二选择,APUE,UNIX环境高级编程,一遍一遍的看,看遍都嫌少,如果你可以在大学将这本书翻烂,里面的内容都实践过,有作品,你口头表达能力够强,你可以在面试时说服所有的考官。(可能有点夸张,但APUE绝对是圣经一般的读物,即使是Windows程序员也从其中汲取养分,Google创始人的案头书籍,扎尔伯克的床头读物。)
这本书看完后你会对Linux系统编程有相当的了解,知道Linux与Windows平台间开发的差异在哪?它们的优缺点在哪?我的总结如下:做Windows平台开发,很苦,微软的系统API总在扩容,想使用最新潮,最高效的功能,最适合当前流行系统的功能你必须时刻学习。Linux不是,Linux系统的查看源码没有颜色核心API就来个,记忆力好完全可以背下来。而且经久不变,为什么不变,因为要同UNIX兼容,符合POSIX标准。所以Linux平台的开发大多是专注于底层的或服务器编程。这是其优点,当然图形是Linux的软肋,但我站在一个开发者的角度,我无所谓,因为命令行我也可以适应,如果有更好的图形界面我就当作恩赐吧。另外,Windows闭源,系统做了什么你更本不知道,永远被微软牵着鼻子跑,想想如果微软说Win8不支持QQ,那腾讯不得哭死。而Linux完全开源,你不喜欢,可以自己改,只要你技术够。另外,Windows虽然使用的人多,但使用场合单一,专注与桌面。而Linux在各个方面都有发展,尤其在云计算,服务器软件,嵌入式领域,企业级应用上有广大前景,而且兼容性一流,由于支持POSIX可以无缝的运行在UNIX系统之上,不管是苹果的Mac还是IBM的AS系列,都是完全支持的。另外,Linux的开发环境支持也绝对是一流的,不管是C/C++,Java,Bash,Python,PHP,Javascript,。。。。。。就连C#也支持。而微软除Visual Stdio套件以外,都不怎么友好,不是吗?
如果你看完APUE的感触有很多,希望验证你的某些想法或经验,推荐UNIX程序设计艺术,世界顶级黑客将同你分享他的看法。
现在是时候做分流了。 大体上我分为四个方向:网络,图形,嵌入式,设备驱动。
如果选择网络,再细分,我对其他的不是他熟悉,只说服务器软件编写及高性能的并发程序编写吧。相对来说这是网络编程中技术含量最高的,也是底层的。需要很多的经验,看很多的书,做很多的项目。
我的看法是以下面的顺序来看书:
APUE再深读 – 尤其是进程,线程,IPC,套接字
多核程序设计 - Pthread一定得吃透了,你很NB
UNIX网络编程 – 卷一,卷二
TCP/IP网络详解 – 卷一 再看上面两本书时就该看了
5.TCP/IP 网络详解 – 卷二 我觉得看到卷二就差不多了,当然卷三看了更好,努力,争取看了
6.Lighttpd源代码 - 这个服务器也很有名了
7.Nginx源代码 – 相较于Apache,Nginx的源码较少,如果能看个大致,很NB。看源代码主要是要学习里面的套接字编程及并发控制,想想都激动。如果你有这些本事,可以试着往暴雪投简历,为他们写服务器后台,想一想全球的魔兽都运行在你的服务器软件上。
Linux内核 TCP/IP协议栈 – 深入了解TCP/IP的实现
如果你还喜欢驱动程序设计,可以看看更底层的协议,如链路层的,写什么路由器,网卡,网络设备的驱动及嵌入式系统软件应该也不成问题了。
当然一般的网络公司,就算百度级别的也该毫不犹豫的雇用你。只是看后面这些书需要时间与经验,所以岁以前办到吧!跳槽到给你未来的地方!
图形方向,我觉得图形方向也是很有前途的,以下几个方面。
Opengl的工业及游戏开发,国外较成熟。
影视动画特效,如皮克斯,也是国外较成熟。
GPU计算技术,可以应用在浏览器网页渲染上,GPU计算资源利用上,由于开源的原因,有很多的文档程序可以参考。如果能进火狐开发,或google做浏览器开发,应该会很好 。
嵌入式方向:嵌入式方向没说的,Linux很重要。
掌握多个架构,不仅X的,ARM的,单片机什么的也必须得懂。硬件不懂我预见你会死在半路上,我也想走嵌入式方向,但我觉得就学校教授嵌入式的方法,我连学电子的那帮学生都竞争不过。奉劝大家,一定得懂硬件再去做,如果走到嵌入式应用开发,只能祝你好运,不要碰上像Nokia,Hp这样的公司,否则你会很惨的。
驱动程序设计:软件开发周期是很长的,硬件不同,很快。每个月诞生那么多的新硬件,如何让他们在Linux上工作起来,这是你的工作。由于Linux的兼容性很好,如果不是太低层的驱动,基本C语言就可以搞定,系统架构的影响不大,因为有系统支持,你可能做些许更改就可以在ARM上使用PC的硬件了,所以做硬件驱动开发不像嵌入式,对硬件知识的要求很高。可以从事的方向也很多,如家电啊,特别是如索尼,日立,希捷,富士康这样的厂子,很稀缺的。
LDD – Linux驱动程序设计与内核编程的基础读物
深入理解Linux内核 – 进阶的
Linux源代码 – 永无止境的
当然你还的看个方面的书,如网络啊什么的。
Nginx源码分析 - 主流程篇 - Nginx的启动流程
深入解析Nginx的核心,理解基础数据结构对源码解读至关重要。主流程的精髓隐藏在nginx.c的main()函数中,它启动的每一个步骤都如同乐谱上的一段旋律,优雅而有序。启动乐章
首先,指挥棒落在ngx_get_options上,它如同乐团指挥,优雅地解析启动命令行参数。接着,ngx_time_init、ngx_getpid和ngx_log_init依次登场,为时间、进程标识和日志设置调音。它们共同完成了一次细致入微的初始化过程,为接下来的演出铺平道路。 紧接着,ngx_init_cycle指挥全局变量的诞生,包括一致性哈希表的初始化,以及处理系统变量的微妙操作。随后,它引导我们进入一个关键环节:继承socket,初始化模块,设置信号处理,配置文件的获取和pid文件的创建,如同交响乐中的序曲,为后续的进程管理做准备。乐章高潮
当进入ngx_master_process_cycle部分,主进程的魔法开始显现。它如魔术师般,通过创建子进程,让各个模块和事件监听开始各自的旋律。在这里,每个参数处理都如同精心编排的音符,确保演奏的和谐。关键步骤
在ngx_get_options中,启动命令参数如-s stop/start/restart的解读,是理解Nginx行为的关键。而在幕后,ngx_save_argv负责存储这些参数,ngx_process_options则如同指挥家,将参数的魔力注入到ngx_cycle的结构中。 特别关注的全局变量,如ngx_show_help、ngx_conf_file,它们是Nginx运行的调色板。ngx_save_argv和ngx_process_options如同调色师,精心调配每个参数的色彩。模块初始化的序曲
ngx_preinit_modules是模块世界的序曲,它负责初始化配置路径、处理参数,以及配置文件的定位。在这里,每个动作都精确而有序,确保每个模块都能在正确的时间奏响属于自己的旋律。 在ngx_module.c中,模块编号的分配和配置文件的处理,如同管弦乐队的编排,确保每个乐器都能和谐共奏。而创建PID文件的函数ngx_create_pidfile则如定音锤,为整个系统敲定最后的音符。 每个重要模块,如ngx_add_inherited_sockets、ngx_init_cycle、ngx_signal_process和ngx_master_process_cycle,都在各自的角色中发挥着不可或缺的作用,共同编织出Nginx启动的华美乐章。Apache与Nginx的优缺点比较与选择
Apache是由伊利诺伊大学香槟分校的国家超级电脑应用中心(NCSA)开发。此后,Apache 被开放源代码团体的成员不断的发展和加强。目前可以说是世界使用排名第一的Web服务器软件。世界上大多数网站仍运行着Apache系统。Nginx是由Igor Sysoev为俄罗斯访问量第二的Rambler.ru站点开发的,第一个公开版本0.1.0发布于年月4日。其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。由于其出色的性能,Nginx在世界范围内受到了越来越多人的关注,更是被阿里巴巴旗下的淘宝网内部广泛使用。今天,就针对Apache与Nginx的各自的优缺点进行比较,让大家在Apache与Nginx两者的选择时有一个比较与分析。
一、Apache与Nginx的简单比较
1、Nginx相对于Apache的优点
轻量级,同样web 服务,比apache占用更少的内存及资源 ;
抗并发,nginx 处理请求是异步非阻塞的,而apache 则是阻塞型的,在高并发下Nginx更能保持低资源、低消耗、高性能;
高度模块化的设计,编写模块相对简单;
社区活跃,各种高性能模块出品迅速,而Appche在社区活跃度上就相对低迷,这点很像博客程序Z-blog与WordPress;
2、Apache 相对于Nginx 的优点
Rewrite比Nginx的Rewrite要强大不少;
模块超多,基本想到的都可以找到;
更少Bug,而Nginx的BUG则相对较多。
Apache在稳定性在比Nginx要好。
三、Apache与Nginx的详细比较
1、性能与稳定性的比较
一般来说,如果你对Web服务的性能需求大于稳定性,建议选用Nginx 。反之,如果您对Web服务稳定性的需求大于性能,那就选择Apache 。Apache的各种功能模块比Nginx要多要好,例如现在很流行的SSL的模块就比Nginx要好,可配置项也多。
这里要注意一点,epoll(freebsd上是kqueue)模型是Nginx处理性能高的根本理由,但并不是所有的情况下都是epoll大获全胜的,如果本身提供静态服务的就文件相对较少,Apache的select模型或许比epoll更高性能。当然,这只是根据网络IO模型的原理作的一个假设,真正的应用还是需要实测了再说的。
2、不同使用环境的比较
作为Web服务器:相比Apache,Nginx 使用更少的资源,支持更多的并发连接,体现更高的效率,这点使Nginx尤其受到虚拟主机提供商的欢迎。在高连接并发的情况下,Nginx是Apache服务器不错的替代品。在美国Nginx是虚拟主机服务提供商首选的软件平台之,毕竟在同等资源下,Nginx能够支持高达 , 个并发连接数的响应,这才给了广大虚拟主机商能够在不限制并发连接数有了宣传的底气。
作为负载均衡服务器:Nginx既可以在内部直接支持Rails和PHP程序对外进行服务, 也可以支持作为HTTP代理服务器对外进行服务。 Nginx采用C语言进行编写, 不论是系统资源开销还是CPU使用效率都比Perlbal要好很多。
作为邮件代理服务器:Nginx 同时也是一个非常优秀的邮件代理服务器(最早开发这个产品的目的之一也是作为邮件代理服务器),目前不少知名的企业都采用Nginx作为邮件代理服务器。而Apache。我知道的好像只有Apache James,接触过,没有使用过。
3、配置与扩展性的比较
Nginx配置简洁, Apache复杂;
Nginx静态处理性能比Apache高3倍以上;
Apache对PHP支持比较简单,Nginx需要配合其他后端用;
Apache 的组件比 Nginx 多;
4、进程模型的比较
Apache与Nginx最核心的区别在于Apache是同步多进程模型,一个连接对应一个进程;nginx是异步的,多个连接(万级别)可以对应一个进程。在 Apache+PHP(prefork)模式下,如果PHP处理慢或者前端压力很大的情况下,很容易出现Apache进程数飙升,从而拒绝服务的现象。
5、静态处理上的比较
相对于Apache,Nginx处理静态文件好,耗费内存少,在相同的配置投入上,Nginx是更经济的方式。
6、前端与后端的比较
Apache有先天不支持多核心处理负载鸡肋的缺点,陈德馨博客个人建议使用Nginx做前端,后端用Apache。如果你的是一个大型网站的话,可以采用Nginx自代的集群功能。
7、负载与并发的比较
从个人过往的使用情况来看,Nginx的负载能力比Apache高很多。最新的服务器也改用Nginx了。而且Nginx改完配置后可以测试一下配置有没有问题,而Apache重启的时候发现配置出错了,会很崩溃,改的时候都需要非常小心,现在好多集群站点采用的方案是:前端Nginx抗并发,后端Apache集群。
8、动态与静态处理的比较
Nginx处理动态请求是鸡肋,一般动态请求要Apache去做,Nginx更适合静态和反向。
通过以上针对Apache与Nginx的优缺点比较,相信您对于是选择Apache还是选择Nginx已经有了一定比较明确的方向了。
Nginx面试常问题&工作原理揭秘!
Nginx面试中常被问到的问题,它是一个以轻量级和高性能著称的反向代理服务器,支持多种协议并具备负载均衡功能。其核心优势在于采用异步非阻塞IO机制和epoll事件驱动模型处理高并发请求。
Nginx通过异步处理,当请求到来时,worker进程负责初步处理,遇到可能阻塞的操作(如转发请求)时,会注册事件通知,然后继续处理其他请求。这种方式确保了在等待后端响应期间,不会阻塞其他请求的处理。
区分正向代理和反向代理,前者隐藏客户端信息,后者将请求分发给后端服务器,保护后端服务器安全。Nginx采用多进程而非多线程模式,每个进程独立,确保服务稳定性。
负载均衡算法中,轮询策略根据服务器权重分配请求,而哈希和响应时间策略则注重性能和缓存效率。通过Nginx模块,可以实现更高级的均衡算法。
学习Nginx,可以关注一些视频资源,如深入解析Nginx源码和实现Nginx模块。location指令则用于根据请求URL执行不同操作,精确匹配优先,支持正则匹配。
为了处理高并发,Nginx利用异步非阻塞IO和epoll事件通知,减少I/O操作的阻塞。同时,通过I/O多路复用技术如epoll,避免了轮询的性能瓶颈。
Nginx的工作模型通常采用多进程,主进程fork子进程处理请求,通过全局锁和SO_REUSEPORT选项,解决惊群问题并实现负载均衡。
2024-11-14 12:00
2024-11-14 11:28
2024-11-14 10:46
2024-11-14 09:46
2024-11-14 09:36