皮皮网
皮皮网

【vip账号获取源码】【spring背景源码】【金博源码】tornado 框架源码_tornado框架入门

来源:同花顺均线战法01源码 发表时间:2024-12-24 10:17:26

1.为什么选择tornado作为web开发框架?框框架
2.如何理解 Tornado

tornado 框架源码_tornado框架入门

为什么选择tornado作为web开发框架?

       Tornado框架之所以被知乎选中,关键在于其异步非阻塞的架源I/O模型,特别适合处理大量Comet长轮询连接,入门这与FriendFeed开发Tornado的框框架vip账号获取源码初衷不谋而合。知乎同样需要实时更新动态信息流,架源而Comet技术能有效满足这一需求。入门选择Tornado,框框架对知乎来说,架源是入门一次技术上的精准对接。

       然而,框框架Tornado并非全能。架源spring背景源码其单线程模型意味着当请求阻塞I/O时,入门进程将无法处理新请求或完成其他阻塞请求,框框架类似PHP FastCGI进程的架源运行方式。处理会阻塞I/O的入门请求通常会借助Tornado内置的异步HTTP客户端,转而由其他动态后端执行。金博源码

       因此,在实际应用中,Tornado常与Nginx结合使用,Nginx负责处理静态文件等大量I/O操作,以充分利用Tornado的星梦源码社区高效I/O特性。Tornado的I/O时间成本高昂,不宜过多用于此类操作。

       针对性能测试,实际上应用中的逻辑处理会阻塞I/O,这将严重影响Tornado性能。表白社区源码在测试代码前加入模拟阻塞的指令,可以直观地观察性能变化。至于Tornado文档不足的问题,阅读其源代码会是一个高效的学习途径,因为代码清晰且注释详尽,容易理解。

       记住,利用原生异步特性是发挥Tornado优势的关键。虽然Tornado自带的MySQL库不是异步的,可能导致性能瓶颈,但通过异步调用的简化,gen等工具依然能提高开发效率。在实际应用中,确保所有调用异步化,才能真正释放Tornado的潜力。

如何理解 Tornado

       å‡è®¾ä½ è¿˜ä¸çŸ¥é“Tornado是什么也不知道为什么应该对它感兴趣,那我将用简短的话来介绍Tornado这个项目。如果你已经对它有了兴趣,你可以跳去看下一节内容。

       Tornado是一个用Python编写的异步HTTP服务器,同时也是一个web开发框架。该框架服务于FriendFeed网站,最近Facebook也在使用它。FriendFeed网站有用户数多和应用实时性强的特点,所以性能和可扩展性是很受重视的。由于现在它是开源的了(这得归功于Facebook),我们可以彻底的对它是如何工作的一探究竟。

       æˆ‘觉得对非阻塞式IO (nonblocking IO) 和异步IO (asynchronous IO AIO)很有必要谈一谈。如果你已经完全知道他们是什么了,可以跳去看下一节。我尽可能的使用一些例子来说明它们是什么。

       è®©æˆ‘们假设你正在写一个需要请求一些来自其他服务器上的数据(比如数据库服务,再比如新浪微博的open api)的应用程序,然后呢这些请求将花费一个比较长的时间,假设需要花费5秒钟。大多数的web开发框架中处理请求的代码大概长这样:

       def handler_request(self, request):

        answ = self.remote_server.query(request) # this takes 5 seconds

        request.write_response(answ)

       å¦‚果这些代码运行在单个线程中,你的服务器只能每5秒接收一个客户端的请求。在这5秒钟的时间里,服务器不能干其他任何事情,所以,你的服务效率是每秒0.2个请求,哦,这太糟糕了。

       å½“然,没人那么天真,大部分服务器会使用多线程技术来让服务器一次接收多个客户端的请求,我们假设你有个线程,你将在性能上获得倍的提高,所以现在你的服务器效率是每秒接受4个请求,但这还是太低了,当然,你可以通过不断地提高线程的数量来解决这个问题,但是,线程在内存和调度方面的开销是昂贵的,我怀疑如果你使用这种提高线程数量的方式将永远不可能达到每秒个请求的效率。

       å¦‚果使用AIO,达到每秒上千个请求的效率是非常轻松的事情。服务器请求处理的代码将被改成这样:

       def handler_request(self, request):

        self.remote_server.query_async(request, self.response_received)

       def response_received(self, request, answ): # this is called 5 seconds later

        request.write(answ)

       AIO的思想是当我们在等待结果的时候不阻塞,转而我们给框架一个回调函数作为参数,让框架在有结果的时候通过回调函数通知我们。这样,服务器就可以被解放去接受其他客户端的请求了。

       ç„¶è€Œè¿™ä¹Ÿæ˜¯AIO不太好的地方:代码有点不直观了。还有,如果你使用像Tornado这样的单线程AIO服务器软件,你需要时刻小心不要去阻塞什么,因为所有本该在当前返回的请求都会像上述处理那样被延迟返回。

       å…³äºŽå¼‚æ­¥IO,比当前这篇过分简单的介绍更好的学习资料请看 The CK problem。

       æºä»£ç 

       è¯¥é¡¹ç›®ç”±github托管,你可以通过如下命令获得,虽然通过阅读这篇文章你也可以不需要它是吧。

       git clone git://github.com/facebook/tornado.git

       åœ¨tornado的子目录中,每个模块都应该有一个.py文件,你可以通过检查他们来判断你是否从已经从代码仓库中完整的迁出了项目。在每个源代码的文件中,你都可以发现至少一个大段落的用来解释该模块的doc string,doc string中给出了一到两个关于如何使用该模块的例子。

       IOLoop模块

       è®©æˆ‘们通过查看ioloop.py文件直接进入服务器的核心。这个模块是异步机制的核心。它包含了一系列已经打开的文件描述符(译者:也就是文件指针)和每个描述符的处理器(handlers)。它的功能是选择那些已经准备好读写的文件描述符,然后调用它们各自的处理器(一种IO多路复用的实现,其实就是socket众多IO模型中的select模型,在Java中就是NIO,译者注)。

       å¯ä»¥é€šè¿‡è°ƒç”¨add_handler()方法将一个socket加入IO循环中:

       def add_handler(self, fd, handler, events):

        """Registers the given handler to receive the given events for fd."""

        self._handlers[fd] = handler

        self._impl.register(fd, events | self.ERROR)

       _handlers这个字典类型的变量保存着文件描述符(其实就是socket,译者注)到当该文件描述符准备好时需要调用的方法的映射(在Tornado中,该方法被称为处理器)。然后,文件描述符被注册到epoll(unix中的一种IO轮询机制,貌似,译者注)列表中。Tornado关心三种类型的事件(指发生在文件描述上的事件,译者注):READ,WRITE 和 ERROR。正如你所见,ERROR是默认为你自动添加的。

       self._impl是select.epoll()和selet.select()两者中的一个。我们稍后将看到Tornado是如何在它们之间进行选择的。

       çŽ°åœ¨è®©æˆ‘们来看看实际的主循环,不知何故,这段代码被放在了start()方法中:

       def start(self):

        """Starts the I/O loop.

        The loop will run until one of the I/O handlers calls stop(), which

        will make the loop stop after the current event iteration completes.

        """

        self._running = True

        while True:

        [ ... ]

        if not self._running:

        break

        [ ... ]

        try:

        event_pairs = self._impl.poll(poll_timeout)

        except Exception, e:

        if e.args == (4, "Interrupted system call"):

        logging.warning("Interrupted system call", exc_info=1)

        continue

        else:

        raise

        # Pop one fd at a time from the set of pending fds and run

        # its handler. Since that handler may perform actions on

        # other file descriptors, there may be reentrant calls to

        # this IOLoop that update self._events

        self._events.update(event_pairs)

        while self._events:

        fd, events = self._events.popitem()

        try:

        self._handlers[fd](fd, events)

        except KeyboardInterrupt:

        raise

        except OSError, e:

        if e[0] == errno.EPIPE:

        # Happens when the client closes the connection

        pass

        else:

        logging.error("Exception in I/O handler for fd %d",

        fd, exc_info=True)

        except:

        logging.error("Exception in I/O handler for fd %d",

        fd, exc_info=True)

       poll()方法返回一个形如(fd: events)的键值对,并赋值给event_pairs变量。由于当一个信号在任何一个事件发生前到来时,C函数库中的poll()方法会返回EINTR(实际是一个值为4的数值),所以"Interrupted system call"这个特殊的异常需要被捕获。更详细的请查看man poll。

       åœ¨å†…部的while循环中,event_pairs中的内容被一个一个的取出,然后相应的处理器会被调用。pipe 异常在这里默认不进行处理。为了让这个类适应更一般的情况,在http处理器中处理这个异常是一个更好的方案,但是选择现在这样处理或许是因为更容易一些。

       æ³¨é‡Šä¸­è§£é‡Šäº†ä¸ºä»€ä¹ˆä½¿ç”¨å­—典的popitem()方法,而不是使用更普遍一点的下面这种做法(指使用迭代,译者注):

       for fd, events in self._events.items():

       åŽŸå› å¾ˆç®€å•ï¼Œåœ¨ä¸»å¾ªçŽ¯æœŸé—´ï¼Œè¿™ä¸ª_events字典变量可能会被处理器所修改。比如remove_handler()处理器。这个方法把fd(即文件描述符,译者注)从_events字典中取出(extracts,意思是取出并从_events中删除,译者注),所以即使fd被选择到了,它的处理器也不会被调用(作者的意思是,如果使用for迭代循环_events,那么在迭代期间_events就不能被修改,否则会产生不可预计的错误,比如,明明调用了remove_handler()方法删除了某个<fd, handler>键值对,但是该handler还是被调用了,译者注)。

相关栏目:休闲