squid 强制缓存动态页面

       其实我本不想写这个标题，我的本意是缓存yupoo api的查询数据，这个过程中找到了参考方法（Caching Google Earth with Squid）。呵呵，个人花店网站源码所以偶也来一回标题党。

       这篇参考流传非常广，Digg上也被提过，我也不知道原出处是哪里了。

       可是。。。。你按照它的指示设置，它并不能正确工作！！

       话说回来，先说说我的需求。

       最近yupoo的访问速度很慢，我有一堆api请求经常无法完成，猜测要么对方限制了同一ip的连接数，要么是yupoo又遇到了新一轮的流量瓶颈。跟Yupoo的app公司整套源码zola联系后，确认是他们的负荷太高引起的，并没有限制连接数。所以我要想办法在我这边做一些缓存了。

       因为我这边本身就是用squid代理来解决Ajax中调用API的跨域问题的，所以自然是目标瞄准了squid的配置文件。

       yupoo api的请求地址是 www.yupoo.com/api/rest/?method=xxxxxxxxx...

       大家都知道squid会自动缓存静态文件，可对于这种动态网页怎么让它也缓存起来呢，所以在google上找啊找，找到上面提得那片缓存Google Earth的博客文章。

           他的方法是：

       acl QUERY urlpath_regex cgi-bin /? intranet

           acl forcecache url_regex -i kh.google keyhole.com

           no_cache allow forcecache

           no_cache deny QUERY

       # ----

           refresh_pattern -i kh.google % override-expire override-lastmod reload-into-ims ignore-reload

       refresh_pattern -i keyhole.com % override-expire override-lastmod reload-into-ims ignore-reload

       原理就是用 no_cache allow 和 refresh_pattern 来设定一些缓存规则，将google earth的请求强行缓存起来。

       此文一出，自然早有人去验证，可是没人成功，原作者也音讯全无  ... squid的邮件列表里也提到。 ( 看标题进来的朋友，不要急，继续往下读，不会让你空手而回的  )

       我也没在意，估计人家功力问题  。先试着用改写一下解决yupoo api的缓存问题。

       acl QUERY urlpath_regex cgi-bin /?

           acl forcecache url_regex -i yupoo/.com

           no_cache allow forcecache

           no_cache deny QUERY

       refresh_pattern -i yupoo/.com % override-expire override-lastmod reload-into-ims ignore-reload

       嘿，果然nnd毫无用处，eclipse查看软件源码访问记录里还是 一坨坨 TCP_MISS

       于是翻来覆去看文档，找资料，发现是squid的bug惹得祸，不过早已经修正（严格来说是功能扩展补丁）。

       我的squid是2.6.,翻了一下源代码，确实已经打好补丁了。

       解决这个问题需要refresh_pattern的几个扩展参数(ignore-no-cache ignore-private)，这几个参数在squid的文档和配置例子中均没有提到，看来squid还不够与时俱进。

       下面讲一下问题所在。

       先看看yupoo api返回的HTTP头部信息（cache 相关部分）

       Cache-Control: no-cache, must-revalidate

           Pragma: no-cache

       这两行是控制浏览器的缓存行为的，指示浏览器不得缓存。squid也是遵循RFC的，正常情况下自然不会去缓存这些页面。override-expire override-lastmod reload-into-ims ignore-reload 统统不能对付它。

       而那个补丁正是对付这两个Cache-Control:no-cache 和 Pragma: no-cache的。

       因此把 refresh_pattern那句要改写成

       refresh_pattern -i yupoo/.com % override-expire override-lastmod reload-into-ims ignore-reload ignore-no-cache ignore-private

       这样就大功告成了， squid -k reconfigure 看看 access.log ,这回里面终于出现

           TCP_HIT/ TCP_MEM_HIT/ 了，说明缓存规则确实起作用了，那个激动啊 ~~~~

       ====================

           补充：

           后来我看了一下google earth 服务器 hk1.google.com的HTTP头部，只有

       Expires: Wed, Jul :: GMT

           Last-Modified: Fri, Dec :: GMT

       ，这么看来照理不需ignore-no-cache ignore-private也能工作，可能是开源源码收费作者这里写错了

           kh.google 应该是 kh./.google才对。

       最后总结一下，缓存Google Earth/Map的正确的配置应该是

       acl QUERY urlpath_regex cgi-bin /? intranet

           acl forcecache url_regex -i kh./.google mt./.google mapgoogle/.mapabc keyhole.com

           no_cache allow forcecache

           no_cache deny QUERY

       # ----

           refresh_pattern -i kh./.google % override-expire override-lastmod reload-into-ims ignore-reload ignore-no-cache ignore-private

           refresh_pattern -i mt./.google % override-expire override-lastmod reload-into-ims ignore-reload ignore-no-cache ignore-private

           refresh_pattern -i mapgoogle/.mapabc % override-expire override-lastmod reload-into-ims ignore-reload ignore-no-cache ignore-private

       refresh_pattern -i keyhole.com % override-expire override-lastmod reload-into-ims ignore-reload ignore-no-cache ignore-private

       注:

           khX.google.com 是google earth的服务器

           mtX.google.com 是google map 的服务器

           mapgoogle.mapabc.com 是google ditu的服务器

           n.com）或者甚至站点不允许缓冲，这些情况也都是不适合缓冲的。

       Squid处理各种情况是不错的(当然,这需要远程站点按标准形式工作)。

       可执行的cgi-bin脚本文件不被缓冲，返回正确页眉的页面是在一段限制了的时间内被缓冲，而且你可以规定特殊的规则以确定什么是可以或不可以被缓冲的，还有缓冲的时间为多长。

       谈到缓冲的用处有多大，这要看Internet的容量大小，各有不同。对于小型的缓冲区（几转磁盘空间）来说，返回值非常高（达到%）。这个空间缓冲经常访问的站点，如netscape，cnn和其它一些类似情况的站点。如果你增加一倍缓冲的磁盘空间，但你不会成倍增加你的命中率。这是因为你开始缓冲网络中剩余部分时，这些通常时很大的而且很少被访问。一个非常大的高速缓冲区，有转左右，可能返回值仍小于%，全网会员系统源码除非你对保存数据的时间长短经常改变（一般地你不要分配转的磁盘空间，因为页面很快就会过时，应该被删除掉）。

       我们在这里说的目标（object）指的是可保存的web页面或其它类似的可下载页面（ftp文件或目录内容也称为目标（object））。

       3．Squid运行在什么系统上？

       Squid可运行在大多数Unix和OS/2版本的系统之上，已知的可工作的有：

       AIX，Digital Unix，FreeBSD，HP-UX，Irix，Linux，NetBSD，Nextstep，SCO，Solaris

       二、编译安装Squid

       1．Squid的未编译版本

       我不能保证你能发现所有的Squid的未编译版本。在ftp:squid.nlanr.net上你可以找到一些未编译的版本，尽管它们可能不是最新的版本。

       Squid一般很容易编译，这是因为它本身可以自动配置。唯一真正的问题是是否在你的机器上有一个编译器。这可能发生在：你购买了商业OS但是它未包括标准的开发选项。你可能考虑在这种情况下装一个GNU的编译器，如果你在/usr/include下有必需的文件的话。你另外一个选择可能是请求别人的帮助。你也许需要查看“tracker database”以找到在你附近运行Squid的某人。假定他们有适合的硬件，他们很可能会帮助你的。

       1． 开始编译之前

       运行Squid的最好方法（在我看来）是创建一个特定的用户和组来运行它。我用相同的名字创建了一个Squid用户和一个Squid组，并设置用户的home目录为/usr/local/squid。然后我用su 转到Squid用户，这样文件就都由Squid以及Squid组所有（Squid用户主组必须为Squid）。随后我下载Squid源文件到/usr/local/squid/src并解包。

       这可能不是最好的安装Squid到你的系统上的方法，但是，如果多个用户将使用squid，你可以把他们都放在Squid组中。（当然，如果你不理解我所说的，尽可以用你自己的名义去安装，不要以root方式，否则，你将给你的机器带来安全上的危险。）

       2． 获得源码

       Squid的源始站点是squid.nlanr.net。这里还有许多其它的镜像站点，你可以考虑从你本地的镜像站点获得它，或者在archie服务器上搜索。一旦你已经下载了（一般放在/usr/local/squid/src/下），你可以用以下命令解压：

         gzip -cd squid-tar.gz-fil | tar xv 或者 tar zxvf squid-tar.gz-fil

         这将创建类似于以下行的目录：/usr/local/squid/src/squid-1.1./(依版本而定)。

       3． 编译Squid

       以下是编译Squid的一般指令。你可能还要做其它的事以编译Squid到你的系统上。通常你可以运行一个配置脚本文件，它指明了你的系统设置和你机器上的标题文件。这样，在解压和解包文件后。cd 到/usr/local/squid/src/squid-version/下并输入：

         ./configure

       这里假定你准备安装Squid到/usr/local/squid下。你也可以用下面的方法修改你的安装目录：

         ./configure -prefix=/some/other/directory

       然后你可能要敲入：make 以及 如果编译一切正常时，输入make install。这将生成在后面将要描述的目录并安装文件到目录下。

       三、Squid的基本配置

       1． 目录结构

       Squid通常创建几个目录。它们一般如下：

         /usr/local/squid

         /bin

         /cache

         /etc

         /logs/

         /src （这是我们早些时候创建的）

         /bin包括Squid本身的程序，以及其它程序如ftpget，它可以被Squid用来执行各种功能。

         /cache/目录是实际缓冲数据的存放区。你可能要考虑把剩余缓冲放到不同分区去，或甚至是不同的磁盘。它包含的目录如以下行的形式：// // // 和// 这些又包括更多的子目录，最终是缓冲的实际数据。存储数据在多个目录下意味着从大的缓冲区取数据仍然很快，因为你的操作系统要读一个包含个文件的目录会需要很长的时间。

         /etc/包含squid.conf文件，它是唯一的Squid配置文件。

         /logs/目录可能会很大，特别是如果你包含同属时，它们会查询你每一次连接，这可以使你的log文件双倍增加。注意在cache目录下也有一个/log/文件，但是你不能删除或移动它。它是上面讨论的/usr/local/squid/cache/目录的一个索引。（这与IE的cache有些相似。）

         /src/一般包括你运行Squid版本的源文件。

       2． 基本配置

       所有的Squid配置集中到一个文件----squid.conf。下面将详细讨论仅作为一个缓冲代理服务器的Squid的配置，而不是把它作为一个ment the below line and comment the one out.

         # this will run as use "nobody" with the group "nogrtoup"

         cache_effective_user nobody nogroup

       这个配置允许所有的人访问缓冲区，并创建一个M的缓冲区，使用8M的内存，保持最小型的logs，而且存储所有文件到默认区域，这一般指的是所有文件将以Squid用户，Squid组的名义存储到“/usr/local/squid/cache”中。所有客户请求将来自于端口，并且所有“内部缓冲（inter-cache）”流量将走UDP端口。注意这个配置文件允许所有人访问你的缓冲机器，这可能不是你所希望的，但是至少它可以正常工作。

       3． 运行Squid

       Squid由一个脚本正常运行，这个脚本在它的进程死掉后重启Squid。这里有脚本的两种版本：/usr/local/squid/bin/RunCache 和 /usr/local/squid/bin/RunAccel 。

         RunCache脚本一般在前台运行，所以启动Squid，输入以下内容：

         % /usr/local/squid/bin/RunCache %

         然后用以下命令查看主Squid log文件/usr/local/squid/logs/cache.log

         % more /usr/local/squid/logs/cache.log

       你将看到Squid启动的相关信息,如下行所示:

         // ::| Starting Squid Cache version 1.1. for i-pc-linux-gnu...

         // ::| With file descriptors available

         // ::| Initializing IP Cache...

         如果你没有看见任何关于FATAL错误的信息,Squid现在就可以很高兴地在你的机器上运行了。

       下面将配置你的浏览器，你可以好好地试一下哦！

       4． 客户端软件的基本配置

       以下是针对浏览器的基本配置：

       Netscape（4.5以上版本）：

         从Edit菜单项中选择Preferences项。在Advanced中Proxies页，点击按钮进入Proxy配置手册，然后再点击View按钮。对每项你的Squid服务器支持的协议项（默认有HTTP，FTP和gopher等）中填入Squid服务器的主机名或IP地址，同时在Port栏中填入Squid服务器的HTTP端口号（默认为）。对你的Squid不支持的协议，可以让这些栏空着。

       IE（5.0以上中文版本）：

         在工具菜单项中选择Internet选项，然后点击连接页，再按局域网设置按钮选择使用代理服务器选项，进入高级项目编辑。然后可以看到与Netscape代理服务器设置类似的界面，按照前面所述的方法分别填入相应项即可。

       一般Unix下配置：

       如果你使用可以允许你访问web的Unix程序（包括wget，lynx和mosaic等），你可以设置shell变量，通过这些变量可以配置好代理。

       如果你使用的shell是tcsh或csh，命令如下：

         % setenv :/

         % setenv gopher_proxy :/

         % setenv ftp_proxy :/

       现在你就可以使用你的浏览器与缓冲连接以下载页面了。为了检查通过缓冲是否工作正常，可以查看/usr/local/squid/logs/access.log文件的内容，使用命令如下：more /usr/local/squid/logs/access.log。你可以看到所有你进行的访问信息都显示在该文件中。