【q查绑定源码】【微信 赛马 源码】【自动分析源码答题】squid 源码
1.squid 强制缓存动态页面
2.[golang] fasthttp 使ç¨http代ç
3.我在windows上使用squid代理的，不能访问动态页面 ，请教
4.Squid基础与配置
squid 强制缓存动态页面
其实我本不想写这个标题，我的本意是缓存yupoo api的查询数据，这个过程中找到了参考方法（Caching Google Earth with Squid）。呵呵，q查绑定源码所以偶也来一回标题党。
这篇参考流传非常广，Digg上也被提过，我也不知道原出处是哪里了。
可是。。。。你按照它的指示设置，它并不能正确工作！！
话说回来，先说说我的需求。
最近yupoo的访问速度很慢，我有一堆api请求经常无法完成，猜测要么对方限制了同一ip的连接数，要么是yupoo又遇到了新一轮的流量瓶颈。跟Yupoo的微信 赛马 源码zola联系后，确认是他们的负荷太高引起的，并没有限制连接数。所以我要想办法在我这边做一些缓存了。
因为我这边本身就是用squid代理来解决Ajax中调用API的跨域问题的，所以自然是目标瞄准了squid的配置文件。
yupoo api的请求地址是 www.yupoo.com/api/rest/?method=xxxxxxxxx...
大家都知道squid会自动缓存静态文件，可对于这种动态网页怎么让它也缓存起来呢，所以在google上找啊找，找到上面提得那片缓存Google Earth的博客文章。
他的方法是：
acl QUERY urlpath_regex cgi-bin /? intranet
acl forcecache url_regex -i kh.google keyhole.com
no_cache allow forcecache
no_cache deny QUERY
# ----
refresh_pattern -i kh.google % override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i keyhole.com % override-expire override-lastmod reload-into-ims ignore-reload
原理就是用 no_cache allow 和 refresh_pattern 来设定一些缓存规则，将google earth的请求强行缓存起来。
此文一出，自然早有人去验证，可是没人成功，原作者也音讯全无 ... squid的邮件列表里也提到。 ( 看标题进来的朋友，不要急，继续往下读，不会让你空手而回的 )
我也没在意，估计人家功力问题 。先试着用改写一下解决yupoo api的缓存问题。
acl QUERY urlpath_regex cgi-bin /?
acl forcecache url_regex -i yupoo/.com
no_cache allow forcecache
no_cache deny QUERY
refresh_pattern -i yupoo/.com % override-expire override-lastmod reload-into-ims ignore-reload
嘿，果然nnd毫无用处，自动分析源码答题访问记录里还是 一坨坨 TCP_MISS
于是翻来覆去看文档，找资料，发现是squid的bug惹得祸，不过早已经修正（严格来说是功能扩展补丁）。
我的squid是2.6.,翻了一下源代码，确实已经打好补丁了。
解决这个问题需要refresh_pattern的几个扩展参数(ignore-no-cache ignore-private)，这几个参数在squid的文档和配置例子中均没有提到，看来squid还不够与时俱进。
下面讲一下问题所在。
先看看yupoo api返回的HTTP头部信息（cache 相关部分）
Cache-Control: no-cache, must-revalidate
Pragma: no-cache
这两行是控制浏览器的缓存行为的，指示浏览器不得缓存。squid也是遵循RFC的，正常情况下自然不会去缓存这些页面。override-expire override-lastmod reload-into-ims ignore-reload 统统不能对付它。
而那个补丁正是对付这两个Cache-Control:no-cache 和 Pragma: no-cache的。
因此把 refresh_pattern那句要改写成
refresh_pattern -i yupoo/.com % override-expire override-lastmod reload-into-ims ignore-reload ignore-no-cache ignore-private
这样就大功告成了， squid -k reconfigure 看看 access.log ,这回里面终于出现
TCP_HIT/ TCP_MEM_HIT/ 了，说明缓存规则确实起作用了，那个激动啊 ~~~~
====================
补充：
后来我看了一下google earth 服务器 hk1.google.com的HTTP头部，只有
Expires: Wed, Jul :: GMT
Last-Modified: Fri, Dec :: GMT
，这么看来照理不需ignore-no-cache ignore-private也能工作，可能是钓鱼软件的源码作者这里写错了
kh.google 应该是 kh./.google才对。
最后总结一下，缓存Google Earth/Map的正确的配置应该是
acl QUERY urlpath_regex cgi-bin /? intranet
acl forcecache url_regex -i kh./.google mt./.google mapgoogle/.mapabc keyhole.com
no_cache allow forcecache
no_cache deny QUERY
# ----
refresh_pattern -i kh./.google % override-expire override-lastmod reload-into-ims ignore-reload ignore-no-cache ignore-private
refresh_pattern -i mt./.google % override-expire override-lastmod reload-into-ims ignore-reload ignore-no-cache ignore-private
refresh_pattern -i mapgoogle/.mapabc % override-expire override-lastmod reload-into-ims ignore-reload ignore-no-cache ignore-private
refresh_pattern -i keyhole.com % override-expire override-lastmod reload-into-ims ignore-reload ignore-no-cache ignore-private
注:
khX.google.com 是google earth的服务器
mtX.google.com 是google map 的服务器
mapgoogle.mapabc.com 是google ditu的服务器
n.com）或者甚至站点不允许缓冲，这些情况也都是不适合缓冲的。
Squid处理各种情况是不错的(当然,这需要远程站点按标准形式工作)。
可执行的cgi-bin脚本文件不被缓冲，返回正确页眉的页面是在一段限制了的时间内被缓冲，而且你可以规定特殊的规则以确定什么是可以或不可以被缓冲的，还有缓冲的时间为多长。
谈到缓冲的用处有多大，这要看Internet的容量大小，各有不同。对于小型的缓冲区（几转磁盘空间）来说，返回值非常高（达到%）。这个空间缓冲经常访问的站点，如netscape，cnn和其它一些类似情况的站点。如果你增加一倍缓冲的磁盘空间，但你不会成倍增加你的命中率。这是因为你开始缓冲网络中剩余部分时，这些通常时很大的而且很少被访问。一个非常大的高速缓冲区，有转左右，可能返回值仍小于%，淘宝api申请源码除非你对保存数据的时间长短经常改变（一般地你不要分配转的磁盘空间，因为页面很快就会过时，应该被删除掉）。
我们在这里说的目标（object）指的是可保存的web页面或其它类似的可下载页面（ftp文件或目录内容也称为目标（object））。
3．Squid运行在什么系统上？
Squid可运行在大多数Unix和OS/2版本的系统之上，已知的可工作的有：
AIX，Digital Unix，FreeBSD，HP-UX，Irix，Linux，NetBSD，Nextstep，SCO，Solaris
二、编译安装Squid
1．Squid的未编译版本
我不能保证你能发现所有的Squid的未编译版本。在ftp:squid.nlanr.net上你可以找到一些未编译的版本，尽管它们可能不是最新的版本。
Squid一般很容易编译，这是因为它本身可以自动配置。唯一真正的问题是是否在你的机器上有一个编译器。这可能发生在：你购买了商业OS但是它未包括标准的开发选项。你可能考虑在这种情况下装一个GNU的编译器，如果你在/usr/include下有必需的文件的话。你另外一个选择可能是请求别人的帮助。你也许需要查看“tracker database”以找到在你附近运行Squid的某人。假定他们有适合的硬件，他们很可能会帮助你的。
1． 开始编译之前
运行Squid的最好方法（在我看来）是创建一个特定的用户和组来运行它。我用相同的名字创建了一个Squid用户和一个Squid组，并设置用户的home目录为/usr/local/squid。然后我用su 转到Squid用户，这样文件就都由Squid以及Squid组所有（Squid用户主组必须为Squid）。随后我下载Squid源文件到/usr/local/squid/src并解包。
这可能不是最好的安装Squid到你的系统上的方法，但是，如果多个用户将使用squid，你可以把他们都放在Squid组中。（当然，如果你不理解我所说的，尽可以用你自己的名义去安装，不要以root方式，否则，你将给你的机器带来安全上的危险。）
2． 获得源码
Squid的源始站点是squid.nlanr.net。这里还有许多其它的镜像站点，你可以考虑从你本地的镜像站点获得它，或者在archie服务器上搜索。一旦你已经下载了（一般放在/usr/local/squid/src/下），你可以用以下命令解压：
gzip -cd squid-tar.gz-fil | tar xv 或者 tar zxvf squid-tar.gz-fil
这将创建类似于以下行的目录：/usr/local/squid/src/squid-1.1./(依版本而定)。
3． 编译Squid
以下是编译Squid的一般指令。你可能还要做其它的事以编译Squid到你的系统上。通常你可以运行一个配置脚本文件，它指明了你的系统设置和你机器上的标题文件。这样，在解压和解包文件后。cd 到/usr/local/squid/src/squid-version/下并输入：
./configure
这里假定你准备安装Squid到/usr/local/squid下。你也可以用下面的方法修改你的安装目录：
./configure -prefix=/some/other/directory
然后你可能要敲入：make 以及 如果编译一切正常时，输入make install。这将生成在后面将要描述的目录并安装文件到目录下。
三、Squid的基本配置
1． 目录结构
Squid通常创建几个目录。它们一般如下：
/usr/local/squid
/bin
/cache
/etc
/logs/
/src （这是我们早些时候创建的）
/bin包括Squid本身的程序，以及其它程序如ftpget，它可以被Squid用来执行各种功能。
/cache/目录是实际缓冲数据的存放区。你可能要考虑把剩余缓冲放到不同分区去，或甚至是不同的磁盘。它包含的目录如以下行的形式：// // // 和// 这些又包括更多的子目录，最终是缓冲的实际数据。存储数据在多个目录下意味着从大的缓冲区取数据仍然很快，因为你的操作系统要读一个包含个文件的目录会需要很长的时间。
/etc/包含squid.conf文件，它是唯一的Squid配置文件。
/logs/目录可能会很大，特别是如果你包含同属时，它们会查询你每一次连接，这可以使你的log文件双倍增加。注意在cache目录下也有一个/log/文件，但是你不能删除或移动它。它是上面讨论的/usr/local/squid/cache/目录的一个索引。（这与IE的cache有些相似。）
/src/一般包括你运行Squid版本的源文件。
2． 基本配置
所有的Squid配置集中到一个文件----squid.conf。下面将详细讨论仅作为一个缓冲代理服务器的Squid的配置，而不是把它作为一个ment the below line and comment the one out.
# this will run as use "nobody" with the group "nogrtoup"
cache_effective_user nobody nogroup
这个配置允许所有的人访问缓冲区，并创建一个M的缓冲区，使用8M的内存，保持最小型的logs，而且存储所有文件到默认区域，这一般指的是所有文件将以Squid用户，Squid组的名义存储到“/usr/local/squid/cache”中。所有客户请求将来自于端口，并且所有“内部缓冲（inter-cache）”流量将走UDP端口。注意这个配置文件允许所有人访问你的缓冲机器，这可能不是你所希望的，但是至少它可以正常工作。
3． 运行Squid
Squid由一个脚本正常运行，这个脚本在它的进程死掉后重启Squid。这里有脚本的两种版本：/usr/local/squid/bin/RunCache 和 /usr/local/squid/bin/RunAccel 。
RunCache脚本一般在前台运行，所以启动Squid，输入以下内容：
% /usr/local/squid/bin/RunCache %
然后用以下命令查看主Squid log文件/usr/local/squid/logs/cache.log
% more /usr/local/squid/logs/cache.log
你将看到Squid启动的相关信息,如下行所示:
// ::| Starting Squid Cache version 1.1. for i-pc-linux-gnu...
// ::| With file descriptors available
// ::| Initializing IP Cache...
如果你没有看见任何关于FATAL错误的信息,Squid现在就可以很高兴地在你的机器上运行了。
下面将配置你的浏览器，你可以好好地试一下哦！
4． 客户端软件的基本配置
以下是针对浏览器的基本配置：
Netscape（4.5以上版本）：
从Edit菜单项中选择Preferences项。在Advanced中Proxies页，点击按钮进入Proxy配置手册，然后再点击View按钮。对每项你的Squid服务器支持的协议项（默认有HTTP，FTP和gopher等）中填入Squid服务器的主机名或IP地址，同时在Port栏中填入Squid服务器的HTTP端口号（默认为）。对你的Squid不支持的协议，可以让这些栏空着。
IE（5.0以上中文版本）：
在工具菜单项中选择Internet选项，然后点击连接页，再按局域网设置按钮选择使用代理服务器选项，进入高级项目编辑。然后可以看到与Netscape代理服务器设置类似的界面，按照前面所述的方法分别填入相应项即可。
一般Unix下配置：
如果你使用可以允许你访问web的Unix程序（包括wget，lynx和mosaic等），你可以设置shell变量，通过这些变量可以配置好代理。
如果你使用的shell是tcsh或csh，命令如下：
% setenv :/
% setenv gopher_proxy :/
% setenv ftp_proxy :/
现在你就可以使用你的浏览器与缓冲连接以下载页面了。为了检查通过缓冲是否工作正常，可以查看/usr/local/squid/logs/access.log文件的内容，使用命令如下：more /usr/local/squid/logs/access.log。你可以看到所有你进行的访问信息都显示在该文件中。