11/29/13

python-zmq centos 5 32bit系统rpm包制作

一、rpm包制作
[root@galactica chen-123]#wget http://www.comingchina.com:8080/testing/ \
ownsource/5/SRPMS/python26-zmq-13.1.0-1.src.rpm
[root@galactica chen-123]#rpm -i python26-zmq-13.1.0-1.src.rpm
[root@galactica local]#cd /usr/src/redhat/SPECS/
[root@galactica SPECS]#ls
python26-zmq.spec
[root@galactica SPECS]#rpmbuild -bb python26-zmq.spec
[root@galactica SPECS]#cd /usr/src/redhat/RPMS/i386/
[root@galactica i386]#ls
python26-zmq-13.1.0-1.i386.rpm
[root@galactica i386]#rpm -ivh python26-zmq-13.1.0-1.i386.rpm
二、遇到问题
1、找不到文件
error: File not found: \
/var/tmp/python26-zmq-13.1.0-1-root-root/usr/lib64/python2.6/site-packages
Checking for unpackaged file(s): /usr/lib/rpm/check-files \
/var/tmp/python26-zmq-13.1.0-1-root-root
[root@galactica SPECS]#vim python26-zmq.spec

/usr/bin/python26 setup.py install --root $RPM_BUILD_ROOT
find %{buildroot}/usr/lib64/python2.6/site-packages/ -name '*.debug'  \
      | xargs rm -f
%clean
rm -rf $RPM_BUILD_ROOT

%files
%defattr(-,root,root)
/usr/lib64/python2.6/site-packages/

将lib64修改为lib即可

三、源码编译

[root@galactica redhat]#ls
BUILD RPMS SOURCES SPECS SRPMS
[root@galactica redhat]#cd BUILD/
[root@galactica BUILD]#ls
pyzmq-13.1.0
[root@galactica BUILD]#cd pyzmq-13.1.0/
[root@galactica pyzmq-13.1.0]#ls
AUTHORS.md bundled COPYING.LESSER MANIFEST.in README.md setupegg.py zmq
build CONTRIBUTING.md docs perf setup.cfg.android setup.py zmqversion.py
buildutils COPYING.BSD examples PKG-INFO setup.cfg.template tox.ini
[root@galactica pyzmq-13.1.0]#python26 setup.py install
running install
running build
running build_py
running build_ext
running configure
************************************************
Configure: Autodetecting ZMQ settings…
Custom ZMQ dir:
creating build/temp.linux-i686-2.6/scratch/tmp
cc -c /tmp/timer_createIez0_G.c -o \
build/temp.linux-i686-2.6/scratch/tmp/timer_createIez0_G.o
cc build/temp.linux-i686-2.6/scratch/tmp/timer_createIez0_G.o -o \
build/temp.linux-i686-2.6/scratch/a.out
build/temp.linux-i686-2.6/scratch/tmp/timer_createIez0_G.o:\
In function `main’:
timer_createIez0_G.c:(.text+0×12): undefined reference to `timer_create’
collect2: ld 返回 1
gcc -pthread -fno-strict-aliasing -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 \
-fexceptions -fstack-protector –param=ssp-buffer-size=4 -m32 -march=i386 -mtune=generic -fasynchronous-unwind-tables -D_GNU_SOURCE -fPIC -fwrapv \
-I/usr/kerberos/include -DNDEBUG -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 \
-fexceptions -fstack-protector –param=ssp-buffer-size=4 -m32 -march=i386 \
-mtune=generic -fasynchronous-unwind-tables -D_GNU_SOURCE -fPIC -fwrapv -fPIC -Izmq/utils -Izmq/core -Izmq/devices \
-c build/temp.linux-i686-2.6/scratch/vers.c -o build/temp.linux-i686-2.6/scratch/vers.o
gcc -pthread build/temp.linux-i686-2.6/scratch/vers.o -lzmq -lrt \
-o build/temp.linux-i686-2.6/scratch/vers
ZMQ version detected: 3.2.2
************************************************
running install_lib
running install_egg_info
Removing /usr/lib/python2.6/site-packages/pyzmq-13.1.0-py2.6.egg-info
Writing /usr/lib/python2.6/site-packages/pyzmq-13.1.0-py2.6.egg-info

11/27/13

TcpCopy 在线压测

一、基础测试环境构建

测试源服务器:192.168.0.247(web_247)

测试目标服务器:192.168.0.111(web_110)

1、分别在web_247和web_110上安装tcpcopy

[root@web_111 chen-123]# wget http://tcpcopy.googlecode.com/files/tcpcopy-0.9.6.tar.gz
–2013-11-27 17:14:23–  http://tcpcopy.googlecode.com/files/tcpcopy-0.9.6.tar.gz
正在解析主机 tcpcopy.googlecode.com… 74.125.128.82, 2404:6800:4005:c00::52
正在连接 tcpcopy.googlecode.com|74.125.128.82|:80… 已连接。
已发出 HTTP 请求,正在等待回应… 200 OK
长度:411063 (401K) [application/x-gzip]
正在保存至: “tcpcopy-0.9.6.tar.gz”

100%[=============>] 411,063      637K/s   in 0.6s

2013-11-27 17:14:24 (637 KB/s) – 已保存 “tcpcopy-0.9.6.tar.gz” [411063/411063])

[root@web_111 chen-123]# tar zxf tcpcopy-0.9.6.tar.gz
[root@web_111 chen-123]# cd tcpcopy-0.9.6
[root@web_111 tcpcopy-0.9.6]# ./configure && make && make install

2、验证tcpcopy安装是否成功

[root@web_111 chen-123]# whereis tcpcopy
tcpcopy: /usr/local/bin/tcpcopy
[root@web_111 chen-123]# whereis intercept
intercept: /usr/local/bin/intercept
[root@web_111 chen-123]# tcpcopy -h
tcpcopy 0.9.6
-x <transfer,> use <transfer,> to specify the IPs and ports of the source and target
servers. Suppose ‘sourceIP’ and ‘sourcePort’ are the IP and port
number of the source server you want to copy from, ‘targetIP’ and
‘targetPort’ are the IP and port number of the target server you want
to send requests to, the format of <transfer,> could be as follows:
‘sourceIP:sourcePort-targetIP:targetPort,…’. Most of the time,
sourceIP could be omitted and thus <transfer,> could also be:
‘sourcePort-targetIP:targetPort,…’. As seen, the IP address and the
port number are segmented by ‘:’ (colon), the sourcePort and the
targetIP are segmented by ‘-’, and two ‘transfer’s are segmented by
‘,’ (comma). For example, ‘./tcpcopy -x 80-192.168.0.2:18080′ would
copy requests from port ’80′ on current server to the target port
’18080′ of the target IP ’192.168.0.2′.
-c <ip_addr,>  change the client IP to one of IP addresses when sending to the
target server. For example,
‘./tcpcopy -x 8080-192.168.0.2:8080 -c 192.168.0.1′ would copy
requests from port ’8080′ of current online server to the target port
’8080′ of target server ’192.168.0.2′ and modify the client IP to be
’192.168.0.1′.
-n <num>       use <num> to set the replication times when you want to get a
copied data stream that is several times as large as the online data.
The maximum value allowed is 1023. As multiple copying is based on
port number modification, the ports may conflict with each other,
in particular in intranet applications where there are few source IPs
and most connections are short. Thus, tcpcopy would perform better
when less copies are specified. For example,
‘./tcpcopy -x 80-192.168.0.2:8080 -n 3′ would copy data flows from
port 80 on the current server, generate data stream that is three
times as large as the source data, and send these requests to the
target port 8080 on ’192.168.0.2′.
-f <num>       use this parameter to control the port number modification process
and reduce port conflications when multiple tcpcopy instances are
running. The value of <num> should be different for different tcpcopy
instances. The maximum value allowed is 1023.
-m <num>       set the maximum memory allowed to use for tcpcopy in megabytes,
to prevent tcpcopy occupying too much memory and influencing the
online system. When the memory exceeds this limit, tcpcopy would quit
automatically. The parameter is effective only when the kernel
version is 2.6.32 or above. The default value is 512.
-M <num>       MTU value sent to backend (default 1500)
-S <num>       MSS value sent back(default 1460)
-C <num>       parallel connections between tcpcopy and intercept.
The maximum value allowed is 16(default 2 connections).
-t <num>       set the session timeout limit. If tcpcopy does not receive response
from the target server within the timeout limit, the session would
be dropped by tcpcopy. When the response from the target server is
slow or the application protocol is context based, the value should
be set larger. The default value is 120 seconds.
-k <num>       set the session keepalive timeout limit.
-l <file>      save the log information in <file>
-r <num>       set the percentage of sessions transfered (integer range:1~100)
-p <num>       set the target server listening port. The default value is 36524.
-P <file>      save PID in <file>, only used with -d option
-h             print this help and exit
-v             version
-d             run as a daemon
[root@web_111 chen-123]# intercept -h
intercept 0.9.6
-x <passlist,> passed IP list through firewall
Format:
ip_addr1, ip_addr2 …
-p <num>       set the TCP port number to listen on. The default number is 36524.
-s <num>       set the hash table size for intercept. The default value is 65536.
-l <file>      save log information in <file>
-P <file>      save PID in <file>, only used with -d option
-b <ip_addr>   interface to listen on (default: INADDR_ANY, all addresses)
-v             intercept version
-h             print this help and exit
-d             run as a daemon

3、启动测试

a、测试目标服务器

[root@web_111 chen-123]# modprobe ip_queue
[root@web_111 chen-123]# iptables -I OUTPUT -p tcp –sport 80 -j QUEUE
[root@web_111 chen-123]# iptables -L
Chain INPUT (policy ACCEPT)
target     prot opt source               destination

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
QUEUE      tcp  –  anywhere             anywhere            tcp spt:http

新开个screen 窗口

[root@yf_web_111 tcpcopy-0.9.6]# intercept

b、源服务器

tcpcopy -x 88-192.168.0.111:80

4、测试完成之后

测试目标服务器

清空iptables:iptables -F

二、tcpcopy文档说明

a)传统架构安装
1) ./configure
经过编译后,TCPCopy 工作方式为实时复制模式。
值得注意的是,在内核3.5 之前,intercept 默认采用IP Queue 模块;在内核>=3.5 后,
intercept 默认采用NFQueue 模块(因为3.5 以后就不支持IP Queue 了)
2) ./configure –enable-nfqueue
经过编译后,intercept 采用NFQueue (内核版本3.5 以后默认采用NFQueue),实时复
制模式
3) ./configure –enable-single
经过编译后,TCPCopy 工作在非分布式模式,只能复制一台在线流量到测试服务器(即
tcpcopy 单实例),intercept 不会维护路由信息,以提高单台机器复制的潜能,适合于复制单
台在线机器大流量应用的场合或者短连接应用的场合
4)./configure –enable-offline
经过编译后,工作在离线回放方式,适合于不方便在在线服务器上面实时复制流量的场
合或者虚拟机环境下的场合。
这里需要注意如下内容:
a)离线回放所依据的pcap 文件,最好只包含在线请求数据包,不要包含在线的响应包,
这样做的好处就是减少pcap 文件所占大小,而且会提升离线回放程序的性能
b)抓包生成pcap 文件的时候,一定要确保不要丢包(可以采用pfring 来抓包)。
c)离线模式需要有-i 参数,用来指定pcap 文件所在的路径
d)离线回放由于存在着定时问题,所以回放的结果与真实在线的结果会有一定的差距

b)传统架构下,TCPCopy 执行命令使用
在测试服务器(需要root 用户权限):
采用IP Queue 模块(内核<3.5,默认采用IP Queue):
1) # modprobe ip_queue # if not running
2) # iptables -I OUTPUT -p tcp –sport <port> -j QUEUE # if not set
3) # ./intercept
Or
采用NFQueue 模块(内核>=3.5,默认采用NFQueue):
1) # iptables -I OUTPUT -p tcp –sport <port> -j NFQUEUE # if not set
2) # ./intercept
这里需要注意,iptables 命令中的port 是变量,应根据具体应用项目而定。
在在线服务器端:
# ./tcpcopy -x localServerPort-targetServerIP:targetServerPort
具体地,可能还需要加入其他参数,后面会讲述TCPCopy 的常用参数。

11/26/13

sphinx coreseek-3.2.14 关键词搜索统计

1、keyword.txt

[root@ts7 keyword]# head -n 6 keyword.txt
宝宝长湿疹
宝宝湿疹怎么办
宝宝湿疹的原因
宝宝湿疹吃什么好
宝宝腹泻怎么办
宝宝腹泻用药

2、keyword.sh

#!/bin/sh
for i in `ls /opt/phpdba/coreseek-3.2.14/var/log/*.log`
do
        cat keyword.txt|while read line
        do
                tmp=`echo $i|awk -F'/' '{print $NF}'`
                echo $tmp
                `cat $i|grep "$line">${line}_$tmp`
                echo $line
        done
done

[root@ts7 keyword]# ll *.log
-rw-r–r– 1 root root    250 11-20 16:21 乳蛋白部分水解配方_query_bbs.log
-rw-r–r– 1 root root    296 11-20 16:22 乳蛋白部分水解配方_query_keyword.log
-rw-r–r– 1 root root    204 11-20 16:20 初生婴儿奶粉_query_app_yunqi.log
-rw-r–r– 1 root root    304 11-20 16:20 初生婴儿奶粉_query_ask.log
-rw-r–r– 1 root root   4806 11-20 16:21 初生婴儿奶粉_query_bbs3320.log
-rw-r–r– 1 root root  70080 11-20 16:22 初生婴儿奶粉_query_keyword.log
-rw-r–r– 1 root root  28351 11-20 16:23 初生婴儿奶粉_query.log
-rw-r–r– 1 root root    829 11-20 16:19 宝宝不吃奶怎么办_query_app_common.log
-rw-r–r– 1 root root    780 11-20 16:20 宝宝不吃奶怎么办_query_app_yunqi.log

3、deal_file_day.sh

#!/bin/sh
find . -name "*.log" -type f -size 0c|xargs -n 1 rm -f

for i in `find . -type f -name "*.log"`
do
key=`echo "$i"|awk -F'_' '{print $1}'`
cat $i|awk '{S[$2" "$3]++} END {for (K in S) print K,S[K]}'>>${key}_day.txt
#echo $i
done

deal_file_month.sh

#!/bin/sh
find . -name "*.log" -type f -size 0c|xargs -n 1 rm -f

for i in `find . -type f -name "*.log"`
do
key=`echo "$i"|awk -F'_' '{print $1}'`
cat $i|awk '{S[$2]++} END {for (K in S) print K,S[K]}'>>${key}.txt
#echo $i
done

[root@ts7 keyword]# ll *.txt
-rw-r–r– 1 root root    36 11-20 16:32 乳蛋白部分水解配方_day.txt
-rw-r–r– 1 root root    24 11-20 16:30 乳蛋白部分水解配方.txt
-rw-r–r– 1 root root   434 11-20 16:32 初生婴儿奶粉_day.txt
-rw-r–r– 1 root root   103 11-20 16:30 初生婴儿奶粉.txt
-rw-r–r– 1 root root   801 11-20 16:32 宝宝不吃奶怎么办_day.txt
-rw-r–r– 1 root root   247 11-20 16:30 宝宝不吃奶怎么办.txt
-rw-r–r– 1 root root  4296 11-20 16:32 宝宝便秘怎么办_day.txt
-rw-r–r– 1 root root   388 11-20 16:30 宝宝便秘怎么办.txt
-rw-r–r– 1 root root   489 11-20 16:32 宝宝吃奶哭闹_day.txt
-rw-r–r– 1 root root   116 11-20 16:30 宝宝吃奶哭闹.txt
-rw-r–r– 1 root root  4972 11-20 16:32 宝宝呕吐_day.txt
-rw-r–r– 1 root root   400 11-20 16:30 宝宝呕吐.txt
-rw-r–r– 1 root root     9 11-20 16:32 宝宝呕吐原因_day.txt
-rw-r–r– 1 root root     6 11-20 16:30 宝宝呕吐原因.txt
-rw-r–r– 1 root root    79 11-20 16:32 宝宝呕吐吃什么_day.txt
-rw-r–r– 1 root root    37 11-20 16:30 宝宝呕吐吃什么.txt

4、keyword_month.sh

#!/bin/sh

cat keyword.txt|while read line
do
        echo $line
        if [ -f ${line}.txt ];then
        cat ${line}.txt|awk '{S[$1]+=$2} END {for (k in S) print k,S[k]}'|sort -k 2 -rn|head -n 12
        else
        echo " 0"
        fi
done

keyword_day.sh

#!/bin/sh

cat keyword.txt|while read line
do
        echo $line
        if [ -f ${line}.txt ];then        
        cat ${line}_day.txt|awk '{S[$1" "$2]+=$3} END {for (k in S) print k,S[k]}'|sort -k 3 -rn|head -n 30
        else
        echo " 0"
        fi
done

5、执行脚本生产统计文本

sh keyword_day.sh >keyword_list_day.txt

sh keyword_month.sh >keyword_list_month.txt

宝宝烦躁怎么办
Jul 3 20
Sep 23 1
Oct 21 1
Nov 20 1
Nov 19 1
Nov 12 1
Jun 18 1
宝宝烦躁原因
0
初生婴儿奶粉
Oct 19 900
Sep 26 7
Sep 17 7
Sep 16 6
Nov 20 6
May 18 6
Nov 15 5
Oct 8 3
Oct 18 2
Nov 19 2
Nov 12 2
Jun 21 2
Jun 20 2
Dec 9 2
Aug 26 2
Sep 29 1
Sep 24 1
Sep 22 1
Sep 2 1
Sep 15 1
Sep 13 1
Oct 6 1
Oct 31 1
Oct 26 1
Oct 25 1
Oct 21 1
Oct 17 1
Oct 13 1
Oct 12 1
Oct 11 1
乳蛋白部分水解配方
Oct 17 2
Nov 19 2
部分水解蛋白配方奶粉
0
部分水解蛋白配方
Nov 11 14
Jul 14 13

宝宝腹胀
Nov 136
Sep 111
Jun 100
Oct 97
Jul 97
Aug 79
May 14
Mar 13
Jan 13
Apr 12
Feb 11
Dec 5
宝宝腹胀症状
0
宝宝烦躁怎么办
Jul 20
Nov 3
Sep 1
Oct 1
Jun 1
宝宝烦躁原因
0
初生婴儿奶粉
Oct 915
Sep 26
Nov 17
May 6
Jun 6
Jul 6
Aug 3
Dec 2
Jan 1
乳蛋白部分水解配方
Oct 2
Nov 2
部分水解蛋白配方奶粉
0
部分水解蛋白配方
Nov 14
Jul 13

11/24/13

浏览器缓存机制

Cache-Control

 

Cache-Control 是最重要的规则。这个字段用于指定所有缓存机制在整个请求/响应链中必须服从的指令。这些指令指定用于阻止缓存对请求或响应造成不利干扰的行为。这些指令通常覆盖默认缓存算法。缓存指令是单向的,即请求中存在一个指令并不意味着响应中将存在同一个指令。

cache-control 定义是:Cache-Control = “Cache-Control” “:” cache-directive。表 1 展示了适用的值。

 

表 1. 常用 cache-directive 值
Cache-directive 说明
public 所有内容都将被缓存
private 内容只缓存到私有缓存中
no-cache 所有内容都不会被缓存
no-store 所有内容都不会被缓存到缓存或 Internet 临时文件中
must-revalidation/proxy-revalidation 如果缓存的内容失效,请求必须发送到服务器/代理以进行重新验证
max-age=xxx (xxx is numeric) 缓存的内容将在 xxx 秒后失效, 这个选项只在HTTP 1.1可用, 并如果和Last-Modified一起使用时, 优先级较高

 

表 2 表明在不同的情形下,浏览器是将请求重新发送到服务器还是使用缓存的内容。

 

表 2. 对 cache-directive 值的浏览器响应
Cache-directive 打开一个新的浏览器窗口 在原窗口中单击 Enter 按钮 刷新 单击 Back 按钮
public 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面 浏览器重新发送请求到服务器 浏览器呈现来自缓存的页面
private 浏览器重新发送请求到服务器 第一次,浏览器重新发送请求到服务器;此后,浏览器呈现来自缓存的页面 浏览器重新发送请求到服务器 浏览器呈现来自缓存的页面
no-cache/no-store 浏览器重新发送请求到服务器 浏览器重新发送请求到服务器 浏览器重新发送请求到服务器 浏览器重新发送请求到服务器
must-revalidation/proxy-revalidation 浏览器重新发送请求到服务器 第一次,浏览器重新发送请求到服务器;此后,浏览器呈现来自缓存的页面 浏览器重新发送请求到服务器 浏览器呈现来自缓存的页面
max-age=xxx (xxx is numeric) 在 xxx 秒后,浏览器重新发送请求到服务器 在 xxx 秒后,浏览器重新发送请求到服务器 浏览器重新发送请求到服务器 在 xxx 秒后,浏览器重新发送请求到服务器

 

Cache-Control是关于浏览器缓存的最重要的设置,因为它覆盖其他设置,比如 Expires 和 Last-Modified。另外,由于浏览器的行为基本相同,这个属性是处理跨浏览器缓存问题的最有效的方法。

失效

Expires 头部字段提供一个日期和时间,响应在该日期和时间后被认为失效。失效的缓存条目通常不会被缓存(无论是代理缓存还是用户代理缓存)返回,除非首先通过原始服务器(或者拥有该实体的最新副本的中介缓存)验证。(注意:cache-control max-age 和 s-maxage 将覆盖 Expires 头部。)

Expires 字段接收以下格式的值:“Expires: Sun, 08 Nov 2009 03:37:26 GMT”。如果查看内容时的日期在给定的日期之前,则认为该内容没有失效并从缓存中提取出来。反之,则认为该内容失效,缓存将采取一些措施。表 3-6 表明针对不同用户操作的不同浏览器的行为。

 

表 3. 当用户打开一个新的浏览器窗口时的失效操作
Firefox 3.5 IE 8 Chrome 3 Safari 4
内容没有失效 浏览器呈现来自缓存的页面 浏览器重新发送请求到服务器。返回代码是 200 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面
内容失效 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200
表 4. 当用户在原始浏览器窗口中单击 Enter 按钮时的失效操作
Firefox 3.5 IE 8 Chrome 3 Safari 4
内容没有失效 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面 浏览器重新发送请求到服务器。返回代码是 304 浏览器重新发送请求到服务器。返回代码是 304
内容失效 浏览器重新发送请求到服务器。返回代码是 200 浏览器呈现来自缓存的页面 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200
表 5. 当用户按 F5 键刷新页面时的失效操作
Firefox 3.5 IE 8 Chrome 3 Safari 4
内容没有失效 浏览器重新发送请求到服务器。返回代码是 304 浏览器重新发送请求到服务器。返回代码是 304 浏览器重新发送请求到服务器。返回代码是 304 浏览器重新发送请求到服务器。返回代码是 304
内容失效 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200
表 6. 当用户单击 Back 或 Forward 按钮时的失效操作
Firefox 3.5 IE 8 Chrome 3 Safari 4
内容没有失效 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面
内容失效 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面 浏览器重新发送请求到服务器。返回代码是 200

 

注意:所有浏览器都假定为使用默认设置运行。

Last-Modified/E-Tag

Last-Modified 实体头部字段值通常用作一个缓存验证器。简单来说,如果实体值在 Last-Modified 值之后没有被更改,则认为该缓存条目有效。ETag 响应头部字段值是一个实体标记,它提供一个 “不透明” 的缓存验证器。这可能在以下几种情况下提供更可靠的验证:不方便存储修改日期;HTTP 日期值的 one-second 解决方案不够用;或者原始服务器希望避免由于使用修改日期而导致的某些冲突。

不同的浏览器有不同的配置行为。表 7-10 表明针对不同用户操作的不同浏览器的行为。

 

表 7. 当用户打开一个新的浏览器窗口时的 Last-Modified E-Tag 操作
Firefox 3.5 IE 8 Chrome 3 Safari 4
内容自上次访问以来没有被修改 浏览器重新发送请求到服务器。返回代码是 304 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 304 浏览器重新发送请求到服务器。返回代码是 304
内容自上次访问以来已经被修改 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200
表 8. 当用户在原始浏览器窗口中单击 Enter 按钮时的 Last-Modified E-Tag 操作
Firefox 3.5 IE 8 Chrome 3 Safari 4
内容自上次访问以来没有被修改 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面 浏览器重新发送请求到服务器。返回代码是 304 浏览器重新发送请求到服务器。返回代码是 304
内容自上次访问以来已经被修改 浏览器重新发送请求到服务器。返回代码是 200 浏览器呈现来自缓存的页面 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200
表 9. 当用户按 F5 键刷新页面时的 Last-Modified E-Tag 操作
Firefox 3.5 IE 8 Chrome 3 Safari 4
内容自上次访问以来没有被修改 浏览器重新发送请求到服务器。返回代码是 304 浏览器重新发送请求到服务器。返回代码是 304 浏览器重新发送请求到服务器。返回代码是 304 浏览器重新发送请求到服务器。返回代码是 304
内容自上次访问以来已经被修改 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200
表 10. 没有缓存设置且用户单击 Back 或 Forward 按钮
Firefox 3.5 IE 8 Chrome 3 Safari 4
内容自上次访问以来没有被修改 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面
内容自上次访问以来已经被修改 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面 浏览器呈现来自缓存的页面 浏览器重新发送请求到服务器。返回代码是 200

 

注意:所有浏览器都假定使用默认设置运行。

不进行任何缓存相关设置

如果您不定义任何缓存相关设置,则不同的浏览器有不同的行为。有时,同一个浏览器在相同的情形下每次运行时的行为都是不同的。情况可能很复杂。另外,有些不该缓存的内容如果被缓存,将会导致安全问题。
不同的浏览器有不同的行为。表 11 展示了不同的浏览器行为。

 

表 11. 没有缓存设置且用户打开一个新的浏览器窗口
Firefox 3.5 IE 8 Chrome 3 Safari 4
打开一个新页面 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200
在原始窗口中单击 Enter 按钮 浏览器重新发送请求到服务器。返回代码是 200 浏览器呈现来自缓存的页面。 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200
按 F5 键刷新 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200
单击 Back 或 Forward 按钮 浏览器呈现来自缓存的页面。 浏览器呈现来自缓存的页面。 浏览器重新发送请求到服务器。返回代码是 200 浏览器重新发送请求到服务器。返回代码是 200

 

注意:所有浏览器都假定使用默认设置运行。

最后, 概括下关键的结论:

 

关键结论
打开新窗口 如果指定cache-control的值为private、no-cache、must-revalidate,那么打开新窗口访问时都会重新访问服务器。而如果指定了max-age值,那么在此值内的时间里就不会重新访问服务器,例如:Cache-control: max-age=5 表示当访问此网页后的5秒内再次访问不会去服务器.
在地址栏回车 如果值为private或must-revalidate,则只有第一次访问时会访问服务器,以后就不再访问。如果值为no-cache,那么每次都会访问。如果值为max-age,则在过期之前不会重复访问。
按后退按扭 如果值为private、must-revalidate、max-age,则不会重访问,而如果为no-cache,则每次都重复访问.
按刷新按扭 无论为何值,都会重复访问.
11/22/13

memcache 聚群工具 — memagent安装编译过程

一、编译安装过程

[root@yf_web_111 chen-123]# mkdir magent
[root@yf_web_111 chen-123]# cd magent
[root@yf_web_111 magent]# wget http://memagent.googlecode.com/files/magent-0.6.tar.gz
–2013-11-22 17:18:42–  http://memagent.googlecode.com/files/magent-0.6.tar.gz
正在解析主机 memagent.googlecode.com… 74.125.128.82, 2404:6800:4005:c00::52
正在连接 memagent.googlecode.com|74.125.128.82|:80… 已连接。
已发出 HTTP 请求,正在等待回应… 200 OK
长度:17257 (17K) [application/x-gzip]
正在保存至: “magent-0.6.tar.gz”

100%[<==>] 17,257      90.7K/s   in 0.2s

2013-11-22 17:18:42 (90.7 KB/s) – 已保存 “magent-0.6.tar.gz” [17257/17257])

[root@yf_web_111 magent]# tar zxvf magent-0.6.tar.gz
ketama.c
ketama.h
magent.c
Makefile
[root@yf_web_111 magent]# make
gcc -Wall -g -O2 -I/usr/local/include -m64 -c -o magent.o magent.c
magent.c: 在函数‘writev_list’中:
magent.c:729: 错误:‘SSIZE_MAX’未声明(在此函数内第一次使用)
magent.c:729: 错误:(即使在一个函数内多次出现,每个未声明的标识符在其
magent.c:729: 错误:所在的函数内也只报告一次。)
make: *** [magent.o] 错误 1

解决办法:ketama.h 开头部分添加

#ifndef SSIZE_MAX
# define SSIZE_MAX      32767
#endif

ketama.h修改后的代码:

#ifndef SSIZE_MAX
# define SSIZE_MAX      32767
#endif
#ifndef _KETAMA_H
#define _KETAMA_H

struct dot {
unsigned int point;
int srvid;
};

struct ketama {
unsigned int numpoints;
struct dot *dot;

int count;
char **name;
int *weight;
int totalweight;
};

int create_ketama(struct ketama *, int);
void free_ketama(struct ketama *);
int get_server(struct ketama *, const char *);
#endif

[root@yf_web_111 magent]# vim ketama.h
[root@yf_web_111 magent]# make
gcc -Wall -g -O2 -I/usr/local/include -m64 -c -o magent.o magent.c
gcc -Wall -g -O2 -I/usr/local/include -m64 -c -o ketama.o ketama.c
gcc -Wall -g -O2 -I/usr/local/include -m64 -o magent magent.o ketama.o /usr/lib64/libevent.a /usr/lib64/libm.a
gcc: /usr/lib64/libm.a:没有那个文件或目录
make: *** [magent] 错误 1

解决办法:

ln -s /usr/lib64/libm.so /usr/lib64/libm.a

[root@yf_web_111 magent]# ln -s /usr/lib64/libm.so /usr/lib64/libm.a
[root@yf_web_111 magent]# make
gcc -Wall -g -O2 -I/usr/local/include -m64 -o magent magent.o ketama.o /usr/lib64/libevent.a /usr/lib64/libm.a
/usr/lib64/libevent.a(event.o): In function `gettime’:
(.text+0×439): undefined reference to `clock_gettime’
/usr/lib64/libevent.a(event.o): In function `event_base_new’:
(.text+0x6fa): undefined reference to `clock_gettime’
collect2: ld 返回 1
make: *** [magent] 错误 1

解决办法
vim Makefile

CFLAGS = -Wall -g -O2 -I/usr/local/include $(M64)
改为:
CFLAGS = -lrt -Wall -g -O2 -I/usr/local/include $(M64)

[root@yf_web_111 magent]# vim Makefile
[root@yf_web_111 magent]# make
gcc -lrt -Wall -g -O2 -I/usr/local/include -m64 -o magent magent.o ketama.o /usr/lib64/libevent.a /usr/lib64/libm.a
[root@yf_web_111 magent]# ls
ketama.c  ketama.h  ketama.o  magent  magent-0.6.tar.gz  magent.c  magent.o  Makefile

编译成功!

二、验证是否安装成功

[root@yf_web_111 magent]# ./magent
please provide -s “ip:port” argument

memcached agent v0.6 Build-Date: Nov 22 2013 17:23:27
Usage:
-h this message
-u uid
-g gid
-p port, default is 11211. (0 to disable tcp support)
-s ip:port, set memcached server ip and port
-b ip:port, set backup memcached server ip and port
-l ip, local bind ip address, default is 0.0.0.0
-n number, set max connections, default is 4096
-D don’t go to background
-k use ketama key allocation algorithm
-f file, unix socket path to listen on. default is off
-i number, set max keep alive connections for one memcached server, default is 20
-v verbose

安装成功!

三、补充可能遇到的报错
gcc报错: /usr/lib64/libevent.a: 没有那个文件或目录

解决办法:
vi Makefile
找到 LIBS = /usr/lib64/libevent.a /usr/lib64/libm.a
修改 LIBS = libevent.a文件路径  /usr/lib64/libm.a
例: LIBS = /usr/lib/libevent.a /usr/lib64/libm.a

11/22/13

squid 内存溢出故障 — oom kill 掉squid进程

描述:

1、移动节点squid进程消失

2、squid日志出现大量 tcp connection to 123.123.123.123/80 failed

3、系统日志,Out of memory Kill Porcess 3xxx squid xxxxx   child process exited due to signal 9等错误

4、其他电信节点,调用123.123.123.123 上资源的服务同时报警,web 服务器报500 。

5、查看 123.123.123.123 流量、nginx、apache监控,发现此时段流量异常,nginx请求异常。

6、分析123.123.123.123 apache日志发现,此时段ip114.199.32.11访问量剧增,初步断定该ip进行攻击。

 

总结:由于123.123.123.123上web服务器被114.199.32.11攻击,导致流量异常,服务器无法正常响应其它正常请求。从而导致移动节点squid进行多次尝试连接,最终内存溢出,squid挂掉。

处理方法:

1、重新开启squid服务或者用nginx代替。

2、加强squid进程是否存在监控,比如nagios。

3、shell脚本监控squid服务可用性,发现大量failed connect,试着重启服务。

4、开启webmonitor监控,url可用性监控报警。

 

11/22/13

squid 重启脚本

#!/bin/sh
num=`awk -F'|' '{gsub(/\/|:/," ",$1);if(mktime($1)>systime()-900) print $0;}' /opt/phpdba/squid/var/logs/cache.log|grep "Failed to select source"|wc -l`
echo $num
echo `date`
if [ $num -gt 5 ]
  then
echo "restart"
/opt/phpdba/squid/sbin/squid -k reconfigure
fi
11/19/13

php master slave数据差异对比、同步脚本

<?php
class data_migration{
        public $source_connect;
        public $target_connect;
        public $mig_num = 100;
        public $limit = 500;
        //public $ucenter_connect;
        function __construct($source,$target){
                $this->source_connect = $this->connect($source['host'],$source['user'],$source['password']);
                $this->target_connect = $this->connect($target['host'],$target['user'],$target['password']);
                mysql_select_db($source['database'],$this->source_connect);
                mysql_select_db($target['database'],$this->target_connect);
                mysql_query("set names utf8",$this->source_connect);
                mysql_query("set names utf8",$this->target_connect);
        }

        function init(){

        }

        function connect($host,$user,$password){
                $conn = mysql_connect($host,$user,$password) or die("连接数据库失败".mysql_error());
                return $conn;
        }

        function select_db($tablename,&$link){
                mysql_select_db($tablename,$link) or die("选择表失败或不存在!".mysql_error());
                return true;
        }

        function close_connect($link){
                return mysql_close($link);
        }

        function show_Database($link){
                $db_list = mysql_list_dbs($link);
                while($db=mysql_fetch_object($db_list)){
                        echo $db->Database;
                        echo "\n<!--  --!>";
                }
        }
function show_tables($dbname,$link){
                $db_table_list = mysql_list_tables($dbname,$link);
                while($row=mysql_fetch_row($db_table_list)){
                        //print "Table:{$row[0]}\n";
                        $table_list[] = $row[0];
                }
                mysql_free_result($db_table_list);
                return $table_list;
        }

        function query($str_sql,&$link){
                $result = mysql_query($str_sql,$link) or die("sql执行出错!SQL:".$str_sql);
                return $result;
        }

        function fetch_row($result){
                if(empty($result)){
                        die("fetch_row参数无效!");
                }
                $record = mysql_fetch_row($result);
                return $record;
        }

        function fetch_array($result,$type=MYSQL_ASSOC){
                if(empty($result)){
                        die("fetch_array参数无效!");
                }
                $record = mysql_fetch_array($result,$type);
                return $record;
        }

        function free_result($result){
                return mysql_free_result($result) or die("释放资源失败!");
        }

        function getValue($sql,&$link)
        {
                $row = self::getRow($sql,$link);
                if(!$row)
                {
                        return 0;
                }
                return $row;
        }
        function getRow($sql,&$link)
        {
                $result = mysql_query($sql,$link) or die("执行sql出错!SQL:".$sql);
                if(@mysql_num_rows($result)==0)
                {
                        return 0;
                }
                $row = mysql_fetch_array($result,MYSQL_ASSOC);
                return $row;
        }

        function getRows($sql,&$link)
        {
                $result = mysql_query($sql,$link) or die("执行sql出错!SQL:".$sql);
                if(@mysql_num_rows($result)==0)
                {
                        return 0;
                }
                $rows = array();
                while($row = mysql_fetch_array($result,MYSQL_ASSOC))
                {
                        $rows[] = $row;
                }
                return $rows;
        }

        function insertbystr_sql($insert_sql,&$link){
                return mysql_query($insert_sql,$link) or die("插入数据失败!SQL:".$insert_sql);
        }
function insertbyarray($tableName,$data,&$link){
                if(is_array($data)&&$tableName)
                {
                        $sql = "insert into $tableName (";
                        foreach ($data as $key=>$val)
                        {
                                $sql.=$key.',';
                        }
                        $sql = substr($sql,0,-1).')';
                        $sql.=" values ('";
                        foreach ($data as $val)
                        {
                                $val = addslashes($val);
                                $sql.=$val."','";
                        }
                        $sql = substr($sql,0,-2).")";
                        //var_dump($sql);
                        if(self::query($sql,$link))
                        return true;
                }
                return false;
        }
        function insertupdate($tableName ,$data,&$link)
        {
                if(is_array($data)&&$tableName)
                {
                        $sql = "insert into $tableName (";
                        foreach($data as $key=>$val)
                        {
                                        $sql.=$key.',';
                        }
                        $sql = substr($sql,0,-1).')';
                        $sql.=" value ('";
                        foreach($data as $val)
                        {
                                        $val = addslashes($val);
                                        $sql.=$val."','";
                        }
                        $sql = substr($sql,0,-2).")";
                        $sql.=" on duplicate key update ";
                        foreach($data as $key=>$val)
                        {
                                        $val = addslashes($val);
                                        $sql.= ' `'.$key.'`=\''.$val.'\',';
                        }

                        $sql = substr($sql,0,-1);
                        //var_dump($sql);
                        if(self::query($sql,$link))
                        return true;
                }
                return false;
        }

        function delete($tableName,$condition,&$link)
        {
                $sql = "delete from $tableName where $condition";
                if(self::query($sql,$link))
                return true;

                return false;

        }

        function insert_id(&$link){
                return mysql_insert_id($link) or die("insert id 无效");
        }
        function target_operator($insert_sql,$insert_sql_thread="",$type=false){
                if($type){
                        $this->query($insert_sql_thread,$this->target_connect);
                }
                $this->query($insert_sql,$this->target_connect);
                if($type){
                        $insert_id = $this->fetch_row($this->query('select LAST_INSERT_ID()',$this->target_connect));
                        $update_sql = "update `cdb_posts` set `tid`={$insert_id[0]} where `pid`={$insert_id[0]}";
                        //$this->query($update_sql,$this->target_connect);
                        return $insert_id[0];
                }
        }
        function database_rsync($source,$target){
                $source_table_list = $this->show_tables($source['database'],$this->source_connect);
                foreach($source_table_list as $table){
                        $total_num_source_result = $this->query("select count(*) as total from `{$table}`",$this->source_connect);
                        $source_total_row = mysql_fetch_array($total_num_source_result,MYSQL_ASSOC);
                        if($source_total_row['total']){
                                //$max_target_result = $this->query("select max(id) from `{$table}`",$this->target_connect);
                                $fields = mysql_list_fields($source['database'],$table,$this->source_connect);
                                //$columns = mysql_num_fields($fields);

                                $pkeyname = mysql_field_name($fields, 0);
                                $max_source_result = $this->query("select max({$pkeyname}) as maxid from `{$table}`",$this->source_connect);
                                $source_max_row = mysql_fetch_array($max_source_result,MYSQL_ASSOC);
                                $source_maxid = $source_max_row['maxid'];
                                $total_num_target_result = $this->query("select count(*) as total from `{$table}`",$this->target_connect);
                                $target_total_row = mysql_fetch_array($total_num_target_result,MYSQL_ASSOC);
                                if($target_total_row['total']){
                                        $max_target_result = $this->query("select max({$pkeyname}) as target_maxid from `{$table}`",$this->target_connect);
                                        $target_max_row = mysql_fetch_array($max_target_result,MYSQL_ASSOC);
                                        $target_maxid = $target_max_row['target_maxid'];
                                }else{
                                        $target_maxid = 0;
                                }
                                if(($source_maxid != $target_maxid) || ($source_total_row['total'] != $target_total_row['total'])){
                                        echo "table=>{$table} ,source_total=>{$source_total_row['total']} , source_maxid=>{$source_maxid} |target_total=>{$target_total_row['total']}  ,target_maxid=>{$target_maxid}";
                                        echo "\n";
                                        if((($target_maxid < $source_maxid) && (abs($source_maxid-$target_maxid)>$this->mig_num)) || (abs($source_total_row['total']-$target_total_row['total'])>$this->mig_num)){
                                                $start = 0;
                                                $str_sql = "select * from `{$table}` where `{$pkeyname}`>'{$target_maxid}' limit {$start},{$this->limit}";
                                                $result = $this->query($str_sql,$this->source_connect);
                                                while(mysql_num_rows($result)){
                                                        //static $count;
                                                        $count=0;
                                                        while($row=mysql_fetch_array($result,MYSQL_ASSOC)){
                                                                //var_dump($row);
                                                                $this->insertupdate($table,$row,$this->target_connect);//insertbyarray
                                                                $count++;
                                                        }
                                                        echo $count."\n";
                                                        $start += $this->limit;
                                                        mysql_free_result($result);
                                                        $str_sql = "select * from `{$table}` where `{$pkeyname}`>'{$target_maxid}' limit {$start},{$this->limit}";
                                                        echo $str_sql."\n";
                                                        sleep(2);
                                                        $result = $this->query($str_sql,$this->source_connect);
                                                }
                                                echo $table." php脚本同步成功!\n";
                                               //exit('测试完毕');
                                        }else{
                                                echo $table." 基本正常!\n";
                                        }
                                }else{
                                        echo $table." 正常!\n";
                                }
                        }
                        }
                }

}

$source = array('host'=>'127.0.0.1','user'=>'dab','password'=>'phpdba','charset'=>'utf8','database'=>'chen-123');
$target = array('host'=>'192.168.0.103:3308','user'=>'dba','password'=>'phpdba','charset'=>'utf8','database'=>'chen-123');
$data_mig = new data_migration($source,$target);
$data_mig->database_rsync($source,$target);
$data_mig->close_connect($data_mig->source_connect);
$data_mig->close_connect($data_mig->target_connect);
echo "所有数据导入完成!"."\n";
11/15/13

静态资源站用nginx替换apache提供服务

需求:静态资源站点迁移,nginx实现当前服务器不存在访问的资源时,回源服务器提取并保存到当前服务器,并去掉apache环节,直接用nginx提供服务。

源站 apache:

RewriteRule ^/x_avatar/v[0-9]+/(.*)$ /x_avatar/$1 [L]

当前服务器 nginx:

location ^~ /x_avatar/v([0-9]+)/(.*)$ {
set $x_avatar_file $2;
rewrite ^/x_avatar/v([0-9]+)/(.*)$ /x_avatar/$2 break;
#root /opt/www/html/phpdba/;

proxy_temp_path /opt/www/html/phpdba/;
expires 3h;
proxy_store on;
proxy_store_access user:rw group:rw all:rw;
proxy_set_header Accept-Encoding ”;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_hide_header X-Powered-By;
proxy_cache_valid 200 302 1h;
proxy_cache_valid 301 1d;
if ( !-e $document_root/x_avatar/$x_avatar_file) {
proxy_pass  http://xxx.xxx.xxx.xxx:xx;
}
}

location /   {
root /opt/www/html/phpdba/;
proxy_temp_path /opt/www/html/phpdba/;
expires 3h;
proxy_store on;
proxy_store_access user:rw group:rw all:rw;
proxy_set_header Accept-Encoding ”;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_hide_header X-Powered-By;
proxy_cache_valid 200 302 1h;
proxy_cache_valid 301 1d;
if ( !-e $request_filename) {
proxy_pass  http://xxx.xxx.xxx.xxx:xx ;
}
}

11/12/13

redis-proxy 之 twemproxy 配置项说明

twemproxy配置项说明

redis_22122: #代理实例名称   
  listen: 192.168.0.113:22122 #使用哪个端口启动Twemproxy  
  redis: true #是否是Redis的proxy  
  hash: fnv1a_64 #指定具体的hash函数  
  distribution: ketama #具体的hash算法  
  auto_eject_hosts: true #是否在结点无法响应的时候临时摘除结点  
  timeout: 400 #超时时间(毫秒)  
  server_retry_timeout: 2000 #重试的时间(毫秒)  
  server_failure_limit: 1 #结点故障多少次就算摘除掉  
  servers: #下面表示所有的Redis节点(IP:端口号:权重)  
   - 192.168.0.113:6380:1  
   - 192.168.0.253:6381:1  
   - 192.168.0.222:6382:1