自从扑满城建城以来，不断有各大搜索引擎的机器人前来抓取网页。说起来，这些机器人真是有辱“机器人”这个响亮的名字，它们是出奇的笨。具体说来，就是反复索引一些并不存在的网页。如果我的服务器有2G内存，我也懒得管它们。可惜我没有。

于是我在robots.txt里面订下一些规定，大部分机器人后来都比较自觉地遵守了。有少数顽固主义者，比如搜狗和Cuil（这词发音居然是Cool?!），依然孜孜不倦地继续做着笨事。不过我在robots.txt里让它们俩fuck off之后，它们也没有再来了。

一切都平静而有序。

直到今天。

从早上5点起，到10点我发现异常为止。奇虎(qihoo.net)的机器人都在疯狂地连续抓取我们的网页。在这段时间里，给它消耗的Total page generation time达到2小时8分钟！这是什么概念？对比来说，假设你访问扑满城首页50次，Total page generation time大约也就是40来秒。结果服务器的资源比大量耗费掉，比如我看到下面的提示时着实吓了一跳（因为刚升级完OS，心里总有点不踏实）：

Your swap IO usage over the last 4 hours is high: 793.696 reads/s, 260.2933 writes/s.（平常的值基本都小于0.1）

做了两件事

系统kernel升级 （重启后丢失了公网ip，经服务商的技术支持帮助后解决，不过对方也不知道为什么会这样）
系统OS升级 （iptables和php都无法启动，debug了一轮之后解决了大部分，但还是有2条rules无法添加，迟些再研究吧……）

以后不再选择周五傍晚来搞这个，咳。

http://www.youtube.com/watch?v=yMJjF4LHOkY&feature=fvst

Empire of the Sun - Walking On A Dream

这首歌今晚刚拿了ARIA的single of the year，他们的专辑则是album of the year。