9/12/2009
[原文: http://www.huangzhimin.com/posts/444]
自从上次网站被墙之后,不得已每个月多花2.5美刀买了个独立IP,网站是可以访问了,但是网站上的爬虫却无法爬取中国网站的网页。郁闷~~~
于是在google app engine上面申请了个app,做代理。发现想直接用Servlet来做代理服务器好像不太可行,只能退而求其次,通过分析QUERY_STRING来转发目标网页的内容。网站上的爬虫终于复活啦,不错。
GAE上面可以申请10个免费应用,还是值得多尝试尝试的。
9/1/2009
[原文: http://www.huangzhimin.com/posts/443]
大概是昨天下午吧,网站被墙了。一开始还不知道原因,只是总上不了自己的网站,和hostmonster的客服一说,直接告诉我被墙了,建议我买dedicated ip,试了很久都没用,无奈之下只能花近50美金买20个月的dedicated ip,好不容易网站有点流量了,居然出这种事,只能从头开始了。上twitter抱怨了一把。