爬到了一个无比纠结的网站，爬虫遇到了阻碍，从页面直接浏览的时候几乎感觉不出来什么，但是直接使用爬虫访问该网站会出现如下问题：

[scrapy] DEBUG: Crawled (521)

最开始是以为爬虫被识别出来所以被阻拦了，但是header各种伪装都试过了，但是依旧被拦截，各种苦恼之后，无意中刷新页面卡了一下，才从chrom中间看到使用浏览器正常访问也会出现一个521的错误。。。对，一般的爬虫框架或者是使用urllib都会在遇到5开头的错误状态后抛出错误，但是不会返回报文体或者执行后续的callback，于是爬虫就这样终止了。

首先得让爬虫处理错误，如果使用scrapy就在settings里面加入一行如下代码,将521错误添加到允许执行的编码内

HTTPERROR_ALLOWED_CODES= [521]

这样爬虫不会忽略521错误的返回，而是继续调用回调函数。对于使用urllib2的情况可以使用try：exceptHTTPError,e：来接受返回的错误报文。

通过以上方法忽略错误的之后可以得到返回的报文体，是一段如下的惊人js：

var dc = \"\";
var t_d = {
    hello: \"world\", t_c: function (x) {
        if (x === \"\")return;
        if (x.slice(-1) === \";\") {
            x = x + \" \";
        }
        ;
        if (x.slice(-2) !== \"; \") {
            x = x + \"; \";
        }
        ;
        dc = dc + x;
    }
};
(function (a) {
    eval(function (p, a, c, k, e, d) {
        e = function (c) {
            return (c < a ? \"\" : e(parseInt(c / a))) + ((c = c % a) > 35 ? String.fromCharCode(c + 29) : c.toString(36))
        };
        if (!\'\'.replace(/^/, String)) {
            while (c--)d[e(c)] = k[c] || e(c);
            k = [function (e) {
                return d[e]
            }];
            e = function () {
                return \'\\\\w+\'
            };
            c = 1;
        }
        ;
        while (c--)if (k[c])p = p.replace(new RegExp(\'\\\\b\' + e(c) + \'\\\\b\', \'g\'), k[c]);
        return p;
    }(\'b d=[3,5,4,6,0,2,1];b o=[];b p=0;g(b i=d.c;i--;){o[d[i]]=a[i]}o=o.m(\\\'\\\');g(b i=0;i

个人对js还是比较熟悉的，研究了一下，这段代码的作用就是生成一个cookie存到浏览器中，并且刷新浏览器，但是在执行中部分代码是通过eval来执行字符串中打乱的动态js，这样就基本断绝了我想用Python来模拟这段js的想法，因为我没有办法分析动态生成的js生成Python。

这种情况只能用本地的js引擎来解析代码得到cookies了，现在比较多的大概是寄予v8的Pyv8个人比较喜欢但是无奈配置环境太坑还需研究，就选择了selenium+PhantomJS，环境配置见上一篇文章。

具体使用的时候上来就踩了一个坑，我原来的想法是是用phantomjs来模拟浏览器访问首页得到cookie然后再传递给爬虫来进行访问，但是失败了，可能服务器端对端口号做了记录，毕竟这是两个不同的程序。于是采用了第二种方法，获取js后修改部分写入文件通过shell调用phantomjs执行输出cookie，Python接收返回的cookie后再进行访问，试验后成功，关键代码如下：

def getSession(self, response):
        f = open(\'getcookie.js\', \"w+\")
        # 重构js
        js = response.body
        js = str(js).replace(\"\", \'\')
        js = js.replace(\"document.cookie=dc\", \'console.log(dc);phantom.exit()\')
        f.write(js)
        f.close()
        # 获取js执行得到的cookie
        status, output = commands.getstatusoutput(\'phantomjs getcookie.js\')

        # 重构cookie格式化
        cookielist = output.split(\"; \")
        cookie = {}
        for sel in cookielist:
            Sel = sel.split(\"=\")
            if len(Sel) > 1:
                cookie.setdefault(Sel[0], Sel[1])

        while self.num < self.max_num:
            self.num += 1
            yield Request(\"http://zhixing.court.gov.cn/search/detail?id=\" + str(self.num)
                          , headers=self.headers
                          , cookies=cookie)