Python小记：selenium+PhantomJS爬虫解决页面js添加cookie
爬到了一个无比纠结的网站，爬虫遇到了阻碍，从页面直接浏览的时候几乎感觉不出来什么，但是直接使用爬虫访问该网站会出现如下问题：
[scrapy] DEBUG: Crawled (521)
最开始是以为爬虫被识别出来所以被阻拦了，但是header各种伪装都试过了，但是依旧被拦截，各种苦恼之后，无意中刷新页面卡了一下，才从chrom中间看到使用浏览器正常访问也会出现一个521的错误。。。对，一般的爬虫框架或者是使用urllib都会在遇到5开头的错误状态后抛出错误，但是不会返回报文体或者执行后续的callback，于是爬虫就这样终止了。
首先得让爬虫处理错误，如果使用scrapy就在settings里面加入一行如下代码,将521错误添加到允许执行的编码内
HTTPERROR_ALLOWED_CODES= [521]这样爬虫不会忽略521错误的返回，而是继续调用回调函数。对于使用urllib2的情况可以使用try：exceptHTTPError,e：来接受返回的错误报文。
通过以上方法忽略错误的之后可以得到返回的报文体，是一段如下的惊人js：
var dc = \"\";
var t_d = {
hello: \"world\", t_c: function (x) {
if (x === \"\")return;
if (x.slice(-1) === \";\") {
x = x + \" \";
}
;
if (x.slice(-2) !== \"; \") {
x = x + \"; \";
}
;
dc = dc + x;
}
};
(function (a) {
eval(function (p, a, c, k, e, d) {
e = function (c) {
return (c < a ? \"\" : e(parseInt(c / a))) + ((c = c % a) > 35 ? String.fromCharCode(c + 29) : c.toString(36))
};
if (!\'\'.replace(/^/, String)) {
while (c--)d[e(c)] = k[c] || e(c);
k = [function (e) {
return d[e]
}];
e = function () {
return \'\\\\w+\'
};
c = 1;
}
;
while (c--)if (k[c])p = p.replace(new RegExp(\'\\\\b\' + e(c) + \'\\\\b\', \'g\'), k[c]);
return p;
}(\'b d=[3,5,4,6,0,2,1];b o=[];b p=0;g(b i=d.c;i--;){o[d[i]]=a[i]}o=o.m(\\\'\\\');g(b i=0;i个人对js还是比较熟悉的，研究了一下，这段代码的作用就是生成一个cookie存到浏览器中，并且刷新浏览器，但是在执行中部分代码是通过eval来执行字符串中打乱的动态js，这样就基本断绝了我想用Python来模拟这段js的想法，因为我没有办法分析动态生成的js生成Python。
这种情况只能用本地的js引擎来解析代码得到cookies了，现在比较多的大概是寄予v8的Pyv8个人比较喜欢但是无奈配置环境太坑还需研究，就选择了selenium+PhantomJS，环境配置见上一篇文章。
具体使用的时候上来就踩了一个坑，我原来的想法是是用phantomjs来模拟浏览器访问首页得到cookie然后再传递给爬虫来进行访问，但是失败了，可能服务器端对端口号做了记录，毕竟这是两个不同的程序。于是采用了第二种方法，获取js后修改部分写入文件通过shell调用phantomjs执行输出cookie，Python接收返回的cookie后再进行访问，试验后成功，关键代码如下：
def getSession(self, response):
f = open(\'getcookie.js\', \"w+\")
# 重构js
js = response.body
js = str(js).replace(\"\", \'\')
js = js.replace(\"document.cookie=dc\", \'console.log(dc);phantom.exit()\')
f.write(js)
f.close()
# 获取js执行得到的cookie
status, output = commands.getstatusoutput(\'phantomjs getcookie.js\')
# 重构cookie格式化
cookielist = output.split(\"; \")
cookie = {}
for sel in cookielist:
Sel = sel.split(\"=\")
if len(Sel) > 1:
cookie.setdefault(Sel[0], Sel[1])
while self.num < self.max_num:
self.num += 1
yield Request(\"http://zhixing.court.gov.cn/search/detail?id=\" + str(self.num)
, headers=self.headers
, cookies=cookie)