缘起

一位firefox抓取速度慢，想加速，发现通过无界面的浏览器取抓取就可以快很多，因为不用进行浏览器页面渲染，这个可是非常耗费时间的。这个理由够了把。

安装ghostdriver

因为ghostdriver已经和phantomjs合二为一了，所以直接安装phantomjs（phantomis就是一个基于webkit的无界面浏览器，浏览器能干的他大多能干，就是不渲染出最后的网页）
直接下载phantomjs就好，由于各个平台的安装模式差异较大，就不多介绍了，百度一把就好。
linux or mac 备忘一句

#mac拥护请在地址下载，否则出错kill:9
#https://github.com/eugene1g/phantomjs/releases
#软链接phantomjs
ln -s /where/dir/phantomjs  /usr/local/bin/phantomjs

python 测试

#coding=utf-8
from selenium import webdriver
import time
import os
br=webdriver.PhantomJS(\'phantomjs\')
baseurl=\"http://quote.eastmoney.com/\"
indexurl=\"stocklist.html\"
gourl=\"%s%s\"%(baseurl,indexurl)
br.get(gourl)
print br.title
time.sleep(5)
br.quit()

phantomjs 截图

#coding=utf-8
from selenium import webdriver
import time
import os
br=webdriver.PhantomJS(\'phantomjs\')
baseurl=\"http://quote.eastmoney.com/\"
indexurl=\"stocklist.html\"
gourl=\"%s%s\"%(baseurl,indexurl)
br.get(gourl)
br.save_screenshot(\'./股票列表.png\')
print \"完成\"
br.quit()

上一篇：Pyhton迭代器

下一篇：股票数据的网站抓取（4.3）代码优化

在selenium中使用ghostdriver抓取页面

缘起

安装ghostdriver

python 测试

phantomjs 截图

相关内容

热门资讯