复制代码 代码如下:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from cnbeta.items import CnbetaItem
class CBSpider(CrawlSpider):
name = \’cnbeta\’
allowed_domains = [\’cnbeta.com\’]
start_urls = [\’http://www.jb51.net\’]
rules = (
Rule(SgmlLinkExtractor(allow=(\’/articles/.*\\.htm\’, )),
callback=\’parse_page\’, follow=True),
)
def parse_page(self, response):
item = CnbetaItem()
sel = Selector(response)
item[\’title\’] = sel.xpath(\’//title/text()\’).extract()
item[\’url\’] = response.url
return item
实现蜘蛛爬虫步骤
1.实例初级目标：从一个网站的列表页抓取文章列表，然后存入数据库中，数据库包括文章标题、链接、时间
首先生成一个项目:scrapy startproject fjsen
先定义下items,打开items.py:
我们开始建模的项目，我们想抓取的标题，地址和时间的网站，我们定义域为这三个属性。这样做，我们编辑items.py，发现在开放目录目录。我们的项目看起来像这样：
复制代码 代码如下:
from scrapy.item import Item, Field
class FjsenItem(Item):
# define the fields for your item here like:
# name = Field()
title=Field()
link=Field()
addtime=Field()
第二步：定义一个spider,就是爬行蜘蛛（注意在工程的spiders文件夹下），他们确定一个初步清单的网址下载，如何跟随链接，以及如何分析这些内容的页面中提取项目（我们要抓取的网站是http://www.fjsen.com/j/node_94962.htm 这列表的所有十页的链接和时间）。
新建一个fjsen_spider.py,内容如下：
复制代码 代码如下:
#-*- coding: utf-8 -*-
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from fjsen.items import FjsenItem
class FjsenSpider(BaseSpider):
name=\”fjsen\”
allowed_domains=[\”fjsen.com\”]
start_urls=[\’http://www.fjsen.com/j/node_94962_\’+str(x)+\’.htm\’ for x in range(2,11)]+[\’http://www.fjsen.com/j/node_94962.htm\’]
def parse(self,response):
hxs=HtmlXPathSelector(response)
sites=hxs.select(\’//ul/li\’)
items=[]
for site in sites:
item=FjsenItem()
item[\’title\’]=site.select(\’a/text()\’).extract()
item[\’link\’] = site.select(\’a/@href\’).extract()
item[\’addtime\’]=site.select(\’span/text()\’).extract()
items.append(item)
return items
name:是确定蜘蛛的名称。它必须是独特的，就是说，你不能设置相同的名称不同的蜘蛛。
allowed_domains：这个很明显，就是允许的域名，或者说爬虫所允许抓取的范围仅限这个列表里面的域名。
start_urls：是一个网址列表，蜘蛛会开始爬。所以，第一页将被列在这里下载。随后的网址将生成先后从数据中包含的起始网址。我这里直接是列出十个列表页。
parse()：是蜘蛛的一个方法，当每一个开始下载的url返回的Response对象都会执行该函数。
这里面，我抓取每一个列表页中的
- 下的
- 下的数据，包括title,链接，还有时间，并插入到一个列表中
第三步，将抓取到的数据存入数据库中，这里就得在pipelines.py这个文件里面修改了
复制代码 代码如下:
# Define your item pipelines here
#
# Don\’t forget to add your pipeline to the ITEM_PIPELINES setting
from os import path
from scrapy import signals
from scrapy.xlib.pydispatch import dispatcher
class FjsenPipeline(object):def __init__(self):
self.conn=None
dispatcher.connect(self.initialize,signals.engine_started)
dispatcher.connect(self.finalize,signals.engine_stopped)
def process_item(self,item,spider):
self.conn.execute(\’insert into fjsen values(?,?,?,?)\’,(None,item[\’title\’][0],\’http://www.jb51.net/\’+item[\’link\’][0],item[\’addtime\’][0]))
return item
def initialize(self):
if path.exists(self.filename):
self.conn=sqlite3.connect(self.filename)
else:
self.conn=self.create_table(self.filename)
def finalize(self):
if self.conn is not None:
self.conn.commit()
self.conn.close()
self.conn=None
def create_table(self,filename):
conn=sqlite3.connect(filename)
conn.execute(\”\”\”create table fjsen(id integer primary key autoincrement,title text,link text,addtime text)\”\”\”)
conn.commit()
return conn这里我暂时不解释，先继续，让这个蜘蛛跑起来再说。
第四步：修改setting.py这个文件：将下面这句话加进去
复制代码 代码如下:
ITEM_PIPELINES=[\’fjsen.pipelines.FjsenPipeline\’]接着，跑起来吧,执行：
复制代码 代码如下:
scrapy crawl fjsen就会在目前下生成一个data.sqlite的数据库文件，所有抓取到的数据都会存在这里。