1.准备

• 安装：pip install scrapy==1.1.0rc3
• 参考资料：官方1.0文档

2.使用Scrapy重构代码

2.1创建新项目

• 使用cmd进入待建项目的文件夹中，输入：

  scrapy startproject 项目名

  项目就建好了，项目结构图如下：
  

• spiders文件夹是存放各种爬虫的文件夹
  items是存储爬取对象的属性定义的文件
  settings是Scrapy设置的文件

2.2 定义要爬取的对象的属性

• 在items.py中添加：

  class BookName(Item):
    name=Field()
    url=Field()
  class BookContent(Item):
    id=Field()
    title=Field()
    text=Field()

2.3 定义爬虫

• 在Spider文件夹内添加文件book.py。并书写代码如下：

  class BookSpider(CrawlSpider):
    name=\"book\"#爬虫名字
    allowed_domains=[\"shicimingju.com\"]#允许的域名
    start_urls=[#开始爬取的网站
        \"http://www.shicimingju.com/book/sanguoyanyi.html\"
    ]

• 我直接是使用的CrawlSpider，一个更加方便定义爬取连接规则的类型。
  allow对应爬取的网站，使用了正则，callback对应对于该网站使用的方法。

  rules=(
        Rule(LinkExtractor(allow=(\'http://www.shicimingju.com/book/sanguoyanyi.html\',)),callback=\'bookMenu_item\'),
        Rule(LinkExtractor(allow=\"http://www.shicimingju.com/book/.*?\\d*?\\.html\"),callback=\"bookContent_item\")
    )

• 读取书的名字

    def bookMenu_item(self,response):
        sel=Selector(response)
        bookName_items=[]
        bookName_item=BookName()
        bookName_item[\'name\']=sel.xpath(\'//*[@id=\"bookinfo\"]/h1/text()\').extract()
        print(bookName_item)
        bookName_items.append(bookName_item)
        return bookName_items

• 读取每章内容并保存id顺序，因为Scrapy是异步的，所以需要保存章节顺序。

  def bookContent_item(self,response):
        global num
        print(num)
        num+=1
        sel = Selector(response)
        bookContent_items = []
        bookContent_item = BookContent()
        bookContent_item[\'id\']=re.findall(\'.*?(\\d+).*?\',response.url)
        bookContent_item[\'title\']=sel.xpath(\'//*[@id=\"con\"]/h2/text()\').extract()
        bookContent_item[\'text\']=\"\".join(sel.xpath(\'//*[@id=\"con2\"]/p/descendant::text()\').extract())
        bookContent_item[\'text\']=re.sub(\'\\xa0\',\' \',bookContent_item.get(\'text\'))
        print(bookContent_item)
        bookContent_items.append(bookContent_item)
        return bookContent_items

2.4 执行爬虫

• 普通的执行方法，在cmd中输入：

  scrapy crawl book

• 在pycharm中的执行方法 stackoverflow

3.总结

• 可能会出现的问题：
  1. ImportError : cannot import name \’_win32stdio\’ 解决方法
  2. python3 使用scrapy的crawlspider问题 解决方法：查看最新的官方文档。
  3. xpath: 所有\”< p >\”标签下的内容:xpath(\’//p/descendant::text()\’)
     只需要< p >或者< strong >下内容:xpath(\’//p/text()|//p/strong/text()\’)
     xpath也是个大坑，改天把它填了。