简书

第一节已经介绍了简书网站的结构，爬取文章前对网页源码进行必要的分析，以及整个项目的步骤，这一节开始介绍如何爬取简书分类目录下的文章，如有不明白的，请务必看完前一节的介绍：

• 爬取简书全站文章并生成 API（一）

• 爬取简书全站文章并生成 API（三）

• 爬取简书全站文章并生成 API（四）

• 爬取简书全站文章并生成 API（五）

• 简书 API 测试地址 : http://222.24.63.118:8080/

• github 项目地址：https://github.com/strugglingyouth/jianshu/

爬取“新上榜”目录下的文章

说明： 所有代码都在 python2.7 环境下运行。

首先创建一个 Django 项目：

# django-admin startproject jianshu_api

# cd jianshu_api

# django-admin startapp jianshu

在 jianshu_api/settings.py 下配置数据库：

DATABASES = {
    \'default\': {
        \'ENGINE\': \'django.db.backends.mysql\',
        \'NAME\': \'jianshu\',
        \'HOST\': \'127.0.0.1\',
        \'USER\': \'root\',
        \'PASSWORD\': \'tianfeiyu\',
        \'PORT\': 3306
    }
}

开始写 models：

此 API 的设计是模仿知乎日报 API 的形式，models 分两层，第一层是概要信息，第二层是详细内容，以概要信息作为外键。

class ArticleList(models.Model):
    \"\"\"
        文章概要信息
    \"\"\"
    article_id = models.CharField(\'ID\', primary_key=True, max_length=100)
    article_title = models.CharField(\'文章标题\', max_length=100)
    article_url = models.URLField(\'文章URL\')
    article_user = models.CharField(\'作者\', max_length=100)
    article_user_url = models.URLField(\'作者URL\')
    created = models.DateTimeField(auto_now_add=True)

    class Meta:
        ordering = [\'-created\', ]

    def __unicode__(self):
        return self.article_title
    def __str__(self):
        return self.article_title    

class ArticleDetail(models.Model):
    \"\"\"
        文章详细信息
    \"\"\"
    image = models.URLField(\'图片URL\' )
    title = models.CharField(\'文章标题\', max_length=100)
    body = models.TextField(\'文章内容\', null=True)
    time = models.CharField(\'发表时间\' , max_length=100, null=True)
    views_count = models.CharField(\'阅读数\', max_length=100)
    public_comments_count = models.CharField(\'评论数\', max_length=100)
    likes_count = models.CharField(\'喜欢\', max_length=100)
    total_rewards_count = models.CharField(\'打赏\', max_length=100)
    created = models.DateTimeField(\'创建时间\', auto_now_add=True)
    article_abstract = models.ForeignKey(\'ArticleList\', verbose_name=\'文章摘要\')

    class Meta:
        ordering = [\'-created\', ]

    def __unicode__(self):
        return self.title
    def __str__(self):
        return self.title

然后进入 MySQL 中，设置使用的编码：

root@127.0.0.1 : (none) 09:41:33> set character_set_client=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_connection=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_database=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_results=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_server=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_system=utf8 ;

最后验证下是否正确：

设定 mysql 字符集

开始创建数据库：

# python manage.py makemigrations    
# python manage.py migrate

爬取“新上榜”的文章：

初始化代码：

if __name__ == \'__main__\':

    # 从 jianshu_api/settings.py 文件中导入数据库的信息
    host = DATABASES[\'default\'][\'HOST\']
    user = DATABASES[\'default\'][\'USER\']
    passwd = DATABASES[\'default\'][\'PASSWORD\']
    db = DATABASES[\'default\'][\'NAME\']
    port = DATABASES[\'default\'][\'PORT\']

    # 保存文章所用到的表
    article_list_table = \'jianshu_articlelist\' 
    article_detail_table = \'jianshu_articledetail\'

    # 使用 colorama 模块进行颜色控制，通过使用 autoreset 参数可以让变色效果只对当前输出起作用，输出完成后颜色恢复默认设置
    init(autoreset=True)
    domain_name = \'http://www.jianshu.com\'

    # “新上榜”目录的 URL
    base_url = \'http://www.jianshu.com/recommendations/notes\'

    # 初始化一个 mysql 实例    
    mysql = Mysql(host, user, passwd, db, port)

    # 解析 dom，获取文章的详细信息
    get_details(mysql, base_url, domain_name, article_list_table, article_detail_table)

爬取文章详细信息代码：

def get_details(mysql, base_url, domain_name, article_list_table, article_detail_table):
    \"\"\"
        爬取文章并获取详细信息
    \"\"\"

    # OrderedDict() 是一个有序的字典，将文章的信息保存在 dict 中
    article_list = OrderedDict()
    article_detail = OrderedDict()
    html = requests.get(base_url).content  

    # html 是网页的源码，soup 是获得一个文档的对象
    soup = BeautifulSoup(html, \'html.parser\', from_encoding=\'utf-8\')
    tags = soup.find_all(\'li\', class_=\"have-img\")
    print Fore.YELLOW + \"---------------all-------------------:\",len(tags)
    ct = 1

    # 获取文章的信息
    for tag in tags:
        image = tag.img[\'src\'].split(\'?\')[0]
        article_user = tag.p.a.get_text()

        # 将 URL 补全
        article_user_url = tag.p.a[\'href\']
        if article_user_url.startswith(\'/users/\'):
            article_user_url = domain_name + article_user_url
        created = tag.p.span[\'data-shared-at\']
        article_title = tag.h4.get_text(strip=True)
        article_title = article_title.replace(\'\"\', \'\\\\\"\')
        article_url = tag.h4.a[\'href\']
        article_id = article_url.split(\'/\')[2]
        if article_url.startswith(\'/p/\'):
            article_url = domain_name + article_url
        tag_a = tag.div.div.find_all(\'a\')
        views = tag_a[0].get_text(strip=True)

        # 提取其中的数字 
        views = filter(str.isdigit, str(views))

        comments = tag_a[1].get_text(strip=True)
        comments = filter(str.isdigit, str(comments))    
        tag_span = tag.div.div.find_all(\'span\')
        likes = tag_span[0].get_text(strip=True)
        likes = filter(str.isdigit, str(likes))

        # 阅读，评论，喜欢一定存在，打赏不一定有
        try:
            tip = tag_span[1].get_text()
            tip = filter(str.isdigit, str(tip))
        except Exception as e:
            tip = 0

获取文章的内容：

def get_body(article_url):
    \"\"\"
        获取文章内容
    \"\"\"
    # 解析文章对应的 URL
    html = requests.get(article_url).content
    soup = BeautifulSoup(html, \'html.parser\', from_encoding=\'utf-8\')
    tags = soup(\'div\', class_=\"show-content\")
    body = str(tags[0])

    # 将 body 中 \" 转换为 \\\", \' 转换为 \\\'
    body = body.replace(\'\"\',\'\\\\\"\')
    body = body.replace(\"\'\",\"\\\\\'\")
    return body

将数据保存在 mysql 中：

def insert_data(self, table, my_dict):
        try:    
            # 从 dict 中分别取出 key，value 
            cols = \',\'.join(my_dict.keys())
            values = \'\",\"\'.join(my_dict.values())
            values = \'\"\' + values + \'\"\'
            try:
                sql = \"insert into %s (%s) values(%s)\" %(table, cols, values)
                result = self.cur.execute(sql) 
                self.db.commit()
                if result:
                    return 1
                else:
                    return 0 
            except MySQLdb.Error as e:
                self.db.rollback()
                if \"key \'PRIMARY\'\" in e.args[1]:
                     print Fore.RED + self.get_current_time(), \"数据已存在，未插入数据\"
                else:
                    print Fore.RED + self.get_current_time(), \"插入数据失败，原因 %d: %s\" % (e.args[0], e.args[1])
        except MySQLdb.Error as e:
            print Fore.RED + self.get_current_time(), \"数据库错误，原因%d: %s\" % (e.args[0], e.args[1])

代码运行结果：

运行结果

上一节已经提到过，“热门”目录和“新上榜”目录下代码的结构相同，所以以上代码稍作修改完全可以爬取“热门”下的文章，但我将“热门”下爬取到的文章放在了一张表里，大家可以自行尝试。

完整代码请查看项目中的 popular_articles_jianshu.py 文件!

下一节将介绍 API 的生成。