爬虫性能：NodeJs VS Python
admin
2023-07-31 00:46:59
0次

早就听说Nodejs的异步策略是多么的好，I/O是多么的牛逼……反正就是各种好。今天我就准备给nodejs和python来做个比较。能体现异步策略和I/O优势的项目，我觉得莫过于爬虫了。那么就以一个爬虫项目来一较高下吧。

爬虫项目

众筹网-众筹中项目 http://www.zhongchou.com/brow…，我们就以这个网站为例，我们爬取它所有目前正在众筹中的项目，获得每一个项目详情页的URL，存入txt文件中。

实战比较

python原始版

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647 # -*- coding:utf-8 -*-\’\’\’Created on 20160827@author: qiukang\’\’\’import requests,timefrom BeautifulSoup import BeautifulSoup    # HTML #请求头headers = {   \’Accept\’:\’text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8\’,   \’Accept-Encoding\’:\’gzip, deflate, sdch\’,   \’Accept-Language\’:\’zh-CN,zh;q=0.8\’,   \’Connection\’:\’keep-alive\’,   \’Host\’:\’www.zhongchou.com\’,   \’Upgrade-Insecure-Requests\’:1,   \’User-Agent\’:\’Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2593.0 Safari/537.36\’} # 获得项目url列表def getItems(allpage):    no = 0    items = open(\’pystandard.txt\’,\’a\’)    for page in range(allpage):        if page==0:            url = \’http://www.zhongchou.com/browse/di\’        else:            url = \’http://www.zhongchou.com/browse/di-p\’+str(page+1)        # print url #①        r1 = requests.get(url,headers=headers)        html = r1.text.encode(\’utf8\’)        soup = BeautifulSoup(html);        lists = soup.findAll(attrs={\”class\”:\”ssCardItem\”})        for i in range(len(lists)):            href = lists[i].a[\’href\’]            items.write(href+\”n\”)            no +=1    items.close()    return no    if __name__ == \’__main__\’:    start = time.clock()    allpage = 30    no = getItems(allpage)    end = time.clock()    print(\’it takes %s Seconds to get %s items \’%(end–start,no)) 

实验5次的结果：

123456 it takes 48.1727159614 Seconds to get 720 items it takes 45.3397999415 Seconds to get 720 items   it takes 44.4811429862 Seconds to get 720 items it takes 44.4619293082 Seconds to get 720 items it takes 46.669706593 Seconds to get 720 items  

python多线程版

123456789101112um\” data-line=\”crayon-5812b0c9f3ee5422157416-8\”>89101112owse/di\”>http://www.zhongchou.com/brow…，我们就以这个网站为例，我们爬取它所有目前正在众筹中的项目，获得每一个项目详情页的URL，存入txt文件中。

实战比较

python原始版

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647 # -*- coding:utf-8 -*-\’\’\’Created on 20160827@author: qiukang\’\’\’import requests,timefrom BeautifulSoup import BeautifulSoup    # HTML #请求头headers = {   \’Accept\’:\’text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8\’,   \’Accept-Encoding\’:\’gzip, deflate, sdch\’,   \’Accept-Language\’:\’zh-CN,zh;q=0.8\’,   \’Connection\’:\’keep-alive\’,   \’Host\’:\’www.zhongchou.com\’,   \’Upgrade-Insecure-Requests\’:1,   \’User-Agent\’:\’Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2593.0 Safari/537.36\’} # 获得项目url列表def getItems(allpage):    no = 0    items = open(\’pystandard.txt\’,\’a\’)    for page in range(allpage):        if page==0:            url = \’http://www.zhongchou.com/browse/di\’        else:            url = \’http://www.zhongchou.com/browse/di-p\’+str(page+1)        # print url #①        r1 = requests.get(url,headers=headers)        html = r1.text.encode(\’utf8\’)        soup = BeautifulSoup(html);        lists = soup.findAll(attrs={\”class\”:\”ssCardItem\”})        for i in range(len(lists)):            href = lists[i].a[\’href\’]            items.write(href+\”n\”)            no +=1    items.close()    return no    if __name__ == \’__main__\’:    start = time.clock()    allpage = 30    no = getItems(allpage)    end = time.clock()    print(\’it takes %s Seconds to get %s items \’%(end–start,no)) 

实验5次的结果：

123456 it takes 48.1727159614 Seconds to get 720 items it takes 45.3397999415 Seconds to get 720 items   it takes 44.4811429862 Seconds to get 720 items it takes 44.4619293082 Seconds to get 720 items it takes 46.669706593 Seconds to get 720 items  

python多线程版

1234567891011

上一篇：pyspider 爬虫教程（1）：HTML 和 CSS 选择器

下一篇：Python元类再谈

相关内容

热门资讯

Mobi、epub格式电子书如... 在wps里全局设置里有一个文件关联，打开，勾选电子书文件选项就可以了。
500 行 Python 代码... 语法分析器描述了一个句子的语法结构，用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义，以我们...
定时清理删除C:\Progra... C:\Program Files (x86)下面很多scoped_dir开头的文件夹 写个批处理 定...
scoped_dir32_70... 一台虚拟机C盘总是莫名奇妙的空间用完，导致很多软件没法再运行。经过仔细检查发现是C:\Program...
65536是2的几次方 计算2... 65536是2的16次方：65536=2⁶ 65536是256的2次方：65536=256 6553...
小程序支付时提示：appid和... [Q]小程序支付时提示：appid和mch_id不匹配 [A]小程序和微信支付没有进行关联，访问“小...
pycparser 是一个用... `pycparser` 是一个用 Python 编写的 C 语言解析器。它可以用来解析 C 代码并构...
微信小程序使用slider实现... 众所周知哈，微信小程序里面的音频播放是没有进度条的，但最近有个项目呢，客户要求音频要有进度条控制，所...
Apache Doris 2.... 亲爱的社区小伙伴们，我们很高兴地向大家宣布，Apache Doris 2.0.0 版本已于...
python清除字符串里非数字... 本文实例讲述了python清除字符串里非数字字符的方法。分享给大家供大家参考。具体如下： impor...