Python使用Beautiful Soup包编写爬虫时的一些关键点
admin
2023-07-31 02:33:52
0

1.善于利用soup节点的parent属性

比如对于已经得到了如下html代码:




  
  

的soup变量eachMonthHeader了。

想要提取其中的

Month的label的值:November

和Year的label的值:2012

最简单,也是最省事的办法是,直接搜两个label,然后肯定会找到这两个label,然后分别对应着Month和Year的label,然后获得对应的string即可:

foundTwoLabel = eachMonthHeader.findAll(\"label\");
print \"foundTwoLabel=\",foundTwoLabel;
monthLabel = foundTwoLabel[0];
yearLabel = foundTwoLabel[1];
 
monthStr = monthLabel.string;
yearStr = yearLabel.string;
 
print \"monthStr=\",monthStr; # monthStr= November
print \"yearStr=\",yearStr; # yearStr= 2012

但是很明显,这样的逻辑性很不好,而且万一处理多个这样的soup变量,而且两者的顺便颠倒了,那么结果也就错误了。

此时,可以考虑利用soup变量的parent属性,从一个soup变量本身,获得其上一级的soup变量。
示例代码如下:

# 
# 
# 
  # 
  # 
# 
foundCboMonth = eachMonthHeader.find(\"input\", {\"id\":re.compile(\"cboMonth\\d+\")});
#print \"foundCboMonth=\",foundCboMonth;
tdMonth = foundCboMonth.parent;
#print \"tdMonth=\",tdMonth;
tdMonthLabel = tdMonth.label;
#print \"tdMonthLabel=\",tdMonthLabel;
monthStr = tdMonthLabel.string;
print \"monthStr=\",monthStr;
 
foundCboYear = eachMonthHeader.find(\"input\", {\"id\":re.compile(\"cboYear\\d+\")});
#print \"foundCboYear=\",foundCboYear;
tdYear = foundCboYear.parent;
#print \"tdYear=\",tdYear;
tdYearLabel = tdYear.label;
#print \"tdYearLabel=\",tdYearLabel;
yearStr = tdYearLabel.string;
print \"yearStr=\",yearStr;

我们再来看一个例子:

from BeautifulSoup import BeautifulSoup 
doc = [\'Page title\',
    \'

This is paragraph one.\', \'

This is paragraph two.\', \'\'] soup = BeautifulSoup(\'\'.join(doc)) print soup.prettify() # # # # Page title # # # #

# This is paragraph # # one # # . #

#

# This is paragraph # # two # # . #

# #

这个例子中, Tag的parent是 Tag. Tag 的parent是BeautifulSoup 剖析对象自己。 剖析对象的parent是None. 利用parent,你可以向前遍历剖析树。

soup.head.parent.name
# u\'html\'
soup.head.parent.parent.__class__.__name__
# \'BeautifulSoup\'
soup.parent == None
# True

2.当解析非UTF-8或ASCII编码类型的HTML时,需要指定对应的字符编码

当html为ASCII或UTF-8编码时,可以不指定html字符编码,便可正确解析html为对应的soup:

#这里respHtml是ASCII或UTF-8编码,此时可以不指定编码类型,即可正确解析出对应的soup
soup = BeautifulSoup(respHtml);

当html为其他类型编码,比如GB2312的话,则需要指定相应的字符编码,BeautifulSoup才能正确解析出对应的soup:

比如:

#此处respHtml是GB2312编码的,所以要指定该编码类型,BeautifulSoup才能解析出对应的soup
htmlCharset = \"GB2312\";
soup = BeautifulSoup(respHtml, fromEncoding=htmlCharset);

相关内容

热门资讯

Mobi、epub格式电子书如... 在wps里全局设置里有一个文件关联,打开,勾选电子书文件选项就可以了。
定时清理删除C:\Progra... C:\Program Files (x86)下面很多scoped_dir开头的文件夹 写个批处理 定...
scoped_dir32_70... 一台虚拟机C盘总是莫名奇妙的空间用完,导致很多软件没法再运行。经过仔细检查发现是C:\Program...
小程序支付时提示:appid和... [Q]小程序支付时提示:appid和mch_id不匹配 [A]小程序和微信支付没有进行关联,访问“小...
500 行 Python 代码... 语法分析器描述了一个句子的语法结构,用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义,以我们...
pycparser 是一个用... `pycparser` 是一个用 Python 编写的 C 语言解析器。它可以用来解析 C 代码并构...
微信小程序使用slider实现... 众所周知哈,微信小程序里面的音频播放是没有进度条的,但最近有个项目呢,客户要求音频要有进度条控制,所...
65536是2的几次方 计算2... 65536是2的16次方:65536=2⁶ 65536是256的2次方:65536=256 6553...
Apache Doris 2.... 亲爱的社区小伙伴们,我们很高兴地向大家宣布,Apache Doris 2.0.0 版本已于...
项目管理和工程管理的区别 项目管理 项目管理,顾名思义就是专注于开发和完成项目的管理,以实现目标并满足成功标准和项目要求。 工...