记一次python网页爬取中正则表达式的使用

昨日帮同学爬取一个网页，大概有400多页，还好爬取的内容都很固定，类似于以下这种：

(.*)

(.*)

(.*)

(.*)

(.*)

(.*)

(.*)

遍历所有页面，使用re.findall方法获取页面所有的匹配项，然后写入excel文件即可。
脚本跑完之后，发现excel的条数比网页上的少几个，怀疑某些条目不符合此正则表达式，于是修改脚本，加上调试语句，重新跑一次，进行逐页分析。

发现大部分页面都是20条，但是在61页的时候只有18条。打开浏览器直接访问第61页，发现是有20条的，而且每一条的格式完全一致，因此确认对于某些符合格式的内容原正则可能匹配不到。

找到未匹配到的条目：

1300200900007

俄罗斯联邦 

中太建设集团股份有限公司

中太建设集团（俄罗斯）股份有限公司

河北省

1、工程施工
2、国际贸易


2009-05-22

原来内容里含有换行符，而.号不能匹配到换行符，尝试修改(.*)为([\\n.]*),无果。
查阅网络，推荐的用法是([\\s\\S]*)，\\s表示任意空白符，大写的\\S表示反义匹配，即任意非空白符，组合在一起即是所有字符，([\\d\\D]*)等同理也是一样的效果。

修改正则为推荐用法，尝试替换，结果却和我们期望的不一致：整个页面只能匹配到一条！

如果是正确答案，应该是匹配到20条，完全错误的答案应该匹配不到，只能匹配到换行符内容也应该有2条，为什么会出现一条的情况呢？

我们打印出匹配内容看看便知:

(\'1300200900008\', \'\\xe6\\xb4\\xa5\\xe5\\xb7\\xb4\\xe5\\xb8\\x83\\xe9\\x9f\\xa6\', \'\\xe6\\xb2\\xb3\\xe5\\x8c\\x97\\xe4\\xb8\\xad\\xe4\\xb9\\x8b\\xe6\\xb4\\xa5\\xe7\\x9f\\xbf\\xe4\\xb8\\x9a\\xe6\\x8a\\x95\\xe8\\xb5\\x84\\xe6\\x9c\\x89\\xe9\\x99\\x90\\xe5\\x85\\xac\\xe5\\x8f\\xb8\', \'\\xe6\\xb2\\xb3\\xe5\\x8c\\x97\\xe4\\xb8\\xad\\xe4\\xb9\\x8b\\xe6\\xb4\\xa5\\xe7\\x9f\\xbf\\xe4\\xb8\\x9a\\xe6\\x8a\\x95\\xe8\\xb5\\x84\\xe6\\x9c\\x89\\xe9\\x99\\x90\\xe5\\x85\\xac\\xe5\\x8f\\xb8\\xe6\\xb4\\xa5\\xe5\\xb7\\xb4\\xe5\\xb8\\x83\\xe9\\x9f\\xa6\\xe5\\x8a\\x9e\\xe4\\xba\\x8b\\xe5\\xa4\\x84\', \'\\xe6\\xb2\\xb3\\xe5\\x8c\\x97\\xe7\\x9c\\x81\', \'\\xe5\\x8a\\x9e\\xe7\\x90\\x86\\xe5\\xae\\x9e\\xe6\\x96\\xbd\\xe5\\x85\\xac\\xe5\\x8f\\xb8\\xe4\\xb8\\x8e\\xe6\\xb4\\xa5\\xe5\\xb7\\xb4\\xe5\\xb8\\x83\\xe9\\x9f\\xa6Gothward Trading PVT LTD\\xe5\\x90\\x88\\xe4\\xbd\\x9c\\xe5\\xbc\\x80\\xe7\\x9f\\xbf\\xe7\\x9a\\x84\\xe5\\x85\\xb7\\xe4\\xbd\\x93\\xe4\\xba\\x8b\\xe9\\xa1\\xb9\\xef\\xbc\\x8c\\xe5\\x81\\x9a\\xe5\\xa5\\xbd\\xe5\\x9c\\xa8\\xe6\\xb4\\xa5\\xe5\\xb7\\xb4\\xe5\\xb8\\x83\\xe9\\x9f\\xa6\\xe5\\x85\\xb3\\xe8\\xbe\\xbe\\xe7\\x9f\\xbf\\xe5\\x8c\\xba\\xe9\\x87\\x91\\xe7\\x9f\\xbf\\xe5\\x8b\\x98\\xe6\\x8e\\xa2\\xe3\\x80\\x81\\xe5\\xbc\\x80\\xe9\\x87\\x87\\xe7\\x9a\\x84\\xe5\\x89\\x8d\\xe6\\x9c\\x9f\\xe5\\x87\\x86\\xe5\\xa4\\x87\\xe5\\xb7\\xa5\\xe4\\xbd\\x9c\\xe3\\x80\\x82