Python使用urllib2模块抓取HTML页面资源的实例分享
admin
2023-08-02 15:25:34
0次

先把要抓取的网络地址列在单独的list文件中 

http://www.jb51.net/article/83440.html
http://www.jb51.net/article/83437.html
http://www.jb51.net/article/83430.html
http://www.jb51.net/article/83449.html

然后我们来看程序操作，代码如下：

#!/usr/bin/python

import os
import sys
import urllib2
import re

def Cdown_data(fileurl, fpath, dpath):
 if not os.path.exists(dpath):
  os.makedirs(dpath)
 try:
  getfile = urllib2.urlopen(fileurl) 
  data = getfile.read()
  f = open(fpath, \'w\')
  f.write(data)
  f.close()
 except:
 print 

with open(\'u1.list\') as lines:
 for line in lines:
  URI = line.strip()
  if \'?\' and \'%\' in URI:
   continue
 elif URI.count(\'/\') == 2:
   continue
  elif URI.count(\'/\') > 2:
   #print URI,URI.count(\'/\')
  try:
    dirpath = URI.rpartition(\'/\')[0].split(\'//\')[1]
    #filepath = URI.split(\'//\')[1].split(\'/\')[1]
    filepath = URI.split(\'//\')[1]
   if filepath:
     print URI,filepath,dirpath
     Cdown_data(URI, filepath, dirpath)
   except:
    print URI,\'error\'

python html urllib2

上一篇：Python使用urllib2模块抓取HTML页面资源的实例分享

下一篇：Python中字符串的格式化方法小结

相关内容

热门资讯

500 行 Python 代码... 语法分析器描述了一个句子的语法结构，用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义，以我们...
定时清理删除C:\Progra... C:\Program Files (x86)下面很多scoped_dir开头的文件夹 写个批处理 定...
65536是2的几次方 计算2... 65536是2的16次方：65536=2⁶ 65536是256的2次方：65536=256 6553...
Mobi、epub格式电子书如... 在wps里全局设置里有一个文件关联，打开，勾选电子书文件选项就可以了。
scoped_dir32_70... 一台虚拟机C盘总是莫名奇妙的空间用完，导致很多软件没法再运行。经过仔细检查发现是C:\Program...
pycparser 是一个用... `pycparser` 是一个用 Python 编写的 C 语言解析器。它可以用来解析 C 代码并构...
小程序支付时提示：appid和... [Q]小程序支付时提示：appid和mch_id不匹配 [A]小程序和微信支付没有进行关联，访问“小...
微信小程序使用slider实现... 众所周知哈，微信小程序里面的音频播放是没有进度条的，但最近有个项目呢，客户要求音频要有进度条控制，所...
python绘图库Matplo... 本文简单介绍了Python绘图库Matplotlib的安装，简介如下： matplotlib是pyt...
Prometheus+Graf... 一，Prometheus概述 1，什么是Prometheus？Prometheus是最初在Sound...