Python实现的批量下载RFC文档
admin
2023-07-31 02:17:19
0

RFC文档有很多,有时候在没有联网的情况下也想翻阅,只能下载一份留存本地了。
看了看地址列表,大概是这个范围:
http://www.networksorcery.com/enp/rfc/rfc1000.txt

http://www.networksorcery.com/enp/rfc/rfc6409.txt

哈哈,很适合批量下载,第一个想到的就是迅雷……
可用的时候发现它只支持三位数的扩展(用的是迅雷7),我想要下的刚好是四位数……
郁闷之下萌生自己做一个的想法!
这东西很适合用python做,原理很简单,代码也很少,先读为快。
代码如下:

复制代码 代码如下:
#! /usr/bin/python
\’\’\’
  File      : getRFC.py
  Author    : Mike
  E-Mail    : Mike_Zhang@live.com
\’\’\’
import urllib,os,shutil,time

def downloadHtmlPage(url,tmpf = \’\’):
    i = url.rfind(\’/\’)
    fileName = url[i+1:]
    if tmpf : fileName = tmpf
    print url,\”->\”,fileName
    urllib.urlretrieve(url,fileName)
    print \’Downloaded \’,fileName   
    time.sleep(0.2)
    return fileName
   
# http://www.networksorcery.com/enp/rfc/rfc1000.txt
# http://www.networksorcery.com/enp/rfc/rfc6409.txt
if __name__ == \’__main__\’:
    addr = \’http://www.networksorcery.com/enp/rfc\’   
    dirPath = \”RFC\”
    #startIndex = 1000
    startIndex = int(raw_input(\’start : \’))
    #endIndex = 6409
    endIndex = int(raw_input(\’end : \’))
    if startIndex > endIndex :
        print \’Input error!\’       
    if False == os.path.exists(dirPath):
        os.makedirs(dirPath)   
    fileDownloadList = []
    logFile = open(\”log.txt\”,\”w\”)
    for i in range(startIndex,endIndex+1):
        try:           
            t_url = \’%s/rfc%d.txt\’ % (addr,i)
            fileName = downloadHtmlPage(t_url)
            oldName = \’./\’+fileName
            newName = \’./\’+dirPath+\’/\’+fileName
            if True == os.path.exists(oldName):
                shutil.move(oldName,newName)
                print \’Moved \’,oldName,\’ to \’,newName
        except:
            msgLog = \’get %s failed!\’ % (i)
            print msgLog
            logFile.write(msgLog+\’\\n\’)
            continue
    logFile.close()

除了RFC文档,这个程序稍加修改也可以做其它事情:比如批量下载MP3、电子书等等。

好,就这些了,希望对你有帮助。

相关内容

热门资讯

500 行 Python 代码... 语法分析器描述了一个句子的语法结构,用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义,以我们...
定时清理删除C:\Progra... C:\Program Files (x86)下面很多scoped_dir开头的文件夹 写个批处理 定...
Mobi、epub格式电子书如... 在wps里全局设置里有一个文件关联,打开,勾选电子书文件选项就可以了。
65536是2的几次方 计算2... 65536是2的16次方:65536=2⁶ 65536是256的2次方:65536=256 6553...
scoped_dir32_70... 一台虚拟机C盘总是莫名奇妙的空间用完,导致很多软件没法再运行。经过仔细检查发现是C:\Program...
小程序支付时提示:appid和... [Q]小程序支付时提示:appid和mch_id不匹配 [A]小程序和微信支付没有进行关联,访问“小...
pycparser 是一个用... `pycparser` 是一个用 Python 编写的 C 语言解析器。它可以用来解析 C 代码并构...
微信小程序使用slider实现... 众所周知哈,微信小程序里面的音频播放是没有进度条的,但最近有个项目呢,客户要求音频要有进度条控制,所...
python查找阿姆斯特朗数 题目解释 如果一个n位正整数等于其各位数字的n次方之和,则称该数为阿姆斯特朗数。 例如1^3 + 5...
Apache Doris 2.... 亲爱的社区小伙伴们,我们很高兴地向大家宣布,Apache Doris 2.0.0 版本已于...