Python: 封装版本爬取虎扑篮球图片
admin
2023-07-30 21:38:45
0

本文是上一篇的续后期将进行封装,以提高可用性。

虎扑在展示图片的时候偷懒了,直接给出了原图链接,直接获取这个链接,下载到本地即可。

这里使用PhantomJS来打开浏览器。

使用urllib2下载图片

# download one picture by urllib2
def downloadPicture(pic_url, pic_path):
    f = urllib2.urlopen(pic_url)
    with open(pic_path, \"wb\") as img_file:
        img_file.write(f.read())

逐个获取每个图片

def getPictures(elem_url, nums, path):
    try:
        count = 1
        t = elem_url.find(r\'.html\')
        while (count <= nums):
            html_url = elem_url[:t-2] + \'-\' + str(count) + \'.html\'
            # Set proxy
            proxy_support = urllib2.ProxyHandler({\"http\": \"http://yout_proxy:8080/\"})
            opener = urllib2.build_opener(proxy_support)
            urllib2.install_opener(opener)
            driver.get(html_url)
            elem = driver.find_element_by_xpath(\"//div[@class=\'pic_bg\']/div/img\")
            url = elem.get_attribute(\"src\")
            file_name = os.path.basename(url).replace(\'*\',\'\')
            fname = path + \"\\\\\" + file_name
            downloadPicture(url, fname)
            count += 1
    except Exception, e:
        print \"Error: \", e
    finally:
        print \"Download \" + str(count-1) + \' pictures\\n\'

主程序

if __name__ == \"__main__\":
    elem_url = \"http://photo.hupu.com/nba/p29556-1.html\"
    nums = 15
    # Create folder for store picture
    sub_folder = os.path.join(os.getcwd(), \"hupupic\")
    if not os.path.exists(sub_folder):
        os.mkdir(sub_folder)
    # os.chdir(sub_folder)
    pic_path = sub_folder
    getPictures(elem_url, nums, pic_path)

相关内容

热门资讯

500 行 Python 代码... 语法分析器描述了一个句子的语法结构,用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义,以我们...
Mobi、epub格式电子书如... 在wps里全局设置里有一个文件关联,打开,勾选电子书文件选项就可以了。
定时清理删除C:\Progra... C:\Program Files (x86)下面很多scoped_dir开头的文件夹 写个批处理 定...
65536是2的几次方 计算2... 65536是2的16次方:65536=2⁶ 65536是256的2次方:65536=256 6553...
scoped_dir32_70... 一台虚拟机C盘总是莫名奇妙的空间用完,导致很多软件没法再运行。经过仔细检查发现是C:\Program...
小程序支付时提示:appid和... [Q]小程序支付时提示:appid和mch_id不匹配 [A]小程序和微信支付没有进行关联,访问“小...
pycparser 是一个用... `pycparser` 是一个用 Python 编写的 C 语言解析器。它可以用来解析 C 代码并构...
微信小程序使用slider实现... 众所周知哈,微信小程序里面的音频播放是没有进度条的,但最近有个项目呢,客户要求音频要有进度条控制,所...
Apache Doris 2.... 亲爱的社区小伙伴们,我们很高兴地向大家宣布,Apache Doris 2.0.0 版本已于...
python清除字符串里非数字... 本文实例讲述了python清除字符串里非数字字符的方法。分享给大家供大家参考。具体如下: impor...