python爬虫:爬取慕课网视频_程序人生

admin

2023-07-30 20:46:20

0次

前段时间安装了一个慕课网app,发现不用注册就可以在线看其中的视频,就有了爬取其中的视频的想法，用来在电脑上学习。

我使用的是pycharm进行开发,使用BeautifulSoup模块解析html,整个代码进行了比较详细的注释。

整个工程结构:

工程结构图

—-entity

——–__init__.py

——–fileinfor.py用来描述视频文件信息

—-filedeal

——–__init__.py

——–file_downloader.py用于视频文件的下载

—-spider 爬虫的核心内容

——–__init__.py

——–html_downloader.py html下载器

——–html_parser.py html解析器

——–spiderman.py 爬虫核心逻辑

—-test test文件夹主要是用来测试一些用例,不参与整个程序运行

—-conf.py 一些全局变量

—-index.py 程序启动入口

运行环境:

python 2.7.X

需要安装的支持模块:

BeautifulSoup (pip install或者下载源代码包setup.py),下载链接:https://pypi.python.org/pypi/beautifulsoup4/4.3.2

运行:在windows上直接双击start.bat,linux上没试

现在将程序运行起来,双击start.bat:

运行

输入课程号，选择视频品质:

等到显示100%时，会将视频下载到当前目录下

源代码在我的github上: https://github.com/qiyeboy/spider_smooc

欢迎大家指教学习，记得关注我微信哟