爬取简书全站文章并生成 API(五)
admin
2023-07-30 21:27:03
0


简书

看完前面的四篇文章,就已经可以爬取简书全站的文章做成 API,并且可以部署上线了。但是我对 Docker 这个很火的东西非常感兴趣,前段时间学了 Docker 的基本操作,正好可以用上。这也时我第一次用 Docker 部署 Django 应用,若有不正确的地方,还望指出。

  • 爬取简书全站文章并生成 API(一)

  • 爬取简书全站文章并生成 API(二)

  • 爬取简书全站文章并生成 API(三)

  • 爬取简书全站文章并生成 API(四)

  • 简书 API 测试地址 : http://222.24.63.118:8080/

  • github 项目地址:https://github.com/strugglingyouth/jianshu/

使用 Docker 部署 Django 应用程序

由于 Docker Hub 的镜像在国内下载速度非常慢,所以此次使用的都是 daocloud 提供的镜像。Docker 的基本操作可以参考 http://www.tianfeiyu.com/?cat=159.

Docker 部署 Django 应用可以通过两种方式来完成:迭代构建和容器互联。以下使用容器互联的方式搭建 Django 容器栈。

注意:以下所有操作步骤均在 CentOS 6.6 x86_64 下完成。

所需镜像

  • Docker version 1.7.1
  • daocloud.io/nginx:1.11
  • daocloud.io/python:2.7
  • daocloud.io/mysql:5.6
  • daocloud.io/django:1.9

容器创建的顺序:

mysql --> redis --> django --> nginx


架构图

构建镜像前请先下载好所有所需的镜像。

1. 创建 mysql 容器

首先创建一个用于构建容器的目录:

# mkdir /docker
# cd /docker/

然后创建好以下几个目录用于存放相应的文件:

├── mysql  
│   ├── conf.d    
│   │   ├── jianshu.sql       ---对应的 django 数据库文件,需要手动导入
│   │   ├── character.cnf  ---设定字符集
│   │   └── my.cnf         ---额外配置
│   ├── data               ---挂载数据库文件的目录
│   └── start.sh           ---容器启动脚本

以下是 mysql 容器的启动脚本:

#!/bin/bash 
#

echo \"---------------start mysql image-------------------\"
docker run --name mysql \\
-v $(pwd)/conf.d:/etc/mysql/conf.d \\
-v $(pwd)/data:/var/lib/mysql \\
-e MYSQL_ROOT_PASSWORD=123456 \\
-p 3307:3306 \\
-d daocloud.io/mysql:5.6.30

上述脚本创建一个名为 mysql 的容器,挂载容器的配置文件目录与数据目录并且初始化 mysql 的密码。

2. 创建 redis 容器

使用 redis 缓存后端数据。

redis 容器不需要特别的处理。

├── redis
│   └── start.sh

启动脚本:

#!/bin/bash 
#

docker run --name redis -d daocloud.io/redis:3.0.7

3. 创建 django 容器

要创建 django 容器,首先需要一个 django 镜像,即在 daocloud.io/python:2.7 镜像中安装 django 所需的环境。再将 django 容器与 mysqlredis 容器进行互联。

└── web
    ├── jianshu.tar.gz       ---app 打包文件
    ├── Dockerfile          ---构建 django 镜像所使用的 Dockerfile
    ├── requirements.txt  ---app 依赖的库
    ├── start.sh          ---启动脚本
    └── stop.sh

以下为 Dockerfile 文件信息:

# 基础镜像
FROM daocloud.io/python:2.7

# 维护者信息
MAINTAINER tianfeiyu 

ADD blog.tar.gz /usr/src/ 

# app 所在目录
WORKDIR /usr/src/jianshu

# 安装 app 所需依赖
RUN pip install --no-cache-dir -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

启动脚本:

#!/bin/bash 
# 
docker exec -d mysql mysql -uroot -p123456 -e \"create database blog;\"
docker build -t feiyu/django-app .
docker run --name django \\
-v /usr/src/jianshu \\
-v /usr/src/jianshu/static \\                                                                                         
--link mysql:mysql \\
--link redis:redis \\
-p 12000:8000 \\
-d feiyu/django-app /usr/local/bin/uwsgi --http :8000 --chdir /usr/src/jianshu -w jianshu.wsgi

上面使用 –link 选项来能够进行容器间安全的交互通信,使用格式 name:alias,可在一个 docker run 命令中重复使用该参数,使用 –link 时,连接通过容器名来确定容器,建议启动容器时自定义容器名。

通过 –link 选项来建立容器间连接,不但可以避免容器的 IP 和端口暴露到外网所导致的安全问题,还可以防止容器在重启后 IP 地址变化导致的访问失效,它的原理类似于 DNS 服务器的域名和地址映射。当容器的 IP 地址发生变化时,Docker 将自动维护映射关系中 IP 地址。

Docker 通过 2 种方式为容器公开连接信息:环境变量和更新 /etc/hosts 文件。

依旧使用 uwsgi来启动 django 应用程序,也可以使用 gunicorn 来启动。

4. 创建 nginx 容器

nginx 容器的创建比较简单,先在构建镜像时将 nginx 的配置文件复制到镜像,再将 nginx 容器与 django 容器进行互联并且挂载 django 容器中的数据卷。

├── nginx
│   ├── Dockerfile                 ---构建 nginx 镜像的 Dockerfile
│   ├── nginx-conf                    
│   │   └── django_project.conf       ---提供的 nginx 配置文件 
│   ├── restart.sh
│   ├── start.sh
│   └── stop.sh

Dockerfile 文件:

FROM daocloud.io/nginx

MAINTAINER tianfeiyu                                                                             

RUN rm /etc/nginx/conf.d/default.conf
ADD nginx-conf/ /etc/nginx/conf.d/

启动脚本:

#!/bin/bash 
#
docker build -t nginx .        
docker run --name nginx-server \\
--link django:web \\            
-v /www/static \\               
--volumes-from django \\        
-p 8888:80 \\
-d nginx

到此,所有容器的创建过程都已经了解清楚,所有文件的目录树如下所示:


目录树

5. 启动容器栈

为了方便测试,每个需要创建的容器下面都会有一个启动脚本,并且有一个控制所有容器的启动脚本与停止脚本:

#!/bin/bash
#
cd mysql                                                                                                            
echo \"start mysql----------------\"
./start.sh

cd ../redis  
echo \"start redis---------------------\"
./start.sh

cd ../web 
echo \"start web ---------------------\"
./start.sh

cd ../nginx
echo \"start nginx-------------------\"
./start.sh


启动完成

然后进入到 mysql 容器中将 django 数据库文件导入:

# docker inspect --format \"{{.State.Pid}}\" mysql
12674
# nsenter --target 12674 --mount --uts --ipc --net --pid
root@91308514f209:/# cd /etc/mysql/conf.d/
root@91308514f209:/etc/mysql/conf.d# mysql -uroot -p jianshu < jianshu.sql

完整的代码请查看 github 项目地址 !

相关内容

热门资讯

Mobi、epub格式电子书如... 在wps里全局设置里有一个文件关联,打开,勾选电子书文件选项就可以了。
500 行 Python 代码... 语法分析器描述了一个句子的语法结构,用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义,以我们...
定时清理删除C:\Progra... C:\Program Files (x86)下面很多scoped_dir开头的文件夹 写个批处理 定...
scoped_dir32_70... 一台虚拟机C盘总是莫名奇妙的空间用完,导致很多软件没法再运行。经过仔细检查发现是C:\Program...
65536是2的几次方 计算2... 65536是2的16次方:65536=2⁶ 65536是256的2次方:65536=256 6553...
小程序支付时提示:appid和... [Q]小程序支付时提示:appid和mch_id不匹配 [A]小程序和微信支付没有进行关联,访问“小...
pycparser 是一个用... `pycparser` 是一个用 Python 编写的 C 语言解析器。它可以用来解析 C 代码并构...
微信小程序使用slider实现... 众所周知哈,微信小程序里面的音频播放是没有进度条的,但最近有个项目呢,客户要求音频要有进度条控制,所...
Apache Doris 2.... 亲爱的社区小伙伴们,我们很高兴地向大家宣布,Apache Doris 2.0.0 版本已于...
python清除字符串里非数字... 本文实例讲述了python清除字符串里非数字字符的方法。分享给大家供大家参考。具体如下: impor...