对于很多网站来说,新站百度爬虫不及时,收录情况不好,我们可以自己主动提交链接给百度供它抓取
1、在百度站长工具中绑定你的网站
2、将获取到的主动提交js代码放到你的网页上
3、安装python环境
4、在cmd里使用pip install selenium 安装selenium包
5、下载与你电脑chrome版本对应的 webdriver 下载地址http://npm.taobao.org/mirrors/chromedriver/
6、将下面代码保持为submit.py
7、在cmd里运行 python submit.py
from selenium import webdriver
import time, re
browser = webdriver.Chrome()
id = 800
total = 1233200
while id <= total:
url = 'http://www.896198.com/news.show-%s.html' %(id)
browser.get(url)
browser.implicitly_wait(5)
id += 1
else:
print("网址提交完成")
browser.close
browser.quit