股票数据的网站抓取(四)
admin
2023-07-30 20:43:20
0

搜索所有股票的相关信息并保存

草稿算完成了,但是代码显然价值很低,未进行任何优化,就是图个快速写完,所以看官别骂
下一步考虑在这个代码的基础上做优化,估计首先应该是解决代码\’味道\’的问题,然后是多线程的问题。其实有点想能否将这个代码修改成golang的,不过不知道golang是否有selenium的包包。

#coding=utf-8
from selenium import webdriver
import time
import os
import re
import sys  
from selenium.common.exceptions import NoSuchElementException
reload(sys)  
sys.setdefaultencoding(\'utf8\')   

def showlink(linklist):
    for x in linklist:
        print x.get_attribute(\'href\')
    print \"股票数:%d\"%(len(linklist))

def getinfo(mydriver,gourl):
    linetext=\"\"
    mydriver.get(gourl)
    try:
        gupiaoming=mydriver.find_element_by_xpath(title).text
        gupiaocode=mydriver.find_element_by_xpath(code).text
        hexinshuju=mydriver.find_element_by_class_name(\'pad5\')
        shujuhang=hexinshuju.find_elements_by_tag_name(\'tr\')
        for i in range(len(shujuhang)-2):
            shujulie=shujuhang[i].find_elements_by_tag_name(\'td\')
            tmpshuju=myre.split(shujulie[0].text)
            linetext=linetext+\"~\"+tmpshuju[1]
        shuju=myre.split(shujuhang[8].text)

        linetext=linetext+\"~\"+shuju[1]
        tmpshuju=myre.split(shujuhang[9].text)
        linetext=linetext+\"~\"+tmpshuju[1]
        linetext=\"%s~%s%s\"%(gupiaoming,gupiaocode,linetext)
        print \"数据写入\",linetext
        myfile.write(\"%s\\n\"%(linetext))
    except  NoSuchElementException,e:
        print \"不是股票\"
######################

br=webdriver.Firefox()
brsub=webdriver.Firefox()
baseurl=\"http://quote.eastmoney.com/\"
indexurl=\"stocklist.html\"
gourl=\"%s%s\"%(baseurl,indexurl)
br.get(gourl)

shxpath=\"/html/body/div[9]/div[2]/div/ul[1]\"
szxpath=\"/html/body/div[9]/div[2]/div/ul[2]\"

shgupiao=br.find_element_by_xpath(shxpath)
szgupiao=br.find_element_by_xpath(szxpath)

shgupiaolist=shgupiao.find_elements_by_tag_name(\'a\')
szgupiaolist=szgupiao.find_elements_by_tag_name(\'a\')


title=\'//*[@id=\"name\"]\'
code=\'//*[@id=\"code\"]\'
hexinshujuxpath=\"/html/body/div[14]/div[1]/div[4]/div[1]\"
restr=\":\".decode(\'utf8\')
myre=re.compile(restr,re.I|re.M|re.S)


#mylist=[\'http://quote.eastmoney.com/sh603678.html\',\'http://quote.eastmoney.com/sh603686.html\']
print \"####    获得上海股票数据               ############\"
print \"####    数据保存到shgupiaodata.text   ############\"
filename=\'shgupiaodata.txt\'
myfile = open(filename, \'w\')
for i in shgupiaolist:
    myurl=i.get_attribute(\'href\')
    print myurl
    if myurl!=None:
        getinfo(brsub,myurl)
myfile.close()


print \"####    获得深圳股票数据               ############\"
print \"####    数据保存到szgupiaodata.text   ############\"
filename=\'szgupiaodata.txt\'
myfile = open(filename, \'w\')
for i in szgupiaolist:
    myurl=i.get_attribute(\'href\')
    print myurl
    if myurl!=None:
        getinfo(brsub,myurl)
myfile.close()

print \"数据下载完成\"
br.quit()
brsub.quit()

相关内容

热门资讯

Mobi、epub格式电子书如... 在wps里全局设置里有一个文件关联,打开,勾选电子书文件选项就可以了。
500 行 Python 代码... 语法分析器描述了一个句子的语法结构,用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义,以我们...
定时清理删除C:\Progra... C:\Program Files (x86)下面很多scoped_dir开头的文件夹 写个批处理 定...
scoped_dir32_70... 一台虚拟机C盘总是莫名奇妙的空间用完,导致很多软件没法再运行。经过仔细检查发现是C:\Program...
65536是2的几次方 计算2... 65536是2的16次方:65536=2⁶ 65536是256的2次方:65536=256 6553...
小程序支付时提示:appid和... [Q]小程序支付时提示:appid和mch_id不匹配 [A]小程序和微信支付没有进行关联,访问“小...
pycparser 是一个用... `pycparser` 是一个用 Python 编写的 C 语言解析器。它可以用来解析 C 代码并构...
微信小程序使用slider实现... 众所周知哈,微信小程序里面的音频播放是没有进度条的,但最近有个项目呢,客户要求音频要有进度条控制,所...
Apache Doris 2.... 亲爱的社区小伙伴们,我们很高兴地向大家宣布,Apache Doris 2.0.0 版本已于...
python清除字符串里非数字... 本文实例讲述了python清除字符串里非数字字符的方法。分享给大家供大家参考。具体如下: impor...