首页 / 爬虫 / 股票数据爬虫

股票数据爬虫

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了股票数据爬虫，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1885字，纯文字阅读大概需要3分钟。

内容图文

 

技术分享图片

 

 

 老虎社区

 ‘https://www.laohu8.com/stock/‘

技术分享图片

百度股票不行了

技术分享图片

 

 

 

 

            import
             requests

            import
             re

            from bs4 import  BeautifulSoup
import collections
import traceback
def getHtmlText(url):
    try:
      kv = {‘user-agent‘:‘Mozilla/5.0‘}
      r = requests.get(url,headers = kv)
      # print(r.status_code)      r.raise_for_status()
      #print(r.apparent_encoding) GB2312  #r.encoding = r.apparent_encoding() GB2312 无法获取信息
      r.encoding = ‘utf-8‘#这步必须要return r.text
    except:
      return""def getstocklist(list,stock_url):
     html = getHtmlText(stock_url)
     soup = BeautifulSoup(html,‘html.parser‘)
     a = soup.find_all(‘a‘)
     for  i in a:
         try:
            href = i.attrs[‘href‘]
            list.append(re.findall(r"\d{6}",href)[0]) #查找股票代码except:
               continueprint(len(list))    

def getstockinfo(list,stock_url,path):
    cnt  = 0
    for stock in list:
        url = stock_url+stock
        html = getHtmlText(url)
        try:
            if html == ‘‘:
                 continue
            infodict = collections.OrderedDict()#为了后面按照插入顺序写入文件
            soup = BeautifulSoup(html,‘html.parser‘)
            stock_name =  soup.find_all(‘h1‘,attrs = {‘class‘:‘name‘})[0]
            
            name = stock_name.text.split()[0]
            infodict[‘股票名称‘]  = name

            stockinfo = soup.find(‘div‘,attrs = {‘class‘:‘detail-data‘})
            key_list = stockinfo.find_all(‘dt‘)
            value_list = stockinfo.find_all(‘dd‘)
            for  i in  range(len(key_list)):
                key = key_list[i].text
                value = value_list[i].text
                infodict[key] = value
            
            with open(path,‘a‘,encoding=‘utf-8‘) as f:#‘a‘:新的内容会加到已有内容的后面
                f.write(str(infodict)+‘\n‘)
                cnt = cnt+1
                print(‘\r当前进度:{:.2f}%‘.format(cnt*100/len(list)),end=‘‘)#\r 表示将光标的位置回退到本行的开头位置
        except:
               cnt  = cnt  +1
               print(‘\r当前进度:{:.2f}%‘.format(cnt*100/len(list)),end=‘‘)
               continuedef main():
     stock_list_url = ‘http://quote.eastmoney.com/stock_list.html‘
     stock_info_url = ‘https://www.laohu8.com/stock/‘
     output_file = ‘laohu_stock.txt‘
     list = []
     getstocklist(list,stock_list_url)
     getstockinfo(list,stock_info_url,output_file)

main()

getstockinfo():

技术分享图片 

getstockinfo

 

 

技术分享图片

 

 laohu_stock.txt  部分截图

技术分享图片

 

原文：https://www.cnblogs.com/tingtin/p/13018966.html

内容总结

以上是互联网集市为您收集整理的股票数据爬虫全部内容，希望文章能够帮你解决股票数据爬虫所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1247642.html

来源：【匿名】