python爬虫——爬取旅游城市信息

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python爬虫——爬取旅游城市信息，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1183字，纯文字阅读大概需要2分钟。

内容图文

import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient

class QuNaEr():
    def __init__(self, keyword, page=1):
        self.keyword = keyword
        self.page = page

    def qne_spider(self):
        url = 'https://piao.qunar.com/ticket/list.htm?keyword=%s&region=&from=mpl_search_suggest&page=%s' % (self.keyword, self.page)
        response = requests.get(url)
        response.encoding = 'utf-8'
        text = response.text
        bs_obj = BeautifulSoup(text, 'html.parser')

        arr = bs_obj.find('div', {'class': 'result_list'}).contents
        for i in arr:
            info = i.attrs
            name = info.get('data-sight-name')
            address = info.get('data-address')
            count = info.get('data-sale-count')
            point = info.get('data-point')

            price = i.find('span', {'class':'sight_item_price'})
            price = price.find_all('em')
            price = price[0].text

            conn = MongoClient('localhost', port=27017)
            db = conn.QuNaEr
            table = db.qunaer_51

            table.insert_one({
                'name' : name,
                'address' : address,
                'count' : int(count),
                'point' : point,
                'price' : float(price),
                'city' : self.keyword
            })

if __name__ == '__main__':
    citys = ['北京', '上海', '成都', '三亚', '广州', '重庆', '深圳', '西安', '杭州', '厦门', '武汉', '大连', '苏州']
    for i in citys:
        for page in range(1,5):
            qne = QuNaEr(i, page=page)
            qne.qne_spider()

内容总结

以上是互联网集市为您收集整理的python爬虫——爬取旅游城市信息全部内容，希望文章能够帮你解决python爬虫——爬取旅游城市信息所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---