scrapy爬虫框架调用百度地图api数据存入数据库
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了scrapy爬虫框架调用百度地图api数据存入数据库，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3588字，纯文字阅读大概需要6分钟。
内容图文
scrapy安装配置不在本文 提及，
1.在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令
scrapy startproject mySpider
- 其中， mySpider 为项目名称，可以看到将会创建一个 mySpider 文件夹，目录结构大致如下：
-
下面来简单介绍一下各个主要文件的作用：
scrapy.cfg ：项目的配置文件
mySpider/ ：项目的Python模块，将会从这里引用代码
mySpider/items.py ：项目的目标文件
mySpider/pipelines.py ：项目的管道文件
mySpider/settings.py ：项目的设置文件
mySpider/spiders/ ：存储爬虫代码目录
mySpider/spiders/__init__.py ：爬虫主要处理逻辑
2. 今天通过爬虫调用 百度地图api来获取 全国学校的经纬度信息 并入库。
百度地图接口api :http://api.map.baidu.com/place/v2/search?query=小学、中学或者大学®ion=地市名字&output=json&ak=你的开发者ak&page_num=页码
1）打开mySpider目录下的items.py
Item 定义结构化数据字段，用来保存爬取到的数据，也是爬取数据后导出的字段，有点像Python中的dict字典，但是提供了一些额外的保护减少错误。
可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field的类属性来定义一个Item。
items.py
1
import
scrapy
2
3
4
class
GetpointItem(scrapy.Item):
5
#
define the fields for your item here like:
6
#
name = scrapy.Field()
7 name = scrapy.Field() #学校名称 8 lat = scrapy.Field() #纬度 9 lng = scrapy.Field() #经度11 city = scrapy.Field() #地市12 area = scrapy.Field() #区县13 address = scrapy.Field() #地址14 types = scrapy.Field() #学校类型（小学，中学，大学）
2) 打开 mySpider/spiders目录里的 __init__.py写逻辑 ，直接上代码，有注释
1
import
scrapy
2
import
json
3
from urllib.parse import urlencode
4from .. import items
5class DmozSpider(scrapy.Spider):
6 name = "map" 7 allowed_domains = []
8#三层循环数组分别请求api，由于百度api返回的数据不是所有，所以必须传入页码，来爬取更多数据。10def start_requests(self):
11 cities = [‘北京‘,‘上海‘,‘深圳‘]14 types =[‘小学‘,‘中学‘,‘大学‘]
15for city in cities:
16for page in range(1, 16):
17for type_one in types:
18 base_url = ‘http://api.map.baidu.com/place/v2/search?‘19 params = {
20‘query‘: type_one,
21‘region‘: city,
22‘output‘:‘json‘,
23‘ak‘: ‘你的ak‘,25‘page_num‘: page
26 }
27 url = base_url + urlencode(params)
28yield scrapy.Request(url, callback=self.parse,meta={"types":type_one})
2930def parse(self, response):
31 res = json.loads(response.text) #请求回来数据需转成json
32 result= res.get(‘results‘)
33 types = response.meta["types"] #由于api返回来数据没有学校type的数据，这里需要自己接一下 传参时的type参数
34#print(types)35if result:
36for result_one in result:
37 item = items.GetpointItem() #调用item的GetpointItem类，导出item
38 item[‘name‘] = result_one.get(‘name‘)
39 item[‘lat‘] = result_one.get(‘location‘).get(‘lat‘)
40 item[‘lng‘] = result_one.get(‘location‘).get(‘lng‘)42 item[‘city‘] = result_one.get(‘city‘)
43 item[‘area‘] = result_one.get(‘area‘)
44 item[‘types‘] = types
45 item[‘address‘] = result_one.get(‘address‘)
46yield item
47else:
48print(‘网络请求错误‘)
3）item导出来了，数据获取到了，然后 入库，打开pipelines.py ，代码如下：
from itemadapter import ItemAdapter
import pymysql
import json
class DBPipeline(object):
def__init__(self):
# 连接MySQL数据库
self.connect=pymysql.connect(host=‘localhost‘,user=‘root‘,password=‘1q2w3e‘,db=‘mapspider‘,port=3306)
self.cursor=self.connect.cursor()
def process_item(self, item, spider):
# 往数据库里面写入数据try:
self.cursor.execute("""select * from school where name = %s""", item[‘name‘])
ret = self.cursor.fetchone()
if ret:
print(item[‘name‘]+‘***********数据重复！***************‘)
else:
self.cursor.execute(
"""insert into school(name, lng, lat, type,city,county,address)
value (%s, %s, %s, %s, %s, %s, %s)""",
(
item[‘name‘],
json.dumps(item[‘lng‘]),
json.dumps(item[‘lat‘]),
item[‘types‘],
item[‘city‘],
item[‘area‘],
item[‘address‘]
))
self.connect.commit()
return item
except Exception as eror:
print(‘错误‘)
# 关闭数据库def close_spider(self,spider):
self.cursor.close()
self.connect.close()
重复数据的话，fecthOne直接排除 ，入库。。。。，
4）执行脚本 scray crawl map
scrapy crawl map
name 要写对哦
回车 ，开始 唰唰唰
成果如下：
期间 ，百度地图 api 多次并发，不让访问了，多爬几次就好了，程序逻辑 晓得就好了。
接口api爬完了，下次爬一爬 页面xpath上的内容。
原文：https://www.cnblogs.com/realdanielwu/p/14722656.html
内容总结
以上是互联网集市为您收集整理的scrapy爬虫框架调用百度地图api数据存入数据库全部内容，希望文章能够帮你解决scrapy爬虫框架调用百度地图api数据存入数据库所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。