python爬取了高德地图一些地点的数据,爬出来数据大致情况如下:
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python爬取了高德地图一些地点的数据,爬出来数据大致情况如下:,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1773字,纯文字阅读大概需要3分钟。
内容图文
python爬取了高德地图一些地点的数据,爬出来数据大致情况如下:
下面是基本流程:
1、注册成为高德地图API开发者,网址http://lbs.amap.com/(主要是获取自己的keywords [注册流程可以参考这个网址 https://lbs.amap.com/api/webservice/guide/create-project/get-key])。
2.安装网络爬取第三方库,主要是下面三个(pip install 安装);
from urllib.parse import quote
from urllib import request
import json
3.创建网络爬虫爬取数据,并对数据进行解析(这块就直接上代码了);
from urllib.parse import quote
from urllib import request
import json
# import xlwt
web_key = '**********' #自己高德的地图的key密钥
url = "http://restapi.amap.com/v3/place/text"
cityname = "南京" # 自己需要搜索城市
classfiled = "汽车站" # 自己需要搜索的目的地信息(比如想搜索医院,直接替换成医院即可)
i=0 # 爬取的页面信息,i=2时即爬取第2页的数据。当 result['count']=0 时即此页面已经无信息,爬取所有数据时可以用此终止循环
req_url = url + "?key=" + web_key + '&extensions=all&keywords=' + quote(classfiled) + '&city=' + quote(cityname) + '&citylimit=true' + '&offset=25' + '&page=' + str( i)+ '&output=json'
data = ''
f=request.urlopen(req_url)
data = f.read()
data = data.decode('utf-8')
result=json.loads(data)
# print(result['count']) # 等于0时,即代表此页面已经无信息
result['pois'][0] #显示数据记录格式
处理过会,基本的网页信息就出来了
以上的数据是以字典的形式打印出来的,把自己需要获取的字段提出出来就可以了:
for i in range(len(result['pois'])):
print('名称:',result['pois'][i]['name']
,'\n类型:',result['pois'][i]['type']
,'\n省份:',result['pois'][i]['pname']
,'\n城市:',result['pois'][i]['cityname']
,'\n地区:',result['pois'][i]['adname']
,'\n乡镇:',result['pois'][i]['business_area']
,'\n详细地址:',result['pois'][i]['address']
,'\n经纬度:',result['pois'][i]['location']
,'\n图片链接:',result['pois'][i]['photos'][0]['url']
,'\n'
)
部分数据结果如下:
内容总结
以上是互联网集市为您收集整理的python爬取了高德地图一些地点的数据,爬出来数据大致情况如下:全部内容,希望文章能够帮你解决python爬取了高德地图一些地点的数据,爬出来数据大致情况如下:所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。