手把手用Python网络爬虫带你爬取全国著名高校附近酒店评论

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了手把手用Python网络爬虫带你爬取全国著名高校附近酒店评论，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1862字，纯文字阅读大概需要3分钟。

内容图文

/1 前言/

  简介：本文介绍如何用python爬取全国著名高校附近的酒店点评，并进行分析，带大家看看著名高校附近的酒店怎么样。

/2 具体实现/

  具体的实现主要是分为三步，具体的操作过程如下。

一、抓取高校附近的酒店信息

  由于电脑客户端的美团酒店没有评论信息，于是我从手机端的网页入手，网页地址为：https://i.meituan.com/awp/h5/hotel/search/search.html

  通过搜索北京大学附近的酒店，抓包找到了返回酒店json信息的url。

  其中，limit代表返回酒店的最大数量（经测试，limit最大为50），offset为每次返回酒店数量的起点，cityId为城市的标志，在网页信息中可以找到，时间参数可以修改，sort为返回酒店信息的排序，sort=distance代表按距离搜索，q和keyword都是大学名称。

  返回的数据如下图所示：

    包含酒店的名字、地理位置、评分、realPoiId（相当于酒店的身份证号，后面爬评论用的到）、酒店和大学的距离等信息。

    下面我们开始爬排名前10高校附近的酒店信息（不要在乎大学排名，我乱找的，以学习为主）：

（图片来源于网络）

  部分代码如下图所示：

  其中cityId和大学名字为控制变量，通过返回的距离信息将酒店位置控制在2000米以内，输出结果为：

  看看这10所大学2000米附近附近有多少家酒店：

  我们可以发现，南京大学附近酒店最多，有453家；上海交通大学闵行校区附近酒店最少，有75家。

二、抓取每家酒店的点评信息

  这个从这个url可以返回每家酒店的评论数量，poiId是酒店的“身份证号”。

  这个url可以返回酒店的所有评论信息，其中limit为返回的评论数量，可以直接用上个url返回的评论数量，一次全部以json格式返回，非常方便，返回结果如下：

三、遇到的坑

  1.刚开始爬评论是1次返回15个，后来发现可以Limit可以为评论的最大值，但是第一步返回的酒店信息中包含酒店评论数量是不准确的，要用第二步的方法；

  2.评论中乱七八糟的表情、符号也是大坑，去了好久也去不干净；

  3.最好用代理IP地址爬，否则评论太多，会被封。

/3 结语/

  本文基于Python网络爬虫，抓取了高校旁边的酒店数量及其评论数量，如果你想抓取其他地方的其他信息，也是可行的，可以纵向拓展。

  欢迎大家尝试，消耗在家的无聊时间。本文涉及的代码都上传到了github地址上，后台回复“高校酒店”四个字即可获取代码。

内容总结

以上是互联网集市为您收集整理的手把手用Python网络爬虫带你爬取全国著名高校附近酒店评论全部内容，希望文章能够帮你解决手把手用Python网络爬虫带你爬取全国著名高校附近酒店评论所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---