首页 / PYTHON / 这价格看得我偷偷摸了泪——用python爬取北京二手房数据

这价格看得我偷偷摸了泪——用python爬取北京二手房数据

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了这价格看得我偷偷摸了泪——用python爬取北京二手房数据，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5091字，纯文字阅读大概需要8分钟。

内容图文

如果想了解更多关于python的应用，可以私信我，或者加群，里面到资料都是免费的

http://t.cn/A6Zvjdun

近期，有个朋友联系我，想统计一下北京二手房的相关的数据，而自己用Excel统计工作量太过于繁杂，问我用Python该如何实现。

构造要访问的URL

这里，我试着抓取北京海淀区二手房的相关数据。首先，是观察一下URL的结构，如下：

获取每个房子详细信息的URL

代码如下：

# 采用随机的UA
ua = UserAgent()
headers = {'User-Agent': ua.random}
# 房屋信息列表
houseInfoArray=[]
# 爬取海淀区全部的数据
for i in range(1,2):
 res = requests.get('http://bj.lianjia.com/ershoufang/haidian/pg'+str(i),headers=headers)
 # 使用html筛选器
 soup = BeautifulSoup(res.text, 'html.parser')
 #print soup
 # 网站每页呈现30条数据，依次爬取详细的信息
 for j in range(0,30):
 # 获取房屋详细信息的链接
 url = soup.select('.sellListContent')[0].select('.img')[j].get('href', None)

解析每个房子的详细信息

接下来，获取到每个房子的URL了，就是爬取URL对应的数据并对一个个的房屋获取其详细信息了，思路同上，也是根据源码获取相关的标签，然后获取数据，这里将每个房子的信息保存在字典中。直接贴代码：

def gethouseInfo(url):
 """
 获取房子的详细信息
 :param url: 子地址
 :param soup: 父XML，可以从中获取小区信息
 :return:
 """
 # 返回的数据类型为字典
 info= {}
 # 请求子页面
 res = requests.get(url)
 # 提取子域名内容,即页面详细信息
 soup=BeautifulSoup(res.text,'html.parser')
 # 小区信息
 communityName = soup.select('.overview')[0].select('.content')[0].select('.communityName')[0].select('.info')[0].get_text()
 info['communityName'] = communityName
 # 获取价格信息，包括总价和均价
 price = soup.select('.overview')[0].select('.content')[0].select('.price')[0].select('.total')[0].get_text()
 unit = soup.select('.overview')[0].select('.content')[0].select('.price')[0].select('.unit')[0].get_text()
 info['price'] = price+unit
 unitprice = soup.select('.overview')[0].select('.content')[0].select('.unitPrice')[0].select('.unitPriceValue')[0].get_text()
 info['unitprice'] = unitprice
 # 获取房屋户型
 room = soup.select('.overview')[0].select('.content')[0].select('.room')[0].get_text()
 info['room'] = room
 # 获取朝向信息
 type = soup.select('.overview')[0].select('.content')[0].select('.type')[0].get_text()
 info['type'] = type
 # 获取房屋面积
 area = soup.select('.overview')[0].select('.content')[0].select('.area')[0].get_text()
 info['area'] = area
 return info

我爬取了30套房子的信息，结果如下：

 area communityName price room type unitprice
0 86.3平米1988年建/板楼 金沟河3号院 630万 3室1厅中楼层/共6层 南 北简装 73001元/平米
1 77.1平米2003年建/板楼 百旺新城 620万 2室1厅顶层/共6层 南 北简装 80415元/平米
2 94.31平米2004年建/板楼 幸福时光 690万 2室1厅高楼层/共6层 南 北简装 73163元/平米
3 234.12平米2001年建/板楼 万泉新新家园 2980万 4室2厅底层/共6层 南 北平层/精装 127285元/平米
4 54.5平米1987年建/板塔结合 北洼西里 465万 2室1厅高楼层/共17层 西南简装 85321元/平米
5 107.99平米2000年建/板楼 玉渊潭南路9号院 1360万 2室1厅中楼层/共6层 南 北精装 125938元/平米
6 76.07平米2003年建/塔楼 逸成东苑 618万 2室1厅低楼层/共22层 南 北平层/简装 81241元/平米
7 68.39平米1999年建/塔楼 今典花园 698万 2室1厅低楼层/共26层 南简装 102062元/平米
8 83.3平米1990年建/板楼 柳林馆 865万 3室1厅中楼层/共6层 南 北简装 103842元/平米
9 114.94平米2002年建/板楼 当代城市家园 830万 2室2厅中楼层/共11层 南 北精装 72212元/平米
10 71.6平米1991年建/塔楼 西翠路12号院 710万 3室1厅中楼层/共18层 东北简装 99162元/平米
11 132.78平米2002年建/塔楼 曙光花园 1258万 3室2厅中楼层/共17层 东南精装 94743元/平米
12 77.78平米2007年建/塔楼 安宁佳园 520万 2室1厅高楼层/共18层 西南 北其他 66855元/平米
13 93.7平米1989年建/板楼 塔院小区 850万 3室1厅中楼层/共6层 东 南 北精装 90715元/平米
14 69.2平米1992年建/板楼 八里庄北里 570万 3室1厅底层/共6层 东 西 北简装 82370元/平米
15 81.23平米2002年建/塔楼 望河园 710万 2室1厅低楼层/共17层 西南平层/简装 87406元/平米
16 150.05平米2000年建/板楼 美丽园 1550万 3室2厅低楼层/共7层 南 北精装 103299元/平米
17 115.04平米未知年建/塔楼 永泰园 690万 2室1厅中楼层/共31层 东北其他 59979元/平米
18 105.18平米2001年建/塔楼 人济山庄 1260万 2室1厅高楼层/共26层 东精装 119795元/平米
19 88.96平米2003年建/塔楼 逸成东苑 807万 3室1厅低楼层/共17层 西南精装 90715元/平米
20 172.56平米2003年建/板楼 万泉新新家园 2498万 3室2厅低楼层/共7层 南 北精装 144761元/平米
21 140.18平米2010年建/板楼 领秀新硅谷1号院 1150万 3室1厅顶层/共9层 南 北精装 82037元/平米
22 59.87平米1995年建/板楼 安宁里 410万 2室1厅高楼层/共6层 南 北精装 68482元/平米
23 76.58平米2000年建/板楼 永泰园 535万 2室1厅中楼层/共6层 南 北简装 69862元/平米
24 54.7平米1984年建/板楼 翠微南里 528万 2室1厅中楼层/共5层 东南精装 96527元/平米
25 72.25平米1994年建/板楼 中关村 770万 3室1厅底层/共6层 东 西简装 106574元/平米
26 59平米1988年建/塔楼 双榆树东里 575万 2室1厅中楼层/共16层 南精装 97458元/平米
27 57.24平米2000年建/板楼 宝盛里 370万 1室1厅顶层/共5层 东 西简装 64640元/平米
28 66.87平米2006年建/板楼 观澳园 465万 1室1厅顶层/共9层 南简装 69538元/平米
29 116.47平米2003年建/板楼 诚品建筑 1080万 2室1厅高楼层/共9层 东 西精装 92728元/平米

如果想了解更多关于python的应用，可以私信我，或者加群，里面到资料都是免费的（http://t.cn/A6Zvjdun）

可以发现，海淀的房子无论哪个小区，均价都高哇！那好好学Python吧，用知识武装自己！

当获取到相关的数据之后，就可以存储（MongoDB或者MySQL），以及统计分析了。

内容总结

以上是互联网集市为您收集整理的这价格看得我偷偷摸了泪——用python爬取北京二手房数据全部内容，希望文章能够帮你解决这价格看得我偷偷摸了泪——用python爬取北京二手房数据所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/636348.html

来源：【匿名】

【上一篇】python深浅copy,is,id 【下一篇】浅谈PHP运行Python脚本的方法

更多 ►

【这价格看得我偷偷摸了泪——用python爬取北京二手房数据】教程文章相关的互联网学习教程文章

python实现人人网用户数据爬取及简单分析【图】

这是之前做的一个小项目。这几天刚好整理了一些相关资料，顺便就在这里做一个梳理啦~ 简单来说这个项目实现了，登录人人网并爬取用户数据。并对用户数据进行分析挖掘，终于效果例如以下：1、存储人人网用户数据（户主的全部好友、户主好友的全部好友、户主及好友关注的公共主页）。2、信息可视化，绘制户主好友间的关系网络图；3、数据挖掘，通过分析户主好友关注的公共主页，向户主推荐公共主页。项目分为三个部分，各自是人...

python, 爬虫爬取彩票网数据，pandas分析数据并实现可视化饼图【代码】【图】

import lxml import requests from lxml import etreeurl = ‘https://datachart.500.com/ssq/history/newinc/history.php?limit=5000&sort=0‘ resp = requests.get(url) hm = etree.HTML(resp.text) # 在返回页面内容的任意位置查找id=tdata的tbody标签，并取其下所有的tr标签内容，赋给trs列表 trs = hm.xpath("//tbody[@id=‘tdata‘]/tr")f = open(‘data.csv‘, ‘w‘) # 将攫取的数据存到data.csv文件 for tr in trs:data_l...

从入门到自闭之Python--MySQL数据库的单表操作【代码】

单表查询：select * from 表 where 条件 group by 分组 having 过滤 order by 排序 limit n;语法：select distinct 字段1，字段2... from 表名 where 条件 group by 组名 having 筛选 order by 排序 limit 限制条数找到表:from拿着where指定的约束条件，去文件/表中取出一条条记录将取出的一条条记录进行分组group by，如果没有group by，则整体作为一组执行select（去重）：select * from 表名;将分组的结果进行having过滤将结果按...

Python的Django框架中的数据库配置指南【代码】

记住这些理念之后，让我们来开始 Django 数据库层的探索。首先，我们需要做些初始配置；我们需要告诉Django使用什么数据库以及如何连接数据库。我们假定你已经完成了数据库服务器的安装和激活，并且已经在其中创建了数据库（例如，用 CREATE DATABASE 语句）。如果你使用SQLite，不需要这步安装，因为SQLite使用文件系统上的独立文件来存储数据。象前面章节提到的 TEMPLATE_DIRS 一样，数据库配置也是在Django的配置文件里，缺省...

python连接mysql数据库

1.系统必须安装MySQL-python软件，否则python没有连接的模块(在Linux系统)yum install MySQL-python2.安装mysql数据库yum install mysql-server mysql[root@AY140528120357495c4bZ ~]# /etc/init.d/mysqld restartStopping mysqld: [ OK ]Starting mysqld: [ OK ][root@AY140528120357495c4bZ ~]#3.在mysql中创建数据库和表[root@AY1405...

4-Python数据类型之元组-字符串【代码】

目录1 元组概念1.1 元祖的特点1.2 元组的定义1.3 元组的访问1.4 元组的查询2 命名元组3 字符串3.1 字符串的基本操作3.1.1 字符串的访问3.1.2 字符串的拼接3.2 字符串分割3.3 字符串大小写3.4 字符串排版3.5 字符串修改3.6 字符串查找3.7 字符串判断3.8 字符串格式化3.8.1 C语言格式化3.8.2 format格式化3.8.3 对齐3.8.9 小数点与进制4 切片4.1 切片赋值1 元组概念????????元组（类型为 tuple）和列表十分相似,但是元组和字符串一样...

python 一维和二位数据的高斯模糊滤波【代码】【图】

高斯模糊一阶核函数:高斯函数二阶核函数：def calc(self,x,y=0):if self.level==1:return 1/((2*math.pi)**0.5*self.sigema)*math.exp(-(x**2/2/(self.sigema**2)))elif self.level==2:return 1/(2*math.pi*self.sigema*self.sigema)*math.exp(-(x**2+y**2)/2/self.sigema/self.sigema) σ为标准差定义一个模糊半径，通过上述公式获取到需要的核函数如半径r=1 ，σ=2一阶时为x=[-1,0,1],生成核为[0.176033，0.199471，0.176033]/d...

金融量化分析-python量化分析系列之---使用python获取股票历史数据和实时分笔数据【代码】

财经数据接口包tushare的使用（一）Tushare是一款开源免费的金融数据接口包，可以用于获取股票的历史数据、年度季度报表数据、实时分笔数据、历史分笔数据，本文对tushare的用法，已经存在的一些问题做一些介绍。一：安装tushare为避免由于依赖包缺失导致安装失败，请先安装anaconda,百度网盘地址：链接：http://pan.baidu.com/s/1qYDQUGs 密码：6wq8 安装直接一直下一步即可安装完成之后，anaconda会自动配置环境变量，直接就可...

python常用的数据类型【代码】

int_num = 7 float_num = 7.7 string = "python" a, b, c = 7, 7.7, "python"print(int_num, type(int_num)) print(float_num, type(float_num)) print(string, type(string)) print(a, b, c) print("a=%.6f"%a) print(len(c))运行结果：7 <class‘int‘> 7.7 <class‘float‘> python <class‘str‘> 7 7.7 python a=7.000000 原文：https://www.cnblogs.com/jumpkin1122/p/11503119.html

python基础，小数据池内存地址，is与==区别【代码】

内存地址 id() 总结：数字类型，字符串类型，元组，变量不同值相同的内存地址是相同的。列表，字典，反之。int类型#共同内存地址 a = 2345435436457656756 b = 2345435436457656756 print(id(a)) #id() 内存地址 print(id(b))结果：16521307949521652130794952float类型#共同内存地址 a = 234.5435436457656756 b = 234.5435436457656756 print(id(a)) print(id(b))结果：19538493853681953849385368str类型#共同内存地址 s...

python3生成随机数据，并存入sqlite3

#!/usr/bin/python #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/6/15 22:46 # @Author : Kwan # @File : insert_db.py # @Software: PyCharmimport sqlite3 import random import datetime# conn = sqlite3.connect('local.db') # # c = conn.cursor() # # c.execute("insert into system_cfg values(?,?,?)",(2,'test2',1)) # # conn.commit() # # conn.close()def make_date(): # def make_card_n...

python数据库操作【代码】

#!/usr/src/python# -*- coding:utf-8 -*-import pymysqlimport socket,structdef sql_exe(v_sql): conn = pymysql.Connect(host=‘192.168.110.133‘,port=3306,user="admin",password="mysql123",database="hostmgr",charset=‘utf8‘) cursor = conn.cursor() v = cursor.execute(v_sql) result = cursor.fetchall() # result = cursor.fetchone() # result = cursor.fetchmany(2) print(result) curso...

Python 复数数据类型详解（complex）[学习 Python 必备基础知识][看此一篇就够了]【代码】【图】

您的“关注”和“点赞”，是信任，是认可，是支持，是动力......如意见相佐，可留言。本人必将竭尽全力试图做到准确和全面，终其一生进行修改补充更新。目录1 复数数据类型概述2 从复数中提取实部和虚部3 相关函数 complex()3.1 complex() 函数概述3.2 注意事项4 文章其他地址4.1 微信公众号：码农阿杰4.2 CSDN 博客5 参考资料5.1 Python 3.8.2 documentation1 复数数据类型概述复数数据类型，简称复数类型。在 Python 中用comple...

python的基本数据类型【代码】

‘‘‘ int str bool list 存储大量的数据，用[]来表示 tuple 元组，不可以发生改变，用()来表示，和C++的元组是一样的 dict 字典，保存键值对，一样可以保持大量的数据，和C++的map一样 set 集合，内部数据不可以重复 ‘‘‘ 字符串的任何操作都不会改变它本身，所以需要提供另一个字符串来承装#字符串的截取片段 s1 = input("输入字符串：\n") a = input("输入开始截取的位置：\n") b = input("输入结束截取的位置：\n") a = int...

Python数据驱动(ddt)【代码】

import unittest import ddt #第三方库data=[[1,2],[3,4],[5,6]]@ddt.ddtclass MyTestCase(unittest.TestCase):#只有一个参数时@ddt.data(1,2,3)def test_01(self,a):print(a)@ddt.data(*data)#表示可参数，若传参是data,则后面的取值a=[[1,2],[3,4],[5,6]] @ddt.unpackdef test_02(self,a,b):print(a,‘----‘,b)@ddt.data([1,2],[3,4])#和上面的相似，这里未使用变量 @ddt.unpackdef test_03(self,a,b):print(a, ‘----‘...

PYTHON - 技术教程分类

Python3 教程 Python3 简介 Python3 环境搭建 Python3 基础语法 Python3 基本数据类型 Python3 解释器 Python3 注释 Python3 运算符 Python3 数字(Number) Python3 字符串 Python3 列表 Python3 元组 Python3 字典 Python3 集合 Python3 编程第一步 Python3 条件控制 Python3 循环语句 Python3 迭代器与生成器 Python3 函数 Python3 数据结构 Python3 模块 Python3 输入和输出 Python3 File Python3 OS Python3 错误和异常 Python3 面向对象 Python3 命名空间/作用域 Python3 标准库概览 Python3 实例 Python3 CGI编程 Python3 MySQL(PyMySQL) Python3 网络编程 Python3 SMTP发送邮件 Python3 多线程 Python3 日期和时间 Python3 内置函数 Python3 MongoDB Python3 urllib python 全部

PYTHON - 最热教程

python如何统计字符串中字母个数？使用Python进行微信公众号开发（三）回...Python+PyQT5的子线程更新UI界面的实例 python时间戳怎么获得？如何获得当前时...vscode调试python时提示无法将“conda”...python接口自动化全局变量access_token...python收取邮件(腾讯企业邮箱)python如何绘制降水图详解python并发获取snmp信息及性能测试...怎么卸载Python3.6？

首页 / PYTHON / 这价格看得我偷偷摸了泪——用python爬取北京二手房数据

这价格看得我偷偷摸了泪——用python爬取北京二手房数据

内容导读

内容图文

内容总结

内容备注

内容手机端

【这价格看得我偷偷摸了泪——用python爬取北京二手房数据】教程文章相关的互联网学习教程文章

python实现人人网用户数据爬取及简单分析【图】

python, 爬虫爬取彩票网数据，pandas分析数据并实现可视化饼图【代码】【图】

从入门到自闭之Python--MySQL数据库的单表操作【代码】

Python的Django框架中的数据库配置指南【代码】

python连接mysql数据库

4-Python数据类型之元组-字符串【代码】

python 一维和二位数据的高斯模糊滤波【代码】【图】

金融量化分析-python量化分析系列之---使用python获取股票历史数据和实时分笔数据【代码】

python常用的数据类型【代码】

python基础，小数据池内存地址，is与==区别【代码】

python3生成随机数据，并存入sqlite3

python数据库操作【代码】

Python 复数数据类型详解（complex）[学习 Python 必备基础知识][看此一篇就够了]【代码】【图】

python的基本数据类型【代码】

Python数据驱动(ddt)【代码】

PYTHON - 相关标签

数据 - 相关标签

PYTHON - 技术教程分类

PYTHON - 最新教程

PYTHON - 最热教程