首页 / 爬虫 / （转）Python网络爬虫实战：世纪佳缘爬取近6万条数据

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含11620字，纯文字阅读大概需要17分钟。

内容图文

又是一年双十一了，不知道从什么时候开始，双十一从“光棍节”变成了“双十一购物狂欢节”，最后一个属于单身狗的节日也成功被攻陷，成为了情侣们送礼物秀恩爱的节日。

翻着安静到死寂的聊天列表，我忽然惊醒，不行，我们不能这样下去，光羡慕别人有什么用，我们要行动起来，去找自己的幸福！！！

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

我也想“谈不分手的恋爱” ！！！内牛满面！！！

注册登陆一气呵成~

筛选条件，嗯...性别女，年龄...18到24岁，身高嘛，无所谓啦，就按默认155-170吧，地区...嗯北京好，北京近一点，照片？那肯定要啊，必须的！！！

小姐姐们我来了~

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

哇，好多小姐姐啊，到底该选哪个搭讪啊.......

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

这时候就该我们的爬虫出场了

爬虫部分

爬虫部分还是我们之前的四步：分析目标网页，获取网页内容，提取关键信息，输出保存

1. 首先分析目标网页

按F12召唤开发者工具页面，切换到Network选项，然后在翻页的时候抓包，成功截获请求URL。

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

不过，这个请求是 POST 方法的，和我们之前见到的 GET 方法的请求有点不同。哪里不同呢......它有点短？

没错，它太短了，少了很多信息，比如我们搜索的条件，甚至连页码的信息都没有，光靠它怎么可能正确的找到小姐姐嘛！

别急，往下翻，其实， POST 方法请求的参数是放在 Form Data 的地方（怎么可能没有嘛是吧）

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

PS：除了这些之外，还有更多更细的筛选条件

更多筛选条件及其对应的编号
1 2 3 4 5 6 7 8 9 10
地区年龄身高学历月薪婚史购房购车籍贯户口
11 12 12 14 15 16 17 18 22 23
民族宗教信仰有无子女职业公司类型生肖星座血型诚信等级照片

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

构造完整的请求的 URL ,

http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=1:11,2:18.24,3:155.170,23:1&sn=default&sv=1&p=1&f=select

访问，没问题，改变p的值，访问，没问题，OK本阶段完成。

2. 解析网页内容

通过上面的url，我们可以获取到服务器返回的 json格式的用户信息。代码如下：

import requests

def fetchURL(url):
'''
功能：访问 url 的网页，获取网页内容并返回
参数：
url ：目标网页的 url
返回：目标网页的 html 内容
'''
headers = {
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
'Cookie': 'guider_quick_search=on; SESSION_HASH=f09e081981a0b33c26d705c2f3f82e8f495a7b56; PHPSESSID=e29e59d3eacad9c6d809b9536181b5b4; is_searchv2=1; save_jy_login_name=18511431317; _gscu_1380850711=416803627ubhq917; stadate1=183524746; myloc=11%7C1101; myage=23; mysex=m; myuid=183524746; myincome=30; COMMON_HASH=4eb61151a289c408a92ea8f4c6fabea6; sl_jumper=%26cou%3D17%26omsg%3D0%26dia%3D0%26lst%3D2018-11-07; last_login_time=1541680402; upt=4mGnV9e6yqDoj%2AYFb0HCpSHd%2AYI3QGoganAnz59E44s4XkzQZ%2AWDMsf5rroYqRjaqWTemZZim0CfY82DFak-; user_attr=000000; main_search:184524746=%7C%7C%7C00; user_access=1; PROFILE=184524746%3ASmartHe%3Am%3Aimages1.jyimg.com%2Fw4%2Fglobal%2Fi%3A0%3A%3A1%3Azwzp_m.jpg%3A1%3A1%3A50%3A10; pop_avatar=1; RAW_HASH=n%2AazUTWUS0GYo8ZctR5CKRgVKDnhyNymEBbT2OXyl07tRdZ9PAsEOtWx3s8I5YIF5MWb0z30oe-qBeUo6svsjhlzdf-n8coBNKnSzhxLugttBIs.; pop_time=1541680493356'
}

try:
r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = 'unicode_escape'
print(r.url)
return r.text
except requests.HTTPError as e:
print(e)
print("HTTPError")
except requests.RequestException as e:
print(e)
except:
print("Unknown Error !")


if __name__ == '__main__':
url = 'http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=2:18.24,3:155.170,23:1&sn=default&sv=1&p=1&f=select'
html = fetchURL(url)
print(html)

在这里有几个需要注意的点：

① 网站的搜索功能是需要登陆的，否则会一直弹框提示登陆，所以我只好注册了个账号，登陆后将 cookie 放入爬虫的请求头中，这样便可正确访问数据（不过在爬虫爬取过程中，我发现其实不需要登陆也可以获取，我是不是亏了？！！）

②直接打开请求返回的结果，其实是不能“看”的，通篇没一个汉字，都是各种类似于乱码的东西，这其实是一种 unicode 编码，将汉字转化成 \u 开头的一串字符。

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

想要解码成汉字也很容易，只需要将 response 的编码方式 encoding 设定为 unicode_escape 即可。

r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = 'unicode_escape'
print(r.text)

③为了尽可能多一点的寻找，我决定将“地区”这一条件限制去掉，重新访问，果然，搜到的小姐姐由原先的 3229 瞬间涨到了 59146 ，这下可以开心的爬了。

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

３.提取关键信息

通过分析上面获取到的 josn 文件，我们可以知道，这里面包含了用户的相当多的信息，包括用户ID，昵称，性别，年龄，身高，照片，学历，城市，择偶标准，以及个性宣言等（不过有些信息在这里是获取不到的，需要进入个人主页才能查看，比如收入等）。

import json

def parserHtml(html):
'''
功能：根据参数 html 给定的内存型 HTML 文件，尝试解析其结构，获取所需内容
参数：
html：类似文件的内存 HTML 文本对象
'''
s = json.loads(html)

usrinfo = []

for key in s['userInfo']:

blist = []

uid = key['uid']
nickname = key['nickname']
sex = key['sex']
age = key['age']
work_location = key['work_location']
height = key['height']
education = key['education']

matchCondition = key['matchCondition']
marriage = key['marriage']
income = key['income']
shortnote = key['shortnote']
image = key['image']

blist.append(uid)
blist.append(nickname)
blist.append(sex)
blist.append(age)
blist.append(work_location)
blist.append(height)
blist.append(education)
blist.append(matchCondition)
blist.append(marriage)
blist.append(income)
blist.append(shortnote)
blist.append(image)

usrinfo.append(blist)
print(nickname,age,work_location)

#writePage(usrinfo)
print('---' * 20)

部分运行结果如下：

http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=2:18.24,3:155.170,23:1&sn=default&sv=1&p=1&f=select
小文文 23 西安
还单身的糖豆 18 济南
小了白了兔 24 怀化
小雅xy 24 深圳
惜梦缘 23 杭州
冬季 24 南京
qian141 21 石家庄
浪人心伤 24 闵行
高挑的柠檬 24 长沙
甜甜 23 郑州
------------------------------------------------------------
http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=2:18.24,3:155.170,23:1&sn=default&sv=1&p=2&f=select
蘑菇 24 武汉
低调宅女 24 南京
女士 21 南京
远处的一抹光 23 南京
娜娜 24 河北
我最喜欢你 24 洛阳
爱笑的香菇 24 广州
LLS 24 惠州
值得 24 无锡
宿媛 23 江北
------------------------------------------------------------

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

4. 保存输出文件

最后，只需要把提取出的信息写入csv文件，即可完成本次爬取的工作。下面是完整代码：

import requests
import json
import time

def fetchURL(url):
'''
功能：访问 url 的网页，获取网页内容并返回
参数：
url ：目标网页的 url
返回：目标网页的 html 内容
'''
headers = {
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
'Cookie': 'guider_quick_search=on; SESSION_HASH=f09e081981a0b33c26d705c2f3f82e8f495a7b56; PHPSESSID=e29e59d3eacad9c6d809b9536181b5b4; is_searchv2=1; save_jy_login_name=18511431317; _gscu_1380850711=416803627ubhq917; stadate1=183524746; myloc=11%7C1101; myage=23; mysex=m; myuid=183524746; myincome=30; COMMON_HASH=4eb61151a289c408a92ea8f4c6fabea6; sl_jumper=%26cou%3D17%26omsg%3D0%26dia%3D0%26lst%3D2018-11-07; last_login_time=1541680402; upt=4mGnV9e6yqDoj%2AYFb0HCpSHd%2AYI3QGoganAnz59E44s4XkzQZ%2AWDMsf5rroYqRjaqWTemZZim0CfY82DFak-; user_attr=000000; main_search:184524746=%7C%7C%7C00; user_access=1; PROFILE=184524746%3ASmartHe%3Am%3Aimages1.jyimg.com%2Fw4%2Fglobal%2Fi%3A0%3A%3A1%3Azwzp_m.jpg%3A1%3A1%3A50%3A10; pop_avatar=1; RAW_HASH=n%2AazUTWUS0GYo8ZctR5CKRgVKDnhyNymEBbT2OXyl07tRdZ9PAsEOtWx3s8I5YIF5MWb0z30oe-qBeUo6svsjhlzdf-n8coBNKnSzhxLugttBIs.; pop_time=1541680493356'
}

try:
r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = 'unicode_escape'
print(r.url)
return r.text
except requests.HTTPError as e:
print(e)
print("HTTPError")
except requests.RequestException as e:
print(e)
except:
print("Unknown Error !")

def parserHtml(html):
'''
功能：根据参数 html 给定的内存型 HTML 文件，尝试解析其结构，获取所需内容
参数：
html：类似文件的内存 HTML 文本对象
'''
s = json.loads(html)

usrinfo = []

for key in s['userInfo']:

blist = []

uid = key['uid']
nickname = key['nickname']
sex = key['sex']
age = key['age']
work_location = key['work_location']
height = key['height']
education = key['education']

matchCondition = key['matchCondition']
marriage = key['marriage']
income = key['income']
shortnote = key['shortnote']
image = key['image']

blist.append(uid)
blist.append(nickname)
blist.append(sex)
blist.append(age)
blist.append(work_location)
blist.append(height)
blist.append(education)
blist.append(matchCondition)
blist.append(marriage)
blist.append(income)
blist.append(shortnote)
blist.append(image)

usrinfo.append(blist)
print(nickname,age,work_location)

writePage(usrinfo)
print('---' * 20)


def writePage(urating):
'''
Function : To write the content of html into a local file
html : The response content
filename : the local filename to be used stored the response
'''

import pandas as pd
dataframe = pd.DataFrame(urating)
dataframe.to_csv('Jiayuan_UserInfo.csv', mode='a', index=False, sep=',', header=False)


if __name__ == '__main__':
for page in range(1, 5916):
url = 'http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=2:18.24,3:155.170,23:1&sn=default&sv=1&p=%s&f=select' % str(page)
html = fetchURL(url)
parserHtml(html)

# 为了降低被封ip的风险，每爬100页便歇5秒。
if page%100==99:
time.sleep(5)

后续工作

1. 文件去重

花了两个多小时，爬了5千多页，爬到了接近六万条数据，本来是一个相当开心的事情，但是当我打开文件，按用户ID 排序之后，发现！！！！

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

神魔鬼！！！居然有大量重复的数据，单就这个叫 “名芳” 的用户，便有两千多条，这能得了？！！！

为了验证是不是我程序哪儿出错了，我反复检查调试了很久。

我发现，如果只爬前100页的数据，则重复率较低，而100页之后，便开始大量的出现重复用户了；而且重复的数据并不是同一页中连续出现，而是来自不同页。

百思不得其解，遂求助大佬，大佬听完我的描述之后说，会不会是网站的数据本身便是有问题的？

为了解开这个疑惑，我决定去网站上手动查找，一探究竟，到底在100页之后，发生了什么事儿。

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

此网站的翻页功能用的相当蹩脚，只有首页，上一页和下一页，页码跳转也每次只能选择前后5页。点了好久终于到了一百多页之后，发现了一件令人震惊的事情。

这是我随手截的三页的截图，108页，109页，和110页，图片下方有截图为证，来感受一下，跟连连看似的。

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

好吧，同样的用户换个顺序来凑页数是吗，我现在就想看看去重之后究竟还剩多少个。

import pandas as pd

inputfile = "Jiayuan_UserInfo.csv"
outputfile = "Jiayuan_UserInfo_output.csv"

df = pd.read_csv(inputfile,encoding='utf-8',names=['uid','nickname','sex','age','work_location','height','education','matchCondition','marriage','income','shortnote','image'])

datalist = df.drop_duplicates()
datalist.to_csv(outputfile,encoding='utf-8',index=False, header=False)
print("Done!")

下面是运行结果：

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

堂堂接近6万人的搜索结果，去重之后居然只剩下不到1000人，再回头看看看看网站上 “有 59352 人符合条件”，是不是感觉啪啪打脸呢。用这种手段来营造用户量很大的假象，高明的很呐。

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据 - 文章图片

2.照片下载

抛开数据作假不说，我们此行的目的可是看小姐姐来的呢！

言归正传，我们来下载小姐姐们的照片咯，照片的链接在我们之前保存的csv文件中就有。

import requests
import pandas as pd

# 读取csv文件
userData = pd.read_csv("Jiayuan_UserInfo_output.csv",names=['uid','nickname','sex','age','work_location','height','education','matchCondition','marriage','income','shortnote','image'])

for line in range(len(userData)):
url = userData['image'][line]
img = requests.get(url).content
nickname = re.sub("[\s+\.\!\/_,$%^*(+\"\'?|]+|[+——！，。？、~@#￥%……&*（）▌]+", "",userData['nickname'][line])

filename = str(line) + '-' + nickname + '-' + str(userData['height'][line]) + '-' + str(userData['age'][line]) + '.jpg'
try:
with open('images_output/' + filename, 'wb') as f:
f.write(img)
except:
print(filename)

print("Finished!")

为了方便辨认，我这里将序号 + 用户昵称 + 身高 + 年龄作为图片的文件名

这里有一点需要注意的是，用户昵称中可能会包含一些奇形怪状的字符，以它们作为文件名的话，在保存文件的时候会出现异常，所以这里先将用户名做了一些处理，剔除其中的标点符号等字符，并且做了一个异常处理，即如果出现异常，则输出该文件名，并继续保存下一个。

于是乎，我得到了 996 张小姐姐的照片。。。

不过，这些已经不重要了，

这次，我不仅顺利爬到了全部小姐姐的数据，还发现了网站的一点“小秘密”。

此时的我无比的膨胀，我觉得我很牛逼

我觉得她们都配不上我。
---------------------
作者：机灵鹤
来源：CSDN
原文：https://blog.csdn.net/wenxuhonghe/article/details/83904396
版权声明：本文为博主原创文章，转载请附上博文链接！

内容总结

以上是互联网集市为您收集整理的（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据全部内容，希望文章能够帮你解决（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/840466.html

来源：【匿名】

【上一篇】PHP 中的 cURL 爬虫实战基础【下一篇】PHP使用swoole实现多线程爬虫

更多 ►

【（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据】教程文章相关的互联网学习教程文章

python, 爬虫爬取彩票网数据，pandas分析数据并实现可视化饼图【代码】【图】

import lxml import requests from lxml import etreeurl = ‘https://datachart.500.com/ssq/history/newinc/history.php?limit=5000&sort=0‘ resp = requests.get(url) hm = etree.HTML(resp.text) # 在返回页面内容的任意位置查找id=tdata的tbody标签，并取其下所有的tr标签内容，赋给trs列表 trs = hm.xpath("//tbody[@id=‘tdata‘]/tr")f = open(‘data.csv‘, ‘w‘) # 将攫取的数据存到data.csv文件 for tr in trs:data_l...

爬虫——使用多进程爬取视频数据【代码】【图】

以梨视频为例分析页面请求抓取网页数据。本次抓取梨视频生活分类页面下的部分视频数据，并保存到本地。一、分析网页　　打开抓取网页，查看网页代码结构，发现网页结构里面存放视频的地址并不是真正的视频地址。　　　　　　　　　　进入视频详情页面查看后，可以在response中找到真正的视频地址。保存这个地址的并不是标签，而是一个变量，我们使用re来解析这个变量，提取信息。　　　　　　　　二、代码实现"""使用多线程爬取梨...

爬虫再探实战（五）———爬取APP数据——超级课程表【二】——词频分析【代码】【图】

上一篇已经将数据抓到手了，那么来分析一下吧。这里是用python简单处理数据，之后用EXCEL 作图，没错，，，还是EXCEL。其实分析这些数据有更好的工具，比如R。。。不过目前不会啊，就先EXCEL凑活着用吧。　　　　这里一共分析了三个方面：TOP10 word；时间与发帖量的关系，日期与发帖量的关系。　　　　PROJECT1：TOP10 WORD　　　　注意这里的top_words.txt是我用xlrd取出文字后保存在记事本中，去掉标点后得到的（这个羞耻的过程...

Python爬虫爬取房天下数据-入MySql数据库【代码】【图】

Python爬取房天下某城市数据随着互联网时代的兴起，技术日新月异，掌握一门新技术对职业发展有着很深远的意义，做的第一个demo，以后会在爬虫和数据分析方便做更深的研究，本人不会做详细的文档，有哪里不足的地方，希望大牛们指点讲解。废话不多说，上代码。你需要的技能：（1）对前端知识熟悉会调试浏览器（2）熟练python基础知识，对一些常用的库熟练掌握（3）掌握一般关系型数据库import requests as req import time import p...

Python爬虫_三种数据解析方式【代码】

正则解析单字符：. : 除换行以外所有字符[] ：[aoe] [a-w] 匹配集合中任意一个字符\d ：数字 [0-9]\D : 非数字\w ：数字、字母、下划线、中文\W : 非\w\s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。\S : 非空白数量修饰：* : 任意多次 >=0+ : 至少1次 >=1? : 可有可无 0次或者1次{m} ：固定m次 hello{3,}{m,} ：至少m次{m,n} ：m-n次边界：$ : 以某某结尾 ^ : 以某某开头分组：(ab) 贪婪模式：...

R-大数据分析挖掘（2-R爬虫）【代码】

RCurl作者：==RCurl、XML、RSPython、Rmatlab个人主页：http://anson.ucdavis.edu/~duncan/（一）什么是curl curl：利用URL语法在命令行的方式下工作的开元文件传输工具 curl背后的库就是libcurl 功能为：获得页面，有关认证，上传下载，信息搜索（二）Http协议目前使用的是HTTP/1.1它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器（三）Rcurl三大函数1.install.packages("RCurl")2.getUrl()getF...

Python开发爬虫之BeautifulSoup解析网页篇：爬取安居客网站上北京二手房数据【代码】

目标：爬取安居客网站上前10页北京二手房的数据，包括二手房源的名称、价格、几室几厅、大小、建造年份、联系人、地址、标签等。网址为：https://beijing.anjuke.com/sale/BeautifulSoup官网：https://www.crummy.com/software/BeautifulSoup/直接上代码：import requests from bs4 import BeautifulSoupheaders={‘user-agent‘:‘Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0....

Python爬虫实战（一）使用urllib库爬取拉勾网数据【代码】

本笔记写于2020年2月4日。Python版本为3.7.4，编辑器是VS code主要参考资料有：B站视频av44518113Python官方文档PS：如果笔记中有任何错误，欢迎在评论中指出，我会及时回复并修改，谢谢问题描述看B站学习视频的时候，老师讲得第一个实战也就是爬取拉勾网数据是怎么也爬取不下来，弹幕里的方法也都不管用。所以开始求助伟大的度娘，度娘中大部分的解决方法都是使用requests库来爬取的，但目前只学习的urllib库，所以没办法采用。但...

python爬虫学习笔记(十)-数据提取之JsonPath的使用【代码】

1. JSON与JsonPATHJSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。JSON和XML的比较可谓不相上下。Python 中自带了JSON模块，直接import json就可以使用了。官方文档：http://docs.python.org/library/json.htmlJson在线解析网站：http://www.json.cn/#2. JSONjson简单说就是java...

使用Urllib爬虫(1)--简单的将数据爬到内存或硬盘中【代码】【图】

将数据爬取到内存中import urllib import urllib.request import re #打开京东网页并且进行读取，解码格式utf-8,ignore小细节自动略过，大大减少出错率 #将数据爬到内存中 #http://www.jd.com url = "http://www.jd.com" data = urllib.request.urlopen(url).read().decode("utf-8","ignore") pat = "<title>(.*?)</title>"#re.S模式修正符，网页数据往往是多行的，避免多行的影响print(re.compile(pat,re.S).findall(data))将数据...

Python3爬虫（八）数据存储之TXT、JSON、CSV【代码】

Infi-chu:http://www.cnblogs.com/Infi-chu/TXT文本存储TXT文本存储，方便，简单，几乎适用于任何平台。但是不利于检索。1.举例：使用requests获得网页源代码，然后使用pyquery解析库解析import requests from pyquery import PyQuery as pqurl = ‘https://www.zhihu.com/explore‘ header = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)‘ } html = requests.get(url,headers...

Python 爬虫大量数据清洗 ---- sql语句优化【代码】

1. 问题描述在做爬虫的时候，数据量很大，大约有五百百万条数据，假设有个字段是conmany_name（拍卖公司名称）,我们现在需要从五百万条数据里面查找出来五十家拍卖公司，　　并且要求字段 time（时间）大于7月一号，小于10月31号。2. 问题解决我们首先想到的解决办法是添加索引，对拍卖公司字段添加索引，但是因为日期是大于7月1号，小于10月31号，在这里用索引的效率很低，　　并且要重复的查询出来五十家公司，效率很低，有没有...

Python+PyQt5设计B站视频数据爬虫小程序【代码】【图】

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。以下文章来源于菜J学Python ，作者J哥前言目前，市场上有大量 Python图形用户界面（GUI）开发框架可供选择，如wxpython 、pyqt5、Gtk、Tk等。本文将用Python结合PyQt5制作一款B站视频数据爬虫小程序，可以通过输入关键字、页码以及选择存储路径后，下载相应的数据，效果如下：以下将详细介绍这个GUI工具的制作方法，如需本文...

股票数据爬虫【代码】【图】

老虎社区 ‘https://www.laohu8.com/stock/‘百度股票不行了 import requests import re from bs4 import BeautifulSoup import collections import traceback def getHtmlText(url):try:kv = {‘user-agent‘:‘Mozilla/5.0‘}r = requests.get(url,headers = kv)# print(r.status_code) r.raise_for_status()#print(r.apparent_encoding) GB2312 #r.encoding = r.apparent_encoding() GB2312 无法获取信息r.encoding =...

Python2爬虫获取的数据存储到MySQL中时报错"Incorrect string value: '\\xE6\\x96\\xB0\\xE9\\x97\\xBB' for column 'new' at row 1"的解决办法

由于一直使用python3进行编码，在使用Python2时，将爬虫数据连接数据库进行存储时，出现如上的报错，经查资料是数据库编码问题。如下转自：http://www.cnblogs.com/liuzhixin/p/6274821.html 的博客，在此感谢博主的慷慨分享之情。错误原因：我们可以看到错误提示中的字符0xF0 0x9F 0x98 0x84 ，这对应UTF-8编码格式中的4字节编码（UTF-8编码规范）。正常的汉字一般不会超过3个字节，为什么为出现4个字节呢？实际上是它对应的是...

爬虫 - 相关标签

爬虫程序爬虫代理ip 爬虫代码爬虫工程师爬虫工具爬虫是什么爬虫原理

爬虫 - 最热教程

论Python爬虫与MySQL数据库交互的坑 Python爬虫实战教程：爬取网易新闻；爬...【Python爬虫实践】异步XHR爬取在线编...node爬虫进阶之——登录 Python3爬虫实例之网易云音乐爬虫 java网页爬虫正则表达式 c# – 尝试使用ZeroMQ构建分布式爬虫 Python爬虫抓取技术的门道，大师级总结 [Python] [爬虫] 1.批量政府网站的招投...Python爬虫入门【10】：电子书多线程爬...

首页 / 爬虫 / （转）Python网络爬虫实战：世纪佳缘爬取近6万条数据

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据

内容导读

内容图文

内容总结

内容备注

内容手机端

【（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据】教程文章相关的互联网学习教程文章

python, 爬虫爬取彩票网数据，pandas分析数据并实现可视化饼图【代码】【图】

爬虫——使用多进程爬取视频数据【代码】【图】

爬虫再探实战（五）———爬取APP数据——超级课程表【二】——词频分析【代码】【图】

Python爬虫爬取房天下数据-入MySql数据库【代码】【图】

Python爬虫_三种数据解析方式【代码】

R-大数据分析挖掘（2-R爬虫）【代码】

Python开发爬虫之BeautifulSoup解析网页篇：爬取安居客网站上北京二手房数据【代码】

Python爬虫实战（一）使用urllib库爬取拉勾网数据【代码】

python爬虫学习笔记(十)-数据提取之JsonPath的使用【代码】

使用Urllib爬虫(1)--简单的将数据爬到内存或硬盘中【代码】【图】

Python3爬虫（八）数据存储之TXT、JSON、CSV【代码】

Python 爬虫大量数据清洗 ---- sql语句优化【代码】

Python+PyQt5设计B站视频数据爬虫小程序【代码】【图】

股票数据爬虫【代码】【图】

Python2爬虫获取的数据存储到MySQL中时报错"Incorrect string value: '\\xE6\\x96\\xB0\\xE9\\x97\\xBB' for column 'new' at row 1"的解决办法

PYTHON - 相关标签

爬虫 - 相关标签

数据 - 相关标签

爬虫 - 最新教程

爬虫 - 最热教程