首页 / PYTHON / Python post 抓取数据时，遇 unicode 匹配问题 【解法】 及 知识点

Python post 抓取数据时，遇 unicode 匹配问题 【解法】 及 知识点

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python post 抓取数据时，遇 unicode 匹配问题 【解法】 及 知识点，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含995字，纯文字阅读大概需要2分钟。

内容图文

知识点来：先上代码。看懂的就直接用。不费话。
 
# -*- coding: utf-8 -*-
 
from bs4 import BeautifulSoup as bs

import urllib, json, re
 
import sys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
 
params = {}
params[‘username‘]= "abc"
params[‘passwd‘] = "pwd"
 
params = urllib.urlencode(params)
data = urllib.urlopen(siteurl, params)
html = data.read()
soup = bs(html,‘html.parser‘ , from_encoding=‘utf-8‘)
content = soup.prettify( formatter="html" )
 
contentStr = soup.get_text()
 
out = re.findall(r" (.*?) 这里可以用中文",contentStr)
print out
 
 
----
知识点1：
开头要用好
# -*- coding: utf-8 -*-
这样先保证执行时编码正确
 
知识点2： 
import sys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
 
此条用于 让打开的文件及过程中的数据，编码正确。
 
知识点 3 ：
正则中的内容中文输入法要写正确。 双引号要用得小心。括号要识别好是中文的还是英文的。
 
知识点4： 
此法主要是 用于 python post 请求数据 
params = urllib.urlencode(params)
data = urllib.urlopen(siteurl, params)
 
以下为 get 的方法： 
data = urllib.urlopen(siteurl)
 
知识点5:
此为  python 2 的方法。python 3有点小差别。
 
----
以上知识点记住了，抓数据就比较简单了。
 
完
 
 

原文：https://www.cnblogs.com/iameric/p/12318025.html

内容总结

以上是互联网集市为您收集整理的Python post 抓取数据时，遇 unicode 匹配问题 【解法】 及 知识点全部内容，希望文章能够帮你解决Python post 抓取数据时，遇 unicode 匹配问题 【解法】 及 知识点所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1315745.html

来源：【匿名】