python中转换模块codecs的讲解（附示例）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python中转换模块codecs的讲解（附示例），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2897字，纯文字阅读大概需要5分钟。

内容图文

本篇文章给大家带来的内容是关于python中转换模块codecs的讲解（附示例），有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。

0、编码

编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

str1.decode('gb2312')    #将gb2312编码的字符串转换成unicode编码
str2.encode('gb2312')    #将unicode编码的字符串转换成gb2312编码

注意事项：

s=‘中文’ 如果是在utf8的文件中，该字符串就是utf8编码，如果是在gb2312的文件中，则其编码为gb2312。这种情况下，要进行编码转换，都需要先用decode方法将其转换成unicode编码，再使用encode方法将其转换成其他编码。
在没有指定特定的编码方式时，都是使用的系统默认编码创建的代码文件。
如果字符串是这样定义： s=u’中文’ 则该字符串的编码就被指定为unicode了，即python的内部编码，而与代码文件本身的编码无关。只需要直接使用encode方法将其转换成指定编码即可
如果一个字符串已经是unicode了，再进行解码则将出错,因此通常要对其编码方式是否为unicode进行判断isinstance(s, unicode) #用来判断是否为unicode

1、查看编码方式

（1）对于我们经常使用的记事本，“文件” -> “另存为”，可查看到当前的编码方式。
（2）用notepad++打开，点击“菜单栏” -> “格式”可以查看到。
（3）UltraEdit：
不同编码的文本，是根据文本的前两个字节来定义其编码格式的，定义如下：

ANSI：　　　　　　　　无格式定义；
Unicode： 　　　　　　前两个字节为FFFE；
Unicode big endian：　前两字节为FEFF；　
UTF-8：　 　　　　　　前两字节为EFBB；　
这样通过前面两个字节就可以判定出文件的具体格式了。

2、python编码

当python要做编码转换的时候，会借助于内部的编码，转换过程是这样的：
原有编码 -> 内部编码 -> 目的编码

python的内部是使用unicode来处理的，但是unicode的使用需要考虑的是它的编码格式有两种，一是UCS-2，它一共有65536个码位，另一种是UCS-4，它有2147483648g个码位。

判断安装的python是用什么编码方式：

import sys
print(sys.maxunicode)

如果输出的值为65535,那么就是UCS-2,如果输出是1114111就是UCS-4编码。

转换成内部码：

c = "风卷残云"
print(type(c))
c = bytes(c,encoding='utf-8')
print(type(c))
print(c)
b = codecs.decode(c, "utf-8") #与c.decode()等效
print(type(b))
print(b)
print(c.decode())

输出:

<class 'str'>
<class 'bytes'>
b'\xe9\xa3\x8e\xe5\x8d\xb7\xe6\xae\x8b\xe4\xba\x91'
<class 'str'>
风卷残云
风卷残云

3、codecs模块

codecs专门用作编码转换。通过它的接口是可以扩展到其他关于代码方面的转换。

在python3.x中可以直接将bytes类型的数据转换成其他编码格式，而不用手动先转成unicode。

import codecs
a = "我爱你"
 # 创建utf-8编码器
look = codecs.lookup('utf-8')
type(a)
a = bytes(a,encoding='utf-8')
b = look.decode(a) 
print(b)

输出:

('我爱你', 9)

返回的元组中b[0]是数据，b[1]是长度。

** 用codecs提供的open方法来指定打开的文件的语言编码，它会在读取的时候自动转换为内部unicode**

f = codecs.open(filepath, 'r', 'utf8')

读取方式有很多种，这里的f是可以用for循环遍历的，当然也可以直接用readline或者readlines函数方法来读取。

#for i in f:
#    print(i)
#f.readline()
#f.read()
#f.readlines()

以上就是python中转换模块codecs的讲解（附示例）的详细内容，更多请关注Gxl网其它相关文章！

内容总结

以上是互联网集市为您收集整理的python中转换模块codecs的讲解（附示例）全部内容，希望文章能够帮你解决python中转换模块codecs的讲解（附示例）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端