当前位置 博文首页 > python中字符串的编码与解码详析

    python中字符串的编码与解码详析

    作者:Dog.泰迪 时间:2021-08-02 17:47

    目录
    • 1. 常用的编码
    • 2.补充:计算机表示的单位:
    • 3.ASCII编码
    • 2.GBK和GB2312编码
    • 4.Unicode
    • 5.UTF-8编码
    • 6.编码和解码
      • 1.编码操作
      • 2.解码操作

    1. 常用的编码

    • ASCII:只能表示一些字母,数字和特殊的字符,占一个字节
    • GBK:国家简体中文字符集和繁体字符集,兼容ASCII,占两个字节
    • Unicode:能够表示全世界上所有的字符,Unicode有人说占4个字节也有人说占2个字节,但中文占2个字节
    • UTF-8:Unicode的压缩版,占1~3个字节,其中中文占三个字节

    2.补充:计算机表示的单位:

    bit: 位,计算机最小的表示单位

    bytes:字节,最小的存储单位,1bytes=8bit,1bytes简写成1B

    1KB = 1024B

    1MB = 1024KB

    1GB = 1024MB

    1TB = 1024GB

    ......

    3.ASCII编码

    ASCII编码是基于拉丁字母一套编码,主要是显示现代英语和其西欧语言,是最早通用的单字节编码系统,具体ASCII对照表如下:

    在对照表中需要记住的是大写字母A的编码是65,小写字母a的编码的97即可。

    在python中可以使用chr和ord方法进行转换:

    # 将数字类型转换成ASCII对应的字符
    print(chr(97)) # a
    # 将数字转换成对应的数据
    print(ord("A")) # 65
    # 或者使用
    

    但随着事件的发展,ASCII编码扩展到了256个字符,编码 对照表如下:

    其中后128个字符称为扩展ASCII码

    2.GBK和GB2312编码

    由于ASCII编码只能由256个字符组成,然只能由1个字节来表示中文是不可能的,因此制定了GB2312编码,用来表示中文的对照表

    4.Unicode

    为了解决各个国家编码冲突的问题,Unicode编码就因此而生,Unicode把所有语言都统一到一套编码里面,就会避免冲突,产生乱码。

    Unicodeb标准在不断发展,最常用的是用两个字节表示一个字符,也有的字符是4个字节,但是中文是占两个字节。如果统一成Unicode编码,在存储和传输上就不划算

    5.UTF-8编码

    为了解决Unicode编码存储过大的问题,就推出了可变长编码UTF-8,UTF-8编码把一个Unicode字符依据不同的数据大小编程1~6个字节,其中中文就占3个字节

    6.编码和解码

    1.编码操作

    可以通过encode进行编码,其中语法如下:

    对字符串进行ASCII编码(只能转换数字,英文字母和一些符号)

    # 方式1: 通过bytes方法
    bytes('a', 'ASCII')
    # 方式2: 通过encode方法进行
    'a'.encode('ASCII') 
    

    将字符串转换成gbk编码格式

    # 方式1: 通过encode方法进行
    print('你好'.encode('GBK')) # 编码之后的结果为:b'\xc4\xe3\xba\xc3'
    # 方式2: 通过bytes类型
    print(bytes('我爱你', 'GBK')) # 编码之后的结果为:b'\xce\xd2\xb0\xae\xc4\xe3'
    

    将字符串转换成Unicode编码格式

    # 方式1: 通过encode方法进行
    print('你好'.encode('unicode_escape')) # 编码之后的结果为:b'\\u4f60\\u597d'
    # 方式2: 通过bytes类型
    print(bytes('我爱你', 'unicode_escape')) # 编码之后的结果为:b'\\u6211\\u7231\\u4f60'
    

    将字符串转换成UTF-8编码格式

    # 方式1: 通过encode方法进行
    print('你好'.encode('utf-8')) # 编码之后的结果为:b'\xe4\xbd\xa0\xe5\xa5\xbd'
    # 方式2: 通过bytes类型
    print(bytes('我爱你', 'utf-8')) # 编码之后的结果为:b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'
    

    2.解码操作

    将GBK编码格式转换成字符串

    # 通过decode方法解码
    print(b'\xc4\xe3\xba\xc3\xce\xd2\xb0\xae\xc4\xe3'.decode('GBK')) # 解码之后结果为:你好我爱你
    

    将UTF-8编码格式转换成字符串

    # 通过decode方法解码
    print(b'\xe4\xbd\xa0\xe5\xa5\xbd\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'.decode('utf-8')) # 解码之后结果为:你好我爱你
    

    将Uniconde编码格式转换成字符串

    # 通过decode方法解码
    print(b'\\u4f60\\u597d\\u6211\\u7231\\u4f60'.decode('GBK')) # 解码之后结果为:你好我爱你
    jsjbwy