Python中使用不同编码读写txt文件详解
admin
2023-07-31 02:29:39
0

复制代码 代码如下:
import os
import codecs
filenames=os.listdir(os.getcwd())

out=file(\”name.txt\”,\”w\”)
for filename in filenames:
 out.write(filename.decode(\”gb2312\”).encode(\”utf-8\”))
out.close()

将执行文件的当前目录及文件名写入到name.txt文件中,以utf-8格式保存
如果采用ANSI编码保存,用如下代码写入即可:

复制代码 代码如下:
out.write(filename)

打开文件并写入

引用codecs模块,对该模块目前不了解。在此记录下方法,有空掌握该模块功能及用法。

复制代码 代码如下:
import codecs
file=codecs.open(\”lol.txt\”,\”w\”,\”utf-8\”)
file.write(u\”我\”)
file.close()

读取ANSI编码的文本文件和utf-8编码的文件

读取ANSI编码文件

建立一个文件test.txt,文件格式用ANSI,内容为:

复制代码 代码如下:
abc中文

用python来读取

复制代码 代码如下:
# coding=gbk
print open(\”Test.txt\”).read()

结果:abc中文
读取utf-8编码文件(无BOM)
把文件格式改成UTF-8:
复制代码 代码如下:
结果:abc涓 枃

显然,这里需要解码:
复制代码 代码如下:
# -*- coding: utf-8 -*-
import codecs
print open(\”Test.txt\”).read().decode(\”utf-8\”)

结果:abc中文

读取utf-8编码文件(有BOM)

某些软件在保存一个以UTF-8编码的文件时,默认会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。在有些软件可以控制是否插入BOM。如果在有BOM的情况下,在读取时需要自己去掉这些字符,python中的codecs module定义了这个常量:

复制代码 代码如下:
# -*- coding: utf-8 -*-
import codecs
data = open(\”Test.txt\”).read()
if data[:3] == codecs.BOM_UTF8:
    data = data[3:]
print data.decode(\”utf-8\”)

结果:abc中文
在看下面的例子:

复制代码 代码如下:
# -*- coding: utf-8 -*-
data = open(\”name_utf8.txt\”).read()
u=data.decode(\”utf-8\”)
print u[1:]

打开utf-8格式的文件并读取utf-8字符串后,解码变成unicode对象。但是会把附加的三个字符同样进行转换,变成一个unicode字符。该字符不能被打印。所以为了正常显示,采用u[1:]的方式,过滤到第一个字符。
注意:在处理unicode中文字符串的时候,必须首先对它调用encode函数,转换成其它编码输出。

设置python默认编码

复制代码 代码如下:
import sys
reload(sys)
sys.setdefaultencoding(\”utf-8\”)
print sys.getdefaultencoding()

今天碰到了 python 编码问题, 报错信息如下

复制代码 代码如下:
Traceback (most recent call last):
  File \”ntpath.pyc\”, line 108, in join
UnicodeDecodeError: \’ascii\’ codec can\’t decode byte 0xa1 in position 36: ordinal not in range(128)

显然是当前的编码为ascii, 无法解析0xa1(十进制为161, 超过上限128). 进入python console后, 发现默认编码确实是 ascii, 验证过程为:
在python2.6中无法调用sys.setdefaultencoding()函数来修改默认编码,因为python在启动的时候会调用site.py文件,在这个文件中设置完默认编码后会删除sys的setdefaultencoding方法。不能再被调用了.  在确定sys已经导入的情况下, 可以reload sys这个模块之后, 再 sys.setdefaultencoding(\’utf8\’)

复制代码 代码如下:
import sys
reload(sys)
sys.setdefaultencoding(\”utf-8\”)
print sys.getdefaultencoding()

确实有效, 根据 limodou 讲解,  site.py 是 python 解释器启动后, 默认加载的一个脚本. 如果使用 python -S 启动的话, 将不会自动加载 site.py.

上面写的挺啰嗦的.

==================================
如何永久地将默认编码设置为utf-8呢?  有2种方法:
==================================

第一个方法<不推荐>: 编辑site.py, 修改setencoding()函数, 强制设置为 utf-8
第二个方法<推荐>: 增加一个名为 sitecustomize.py, 推荐存放的路径为 site-packages 目录下
sitecustomize.py 是在 site.py 被import 执行的, 因为 sys.setdefaultencoding() 是在 site.py 的最后删除的, 所以, 可以在 sitecustomize.py 使用 sys.setdefaultencoding().

复制代码 代码如下:
import sys  
sys.setdefaultencoding(\’utf-8\’)

既然 sitecustomize.py 能被自动加载,  所以除了设置编码外, 也可以设置一些其他的东西
字符串的编码
复制代码 代码如下:
s1=\’中文\’

像上面那样直接输入的字符串是按照代码文件的编码来处理的,如果是unicode编码,有以下三种方式:
复制代码 代码如下:
1 s1 = u\’中文\’
2 s2 = unicode(\’中文\’,\’gbk\’)
3 s3 = s1.decode(\’gbk\’)

unicode是一个内置函数,第二个参数指示源字符串的编码格式。
decode是任何字符串具有的方法,将字符串转换成unicode格式,参数指示源字符串的编码格式。
encode也是任何字符串具有的方法,将字符串转换成参数指定的格式。

相关内容

热门资讯

Mobi、epub格式电子书如... 在wps里全局设置里有一个文件关联,打开,勾选电子书文件选项就可以了。
定时清理删除C:\Progra... C:\Program Files (x86)下面很多scoped_dir开头的文件夹 写个批处理 定...
scoped_dir32_70... 一台虚拟机C盘总是莫名奇妙的空间用完,导致很多软件没法再运行。经过仔细检查发现是C:\Program...
500 行 Python 代码... 语法分析器描述了一个句子的语法结构,用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义,以我们...
小程序支付时提示:appid和... [Q]小程序支付时提示:appid和mch_id不匹配 [A]小程序和微信支付没有进行关联,访问“小...
pycparser 是一个用... `pycparser` 是一个用 Python 编写的 C 语言解析器。它可以用来解析 C 代码并构...
微信小程序使用slider实现... 众所周知哈,微信小程序里面的音频播放是没有进度条的,但最近有个项目呢,客户要求音频要有进度条控制,所...
65536是2的几次方 计算2... 65536是2的16次方:65536=2⁶ 65536是256的2次方:65536=256 6553...
Apache Doris 2.... 亲爱的社区小伙伴们,我们很高兴地向大家宣布,Apache Doris 2.0.0 版本已于...
项目管理和工程管理的区别 项目管理 项目管理,顾名思义就是专注于开发和完成项目的管理,以实现目标并满足成功标准和项目要求。 工...