Python语言读取的文件中含有ascii控制字符怎么处理

python 读取文件时能指定编码吗~

代码如下:

import os
import codecs
filenames=os.listdir(os.getcwd())
out=file("name.txt","w")
for filename in filenames:
out.write(filename.decode("gb2312").encode("utf-8"))
out.close()

将执行文件的当前目录及文件名写入到name.txt文件中，以utf-8格式保存
如果采用ANSI编码保存，用如下代码写入即可：

复制代码代码如下:

out.write(filename)

打开文件并写入
引用codecs模块，对该模块目前不了解。在此记录下方法，有空掌握该模块功能及用法。

复制代码代码如下:

import codecs
file=codecs.open("lol.txt","w","utf-8")
file.write(u"我")
file.close()

读取ANSI编码的文本文件和utf-8编码的文件
读取ANSI编码文件
建立一个文件test.txt，文件格式用ANSI，内容为:

复制代码代码如下:

abc中文

用python来读取

复制代码代码如下:

# coding=gbk
print open("Test.txt").read()


结果：abc中文
读取utf-8编码文件（无BOM）
把文件格式改成UTF-8：

复制代码代码如下:

结果：abc涓 枃


显然，这里需要解码：

复制代码代码如下:

# -*- coding: utf-8 -*-
import codecs
print open("Test.txt").read().decode("utf-8")


结果：abc中文
读取utf-8编码文件（有BOM）
某些软件在保存一个以UTF-8编码的文件时，默认会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。在有些软件可以控制是否插入BOM。如果在有BOM的情况下，在读取时需要自己去掉这些字符，python中的codecs module定义了这个常量：

复制代码代码如下:

# -*- coding: utf-8 -*-
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")

结果：abc中文
在看下面的例子：

复制代码代码如下:

# -*- coding: utf-8 -*-
data = open("name_utf8.txt").read()
u=data.decode("utf-8")
print u[1:]

打开utf-8格式的文件并读取utf-8字符串后，解码变成unicode对象。但是会把附加的三个字符同样进行转换，变成一个unicode字符。该字符不能被打印。所以为了正常显示，采用u[1:]的方式，过滤到第一个字符。
注意：在处理unicode中文字符串的时候，必须首先对它调用encode函数，转换成其它编码输出。
设置python默认编码
复制代码代码如下:

import sys
reload(sys)
sys.setdefaultencoding("utf-8")
print sys.getdefaultencoding()

今天碰到了 python 编码问题, 报错信息如下

复制代码代码如下:

Traceback (most recent call last):
File "ntpath.pyc", line 108, in join
UnicodeDecodeError: 'ascii' codec can't decode byte 0xa1 in position 36: ordinal not in range(128)

显然是当前的编码为ascii, 无法解析0xa1(十进制为161, 超过上限128). 进入python console后, 发现默认编码确实是 ascii, 验证过程为:
在python2.6中无法调用sys.setdefaultencoding()函数来修改默认编码，因为python在启动的时候会调用site.py文件，在这个文件中设置完默认编码后会删除sys的setdefaultencoding方法。不能再被调用了. 在确定sys已经导入的情况下, 可以reload sys这个模块之后, 再 sys.setdefaultencoding('utf8')
复制代码代码如下:

import sys
reload(sys)
sys.setdefaultencoding("utf-8")
print sys.getdefaultencoding()

确实有效, 根据 limodou 讲解, site.py 是 python 解释器启动后, 默认加载的一个脚本. 如果使用 python -S 启动的话, 将不会自动加载 site.py.
上面写的挺啰嗦的.
==================================
如何永久地将默认编码设置为utf-8呢? 有2种方法:
==================================
第一个方法: 编辑site.py, 修改setencoding()函数, 强制设置为 utf-8
第二个方法: 增加一个名为 sitecustomize.py, 推荐存放的路径为 site-packages 目录下
sitecustomize.py 是在 site.py 被import 执行的, 因为 sys.setdefaultencoding() 是在 site.py 的最后删除的, 所以, 可以在 sitecustomize.py 使用 sys.setdefaultencoding().

复制代码代码如下:

import sys
sys.setdefaultencoding('utf-8')


既然 sitecustomize.py 能被自动加载, 所以除了设置编码外, 也可以设置一些其他的东西
字符串的编码

复制代码代码如下:

s1='中文'


像上面那样直接输入的字符串是按照代码文件的编码来处理的，如果是unicode编码，有以下三种方式：

复制代码代码如下:

1 s1 = u'中文'
2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')


unicode是一个内置函数，第二个参数指示源字符串的编码格式。
decode是任何字符串具有的方法，将字符串转换成unicode格式，参数指示源字符串的编码格式。
encode也是任何字符串具有的方法，将字符串转换成参数指定的格式。

1、打开python语言命令窗口，定义一个字符串变量a并赋值，调用zfill方法，这个方法是使用0填充字符串。

2、如果字符串中包含了字母，调用upper方法是将字符串中的字母全部转换为大写字母。

3、字符串中的translate方法是替换指定位置的字符串，注意参数传值。

4、如果只是要每个单词的第一个字母大写，调用title方法。

5、如果想要将字符串中的大写字母转换为小写字母，小写转换为大写，可以使用swapcase方法。

6、字符串中含有空格或特定字符，需要去掉，可以使用strip方法。

就readline()按行读就好了，因为python不会过滤掉任何东西。
然后遍历返回的字符串中的每个字符，用ord()函数获取字符对应的ascii值。

python是当下十分火爆的编程语言，尤其在人工智能应用方面。如果有心从事编程方向的工作，最好到专业机构深入学习、多实践，更贴近市场，这样更有利于将来的发展。

---

锦屏县14761357694： python: 从一个文件夹中提取含有特定文件名的文件并放到新文件夹中 - ？
尧姚灯盏： import os,shutil for filename in open(result.out):shutil.copy(os.path.join(r'文件夹A',filename+'.mol'),r'文件夹B')

锦屏县14761357694： python语言,怎样把一个文件中所有含有abcd字符串的一整行提取出来 - ？
尧姚灯盏： for l in open('1.txt'): if 'abcd' in l: print l

锦屏县14761357694： 求一个用python读取文档中的名字然后创建多个文件夹同时以创建文件夹名字命名的一个txt文件 - ？
尧姚灯盏： 代码如下,就是这么简单: import osbasepath = 'c:\data'; for line in open('a.txt'):basename = line.strip()folder = os.path.join(basepath, basename)filename = os.path.join(folder, basename)os.mkdir(folder)open(filename, 'w').close() 望采纳,谢谢支持!

锦屏县14761357694： python 读取txt文件到列表中 - ？
尧姚灯盏： 1 2 3 4 5 6 7 8 9 10 11 12 13 14#-*- coding:utf-8 -*-f =open('123.txt', 'r') #文件为123.txt sourceInLines =f.readlines() #按行读出文件内容 f.close() new =[] #定义一个空列表,用来存储结果 forline insourceInLines:temp1 =line.strip('\n') #去掉每...

锦屏县14761357694： python 提取某txt文件某字段不重复数据 并返回到新的txt文档中 - ？
尧姚灯盏： for more pythonic:import re def contextset(istream, regex): return set([ found.groups()[0] for found in filter(None, map( lambda ln: re.search(regex, ln), istream)) ]) with open(＂a.txt＂, 'rt') as src, open(＂b.txt＂, 'wt') as sto: sto.write(＂\n＂.join(list( contextset(src, r'contact_info=(\d+)') )))

锦屏县14761357694： 两个文本中,用python,将就是要把a.txt 中的包含了b.txt的词都删除掉 - ？
尧姚灯盏： txtpath1=r＂a.txt＂ txtpath2=r＂b.txt＂ txtpath3=r＂c.txt＂ fpa=open(txtpath1) fpb=open(txtpath2) fpc=open(txtpath3,＂w＂) arrA=[] for linea in fpa.readlines(): arrA.append(linea) arrB=[] for lineb in fpb.readlines(): arrB.append(lineb) for i in range(len(...

锦屏县14761357694： 用python写一段程序 ,找文章中有多少个这个词 - ？
尧姚灯盏： 我不知道你究竟是要匹配a. 还是要把这种情况除外.===========假设text字符串就是你的那个txt里面的内容了===================省略了上面的 open啊readline等等=======t= import re c1=re.findall(r'\ba\b',text) #包含a. #注意, “ a.a ”会被匹配两次,因为“.”和“ ”是一样的 c2=re.findall(r'\ba\s',text) #不包含a.an,the就换成r'\ban\b'和r'\bthe\b'#最后数c1的元素个数就是匹配的个数 len(c1)

锦屏县14761357694： python读取csv文件时,数据内容含有中文,读取出错,怎么办 - ？
尧姚灯盏： 先看一下这个文件编码格式 在打开文件open的时候设定encoding参数 或者别用open,而是用codecs库 import codecs F=codecs.open('xxx.csv','r','utf-8') content=F.read() F.close() print(content)

锦屏县14761357694： python 从2个文件中提取不相同的内容并输出到第三个文件中 - ？
尧姚灯盏： 简单写了一个#-*- coding: UTF-8 -*- import re import sys import os str1=[] str2=[] str_dump=[] fa=open(＂A.txt＂,'r') fb=open(＂B.txt＂,'r') fc=open(＂C.txt＂,'w+')#将A.txt的内容逐行读到str1中 for line in fa.readlines(): str1.append(line.replace(＂\n＂,'')...

锦屏县14761357694： 用python读取文本文件,对读出的每一行进行操作,这个怎么写? - ？
尧姚灯盏： 用python读取文本文件,对读出的每一行进行操作,写法如下: f = open(＂test.txt＂, ＂r＂)while True:line = f.readline()if line:pass # do something hereline=line.strip()p=line.rfind('.')filename=line[0:p]print ＂create %s＂%lineelse:break...