python3encode字符串且open写入文件乱码

python里写入文件出现乱码通常都是因为编码导致的。很多人说我已经encode设置为utf-8了呀，怎么还会出现乱码呢？

其实这里涉及到2个编码的问题

1、字符串的编码，比如我们爬虫返回的text的编码

2、文件的编码

要想不出现编码，必须保证文字的编码和文件的编码一致。

例子

from urllib import request
#json解析库，对应到lxml
import json
#json的解析语法，对应到xpath 如果不存在则需要 pip install jsonpath
import jsonpath


url = "http://www.lagou.com/lbs/getAllCitySearchLabels.json"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:67.0) Gecko/20100101 Firefox/67.0"}
my_request = request.Request(url, headers = headers)
response = request.urlopen(my_request)
#取出json文件里的内容，返回的格式是字符串
html = response.read()

#把json格式字符串转化为python对象，此处返回的是一个Unicode字符
unicodeStr = json.loads(html)

#从根节点开始，匹配name节点
city_list = jsonpath.jsonpath(unicodeStr, '$..name')

#dumps() 默认中文为ascii编码格式，ensure_ascii 默认为True
#禁用ascii编码格式，返回的Unicode字符串，方便使用
str = json.dumps(city_list, ensure_ascii = False)
#将Unicode字符串的编码改为utf-8
str = str.encode('utf-8').decode('utf-8')
#文件打开的时候需要保存编码为utf-8
with open("city.json", "w", encoding='utf-8') as f:
	f.write(str)

说明

1、str = str.encode('utf-8').decode('utf-8')。在Python3中，encode后的字符串格式变成了bytes格式了，因此我们这里又进行一次decode，将转换后的utf-8编码的bytes类型转化为string类型。

2、open("city.json", "w", encoding='utf-8') 打开文件，如果文件不存在，window系统新建文件时默认为ANSI格式编码，不支持中文。所以，我们应该尽量加上新建文件的编码类型。

字符串编码转换

# 1. 因为Python3默认字符串是unicode格式
unicodeStr = "你好地球"
print(unicodeStr) 

# 2. 再将 Unicode 编码格式字符串 转换成 GBK 编码
gbkData = unicodeStr.encode("GBK") print(gbkData) 


# 1. 再将 GBK 编码格式字符串 转化成 Unicode
unicodeStr = gbkData.decode("gbk") print(unicodeStr) 

# 2. 再将 Unicode 编码格式字符串转换成 UTF-8
utf8Str = unicodeStr.encode("UTF-8") print(utf8Str)