使用Scrapy中的Request的时候，怎么把拿到的内容编码转换为utf-8
发布网友
发布时间：2022-04-22 20:45
共1个回答
热心网友
时间：2023-10-28 07:08
1、无论requests还是Request，都是一种http协议的实现包而已。
包返回报文的编码来源于HTTP协议所访问的网站，在http协议的头部会写明编码格式。
譬如 如下代码:
r=requests.get('http://www.baidu.com')
print r.headers['Content-Type']
输出：
text/html;charset=UTF-8
这里表明了应答报文的utf-8格式。
scrapy.Request也是一样。
2、如果返回的charset=gbk2312，你可以根据你的代码需要，确定是否转码成你需要的编码。
r=requests.get('http://www.baidu.com')
print r.content[:1000].decode('utf-8')
print r.content[:1000].decode('utf-8').encode('gbk')
