[求助]用 urllib2 抓取到的一个页面出现了惨不忍睹的编码，我该怎么做？

一般我碰上这种问题，以xxx为例..
首先，#coding=utf-8在第一行不可少
当然随你喜欢可以换成#coding: utf-8 或者#coding: -*- utf-8 -*-
然后xxx = xx

开始尝试如下：

print str(xxx)
print str(xxx).decode('utf-8')
print str(xxx).encode('utf-8')
print str(xxx).decode('gbk')
print str(xxx).encode('gbk')
print xxx.decode('utf-8')
print xxx.encode('utf-8')
print xxx.decode('gbk')
print xxx.encode('gbk')

以上。
如果还不能解决，你看看页面编码是啥..
还不行..反正我是行..

html.decode('gbk', 'replace')

明显是gzip过的吧

def fetchHtml(url):
#url="http://www.baidu.com/s?wd="+urllib2.quote(keyword)
try:
request = urllib2.Request(url)
request.add_header('Accept-encoding', 'gzip')
opener = urllib2.build_opener()
f = opener.open(request)
isGzip = f.headers.get('Content-Encoding')
#print isGzip
if isGzip :
compresseddata = f.read()
compressedstream = StringIO.StringIO(compresseddata)
gzipper = gzip.GzipFile(fileobj=compressedstream)
data = gzipper.read()
else:
data = f.read()
return data
except exceptions,e:
print e
#returnhtml=urllib2.urlopen(url).read()
return fetchHtml(url)

@richiefans urllib2默认又不发gzip头。。
LZ的代码也仅仅是编码问题

我在我电脑上正常跑啊..lz为何有错 orz

import sys
reload(sys)
sys.setdefaultencoding("UTF-8")

# -*- coding: UTF-8 -*-

import urllib2
url = "http://sports.sina.com.cn/g/premierleague/index.shtml"
response = urllib2.urlopen(url)
html = response.read()
print html

可以试试这个
import urllib2

url = "http://sports.sina.com.cn/g/premierleague/index.shtml"
response = urllib2.urlopen(url)
html = response.read()
print html.decode('gb2312', 'ignore').encode('utf-8')

我把楼上的方法都试了，都是乱码。。

漏了一句，原页面第5行定义了charset

<meta http-equiv="Content-type" content="text/html; charset=gb2312" />

position 1-2: illegal multibyte sequence 打出十六进制，将不合法的逐一替换为空。或许只是几个字的编码有问题。

折腾了一下，应该是如 3 楼所说是 gzip 过的缘故。我使用

囧了，上面那个回复按错发出去了，删不掉，这里继续

折腾了一下，应该是如 3 楼所说是 gzip 过的缘故。我使用：
html = gzip.GzipFile(fileobj=StringIO.StringIO(html), mode="r")
html = html.read().decode('gbk').encode('utf-8')
终于输出可读的内容了，编码也正确了。

于是，对于 gzip 解码又有了个疑问，就是为什么不能直接用 zlib.decompress() 来直接解压缩字符串，而非要通过 gzip 和 StringIO 麻烦兮兮地绕道呢？如果我使用：
html = zlib.decompress(html)
会输出错误：
zlib.error: Error -3 while decompressing data: incorrect header check

Google一下发现了：
http://stackoverflow.com/questions/1838699/how-can-i-decompress-a-gzip-stream-with-zlib
有同学遇到类似的问题，也可以参考这里。

主贴中的问题算是解决了，非常感谢所有楼上的同学！

@binux 因为有些网络环境会在不发gzip头的时候返回gzip内容。比如有些反代或者cdn在没搞好的情况下……

@msg7086 我估计新浪不会，因为我测试是ok的，估计是有透明代理

之前也踩过这个坑，抓sina默认拿到被gzip过的

@binux 透明代理 -> 反代

@Crossin 握手。我也是之前被一些坑爹反代坑过……

@msg7086 我指的是用户侧的代理，比如小ISP搞的

gzip
我之前抓新浪，有时返回的是gzip压缩过的，有时没有gzip压缩
我是这样判断的
flag = 'Content-Encoding' in headers and headers['Content-Encoding'] == "gzip"

自侦测编码的库——>chardet
你值得拥有

请使用 requests 库