The Seven Year Itch.

MENU

scrapy unicode编码问题

March 17, 2017 • Read: 321 • Python

scrapy 在爬虫的时候使用xpath提取到的信息全部是 u'u5c97....'这样的字符。所以这样的话在输出的时候不知道自己提取到的信息到底有木有啊=-=

解决方案:

在spider程序中。输出的时候加这两句,当然需要先import codecs json

    
 item = json.dumps(dict(item)) + "\n"

 ss = item.decode('unicode_escape')

 print ss

存储的时候遇到编码问题需要这样写:
1

然后再setting里面将ITEM_PIPELINES的注释取消掉。

Tags: None
Archives QR Code
QR Code for this page
Tipping QR Code