windows 下安装scrapy

scrapy logo
scrapy

最近的下班时间都在捣腾scrapy。一直想做一个小东西做一下信息采集,具体的内容先保密~~我猜要是写得好的话会放到git。由于平时带老爷车去公司而且是win的时候比较多所以尝试在win下装。但折腾了两三天了一直木有折腾好,正好今晚木有事又仔细的看了一下scrapy的文档,最终将scrapy撞到了win下用scrapy shell测试了一下妥妥的。ps:前两天在ubuntu上装了一下,几分钟就装完了,ubuntu正在抹杀玩linux折腾的乐趣,不过毕竟折腾是不务正业,能快速解决需求的系统就是好系统。

关于win下的安装其实也没啥特别重要的地方,以前折腾老是安装出错都是有原因的,根本的原因还是没有能够认认真真的阅读官方文档。测试环境win7 64 + python 2.7 64。由于是全新安装所以首先安装easy_install ,顺便说下easy_install 是个好东西,前两天装panda的时候帮了大忙。好事多磨,在安装easy_install时就出错了,以前的时候从来木有,可能是都是最新版的原因?

  File “C:Python27libmimetypes.py”, line 249, in enum_types
    ctype = ctype.encode(default_encoding) # omit in 3.x!
UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xb0 in position 1: ordinal not in range(128)
解决方法网上较多,但一劳永逸的方法是:
在python的Libsite-packages文件夹下新建一个sitecustomize.py
文件(sitecustomize.py is a special script; Python will try to import it on startup, so any code in it will be run automatically.),输入:

import sys
sys.setdefaultencoding('gb2312')
这样就能够自动的设置编码了。
最坑的是scrapy的依赖包,各种报错,所以为了避免解决我两个晚上都没有解决好的问题,骚年,把安装包里面编译好的二进制文件都装了吧。如lxml神马的。还有为了防止报错在安装前装个vc++ 2008 装express版就好了,体积小还能解决问题,不要信mingw下的make,实测我反正是不行,貌似gcc版本不太对。
不知道最近是不是老了,不太想折腾那些平常乐此不疲的事情了,更想最快的解决问题,难道这是一种成熟?

发表评论

电子邮件地址不会被公开。 必填项已用*标注

This site uses Akismet to reduce spam. Learn how your comment data is processed.