【技术分享】python爬虫之scrapy(系列一)
包工头又来发看不懂的技术了[滑稽][大拇指]
能看懂的都是大佬
http://cdn.u1.huluxia.com/g4/M03/EB/D4/rBAAdl-UGFmAFFxvAACwAHxMa7A927.jpg
scrapy安装
在windows下,在dos中运行pip install Scrapy报错
采用pip安装,安装时可能会出现安装错误Microsoft Visual C++ 14.0 is required
下载twisted对应版本的whl文件(如我的Twisted?18.7.0?cp37?cp37m?win_amd64.whl),cp后面是python版本,amd64代表64位,运行命令:
pip install C:\python3.7\Scripts\Twisted
其中install后面为下载的whl文件的完整路径名
安装完成后,再次运行:
pip install Scrapy
即可成功。http://cdn.u1.huluxia.com/g4/M03/EB/D4/rBAAdl-UGFqAImiXAADOJzJUyNY375.jpg
可选择的IDE和编辑器
IDE:PyCharm 、 Visual Studio
编辑器:Vim 、Sublime Text等
可选择的Python版本
尽管Python3 是大势所趋,但是我们目前的课程还是基于Python2.7版本,理由如下:
Python2 现在已经非常稳定,而且将会一直流行很多年;
Python社区很多成熟的模块目前还不支持Python3,还需要一些时间做移植工作;
正因为如此,现在找工作大部分还是用 Python2更多一些;
掌握 Python2 后,再过度到 Python3 也很容易。http://cdn.u1.huluxia.com/g4/M03/EB/D4/rBAAdl-UGFqAU8r0AAK3lxYhz8Y728.jpg
老规矩 楼层开始更新
一个帖子发不完 明天继续发[滑稽][心碎]
页:
[1]