【技术分享】python爬虫之scrapy（系列一）

无名

包工头又来发看不懂的技术了[滑稽][大拇指]
能看懂的都是大佬


scrapy安装
在windows下，在dos中运行pip install Scrapy报错

采用pip安装，安装时可能会出现安装错误Microsoft Visual C++ 14.0 is required

下载twisted对应版本的whl文件（如我的Twisted?18.7.0?cp37?cp37m?win_amd64.whl），cp后面是python版本，amd64代表64位，运行命令：

pip install C:\python3.7\Scripts\Twisted

其中install后面为下载的whl文件的完整路径名

安装完成后，再次运行：

pip install Scrapy
即可成功。

可选择的IDE和编辑器
IDE：PyCharm 、 Visual Studio

编辑器：Vim 、Sublime Text等

可选择的Python版本
尽管Python3 是大势所趋，但是我们目前的课程还是基于Python2.7版本，理由如下：

Python2 现在已经非常稳定，而且将会一直流行很多年；
Python社区很多成熟的模块目前还不支持Python3，还需要一些时间做移植工作；
正因为如此，现在找工作大部分还是用 Python2更多一些；
掌握 Python2 后，再过度到 Python3 也很容易。

老规矩 楼层开始更新
一个帖子发不完 明天继续发[滑稽][心碎]