无名 发表于 2022-5-8 16:50:44

【技术分享】python爬虫之scrapy(系列一)


包工头又来发看不懂的技术了[滑稽][大拇指]
能看懂的都是大佬
http://cdn.u1.huluxia.com/g4/M03/EB/D4/rBAAdl-UGFmAFFxvAACwAHxMa7A927.jpg

scrapy安装
在windows下,在dos中运行pip install Scrapy报错

采用pip安装,安装时可能会出现安装错误Microsoft Visual C++ 14.0 is required

下载twisted对应版本的whl文件(如我的Twisted?18.7.0?cp37?cp37m?win_amd64.whl),cp后面是python版本,amd64代表64位,运行命令:

pip install C:\python3.7\Scripts\Twisted

其中install后面为下载的whl文件的完整路径名

安装完成后,再次运行:

pip install Scrapy
即可成功。http://cdn.u1.huluxia.com/g4/M03/EB/D4/rBAAdl-UGFqAImiXAADOJzJUyNY375.jpg

可选择的IDE和编辑器
IDE:PyCharm 、 Visual Studio

编辑器:Vim 、Sublime Text等

可选择的Python版本
尽管Python3 是大势所趋,但是我们目前的课程还是基于Python2.7版本,理由如下:

Python2 现在已经非常稳定,而且将会一直流行很多年;
Python社区很多成熟的模块目前还不支持Python3,还需要一些时间做移植工作;
正因为如此,现在找工作大部分还是用 Python2更多一些;
掌握 Python2 后,再过度到 Python3 也很容易。http://cdn.u1.huluxia.com/g4/M03/EB/D4/rBAAdl-UGFqAU8r0AAK3lxYhz8Y728.jpg

老规矩 楼层开始更新
一个帖子发不完 明天继续发[滑稽][心碎]
页: [1]
查看完整版本: 【技术分享】python爬虫之scrapy(系列一)