服务器之家

服务器之家 > 正文

详解Python安装scrapy的正确姿势

时间:2021-03-10 00:16     来源/作者:公众号Python6359

运行平台:windows

python版本:python3.x

ide:sublime text3

一、scrapy简介

scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中。scrapy最初就是为了网络爬取而设计的。现在,scrapy已经推出了曾承诺过的python3.x版本。

为什么学习scrapy呢?它能我们更好的完成爬虫任务,自己写python爬虫程序好比孤军奋战,而使用了scrapy就好比手底下有了千军万马。scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以,学习scrapy也就显得很有必要了。

二、scrapy安装

1.直接使用指令pip3 install scrapy,发现有诸多错误。

  • failed building wheel for lxml
  • microsoft visual c++ 10.0 is required
  • failed building twisted
  • unable to find vcvarsall.bat

遇到的错误,如下图所示:

详解Python安装scrapy的正确姿势

 

详解Python安装scrapy的正确姿势

详解Python安装scrapy的正确姿势

2.解决办法

(1)在cmd中输入指令python,查看python的版本,如下:

详解Python安装scrapy的正确姿势

从上图可以看出可以看出我的python版本为python3.5.2-64bit。

(2)登陆http://www.lfd.uci.edu/~gohlke/pythonlibs/,ctrl+f搜索lxml、twisted、scrapy,下载对应的版本,例如:lxml-3.7.3-cp35-cp35m-win_adm64.whl,表示lxml的版本为3.7.3,对应的python版本为3.5-64bit。我下载的版本如下图所示:

详解Python安装scrapy的正确姿势

在cmd中输入dos指令,进入下载好的whl文件夹下,例如我的三个whl文件放在了scrapy文件夹下:

详解Python安装scrapy的正确姿势

(4)依次执行如下命令:

a.pip3 install wheel

详解Python安装scrapy的正确姿势

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

详解Python安装scrapy的正确姿势

c.pip3 install twisted-17.1.0-cp35-cp35m-win_amd64.whl

详解Python安装scrapy的正确姿势

d.pip3 install scrapy-1.3.2-py2.py3-none-any.whl

详解Python安装scrapy的正确姿势

这样scrapy的安装就完成了,请忽略最后两行让我升级pip的信息。*.*

(5)srapy已经安装成功,还要下载pywin32,找到对应版本下载,一路下一步安装即可。安装完成后,就可以正常使用scrapy了。

url:https://sourceforge.net/projects/pywin32/files/pywin32/build%20220/

详解Python安装scrapy的正确姿势

至此,大功告成,我们可以愉快的使用scrapy了。

总结

以上所述是小编给大家介绍的python安装scrapy的正确姿势,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对服务器之家网站的支持!

原文链接:https://www.cnblogs.com/Python6359/archive/2018/06/26/9229524.html

标签:

相关文章

热门资讯

2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
Intellij idea2020永久破解,亲测可用!!!
Intellij idea2020永久破解,亲测可用!!! 2020-07-29
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
返回顶部