Python爬虫之scrapy框架简介及环境安装

老男孩IT教育

常见问题

2021年5月6日 18:22

Python是网络爬虫的首选语言，而Scrapy是写爬虫必须懂的框架，它是一个为了爬取网站数据，提取结构性数据而编写的应用框架，出名且强悍，接下来我们通过这篇文章详细的了解一下Scrapy框架。

　　Python是网络爬虫的首选语言，而Scrapy是写爬虫必须懂的框架，它是一个为了爬取网站数据，提取结构性数据而编写的应用框架，出名且强悍，接下来我们通过这篇文章详细的了解一下Scrapy框架。

Python培训班

　　什么是框架?

　　所谓的框架简单通用解释，就是一个具有很强通用性并且集成了很多功能的项目模板，该模板可被应用在不同的项目需求中，也可被视为是一个项目的半成品。

　　如何学习框架?

　　学习是框架中集成好的各种功能的特性是作用。

　　对于刚接触编程或者初级程序员来讲，对于一个新的框架，只需要掌握该框架的作用及各个功能的使用和应用即可，对于框架的底层实现和原理，在逐步进阶的过程中在慢慢深入即可。

　　什么是Scrapy框架?

　　Scrapy是一个为了抓取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。其内部已经被集成了各种功能，比如：高性能异步下载、队列、分布式、解析、持久化等。对于框架的学习，重点是学习其框架的特性、各个功能的用法即可。

　　Scrapy框架环境如何安装?

　　Mac、Linux安装：

　　pip install scrapy

　　Windows安装：

　　1. Pip3 install wheel

　　2. 下载twisted 地址为：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

　　3. 进入下载目录，执行pip install Twisted17.1.0cp36cp36mwin_amd64.whl，Twisted就是一个异步的的架构，被作用在scrapy中

　　4. pip3 install pywin32

　　5. pip3 install scrapy

　　6. 测试：在终端里录入scrapy指令，没有报错即表示安装成功。

　　老男孩教育Python开发培训作为中国IT研发人才一体化服务的开拓者，为学生制定合理有序的学习计划，课程内容紧跟企业技术潮流，实际企业应用技术，打造行业标杆，全企业真实案例结合理论授课，让您更快速的成为合格的Python开发工程师!

　　推荐阅读：

　　Linux系统结构包括什么?Linux培训班!

本文经授权发布，不代表老男孩教育立场。如若转载请联系原作者。

扫码加入网络安全学院讨论学习群