scrapy模块详解

更新时间:01-23 教程 由 昔日& 分享

scrapy模块详解?

scrapy底层使用的是twisted框架, 是异步抓取的一个框架。

scrapy的优势:

1.已经帮你完成了请求, 下载,以及请求失败重试, 统计;

2.使你写爬虫更加规范化;

3.性能很好(除非自己写出来阻塞);

4.扩展性好, 而且附加的库也比较多, 比如代理、缓存、以及管理web都比较多。

声明:关于《scrapy模块详解》以上内容仅供参考,若您的权利被侵害,请联系13825271@qq.com
本文网址:http://www.25820.com/tutorial/14_2181519.html