scrapy模块详解?
1.已经帮你完成了请求, 下载,以及请求失败重试, 统计;
2.使你写爬虫更加规范化;
3.性能很好(除非自己写出来阻塞);
4.扩展性好, 而且附加的库也比较多, 比如代理、缓存、以及管理web都比较多。