爬虫提取到的数据该如何处理

更新时间:01-27 教程 由 静谧 分享
爬虫提取到的数据该如何处理?

一、文本存储

二、sqlite3微型数据库存储

在爬虫中一般都是在pipeline里面设置的,然后再setting里面的ITEM_PIPELINES解注释,项目名+要开启的管道名+在管道里新添加的类或者是说要用到的类,这里还有优先级,数字越小优先级越高

三、将数据存储到excel表格,以豆瓣电影存储到excel表格为例

四、mysql数据库存储

五、在爬虫终端命令形式存成表格形式

scrapy crawl 爬虫名 -o 爬虫名.csv

六、终端命令将数据的解码方式改成utf-8,防止中文乱码

scrapy crawl 爬虫名 -o 爬虫名.json -s FEED_EXPORT_ENCORDING=UTF-8

七、将数据中的图片存到本地文件夹

在setting里面添加

IMAGES_STORE = '***'(文件名、默认是在当前目录的父级,在这里你也可选择已存在文件夹的路径)

IMAGES_URLS_FIELD = '***' (一般填写图片的下载路径,在爬虫文件中要特别注意,要传的路径最好带【】是将得到的数据转储到items里面的时候)

将文本文件存到本地(例如小说之类)

FILES_STORES = '****' (性质和存图片的一样)

FILES_URLS_FIELD = '***'(同上)

原文链接https://blog.csdn.net/UserAgent123/article/details/81570935

可以看看这个

声明:关于《爬虫提取到的数据该如何处理》以上内容仅供参考,若您的权利被侵害,请联系13825271@qq.com
本文网址:http://www.25820.com/tutorial/14_2209585.html