一、文本存储
二、sqlite3微型数据库存储
在爬虫中一般都是在pipeline里面设置的,然后再setting里面的ITEM_PIPELINES解注释,项目名+要开启的管道名+在管道里新添加的类或者是说要用到的类,这里还有优先级,数字越小优先级越高
三、将数据存储到excel表格,以豆瓣电影存储到excel表格为例
四、mysql数据库存储
五、在爬虫终端命令形式存成表格形式
scrapy crawl 爬虫名 -o 爬虫名.csv
六、终端命令将数据的解码方式改成utf-8,防止中文乱码
scrapy crawl 爬虫名 -o 爬虫名.json -s FEED_EXPORT_ENCORDING=UTF-8
七、将数据中的图片存到本地文件夹
在setting里面添加
IMAGES_STORE = '***'(文件名、默认是在当前目录的父级,在这里你也可选择已存在文件夹的路径)
IMAGES_URLS_FIELD = '***' (一般填写图片的下载路径,在爬虫文件中要特别注意,要传的路径最好带【】是将得到的数据转储到items里面的时候)
将文本文件存到本地(例如小说之类)
FILES_STORES = '****' (性质和存图片的一样)
FILES_URLS_FIELD = '***'(同上)
原文链接https://blog.csdn.net/UserAgent123/article/details/81570935
可以看看这个