【冷漠】Python学习心得(五)

无名

大家好，这里稚悠，觉得好的话就点个关注吧[玫瑰]
任何爬虫爬取的数据都需要存储，除了使用pandas和csv模块存为本地文件，也可以用数据库完成存储。

根据橡皮擦老师的例子，mongodb数据库存储数据，对应的python模块是pymongo
使用例子，在scrapy框架下，一个典型的pipeline.py文件如下
使用前期，操作本地数据库，数据库是自启动的，并且已经建立了一个db，名称为sun，建立了用户/密码：dba/dba
使用数据库工具查看该数据库内容，我用的是navicat(for mongodb)
也可以点击分析查看分析图表，比如分析period，可以看到工期分布的柱状图
如果要在代码里取用数据库，同样的流程