【冷漠】Python学习心得(五)
大家好，这里稚悠，觉得好的话就点个关注吧[玫瑰]http://cdn.u1.huluxia.com/g4/M03/AB/E1/rBAAdl8Jx5aADIxzAABX2BkUhwE193.jpg
任何爬虫爬取的数据都需要存储，除了使用pandas和csv模块存为本地文件，也可以用数据库完成存储。
根据橡皮擦老师的例子，mongodb数据库存储数据，对应的python模块是pymongo
使用例子，在scrapy框架下，一个典型的pipeline.py文件如下
使用前期，操作本地数据库，数据库是自启动的，并且已经建立了一个db，名称为sun，建立了用户/密码：dba/dbahttp://cdn.u1.huluxia.com/g4/M03/AB/E1/rBAAdl8Jx5iADmjiAAHA3kRGtpM591.png
使用数据库工具查看该数据库内容，我用的是navicat(for mongodb)http://cdn.u1.huluxia.com/g4/M03/AB/E1/rBAAdl8Jx5qAWDetAAFcAPwl9_M040.jpg
也可以点击分析查看分析图表，比如分析period，可以看到工期分布的柱状图http://cdn.u1.huluxia.com/g4/M03/AB/E1/rBAAdl8Jx5uAG10TAABoAGB3RaA447.jpg
如果要在代码里取用数据库，同样的流程http://cdn.u1.huluxia.com/g4/M03/AB/E1/rBAAdl8Jx52AfNqpAAEm28cqhsE287.png
http://cdn.u1.huluxia.com/g4/M03/AB/E1/rBAAdl8Jx56AQb5JAAAIAHXQwjY777.jpg
页:
[1]