本文实例讲述了Python数据持久化存储实现方法。分享给大家供大家参考,具体如下:
1、pymongo的使用
前三步为创建对象
第一步创建连接对象conn = pymongo.MongoClient('IP地址',27017)第二步创建库
db = conn['库名']第三步创建表
myset = db['集合名']第四步把数据插入数据库
myset.inset.one({})
#!/usr/bin/python # -*- coding: utf-8 -*- # @Time : 2019/6/26 8:56 # @Author : ##### # @Site : # @File : 猫眼电影_mongo存储.py # @Software: PyCharm from urllib import request import re import time import pymongo class MaoyanSpider(object): def __init__(self): self.headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5221.400 QQBrowser/10.0.1125.400'} #用来计数 self.page=1 #连接对象 self.coon =pymongo.MongoClient('locslhost',27017) #创建库对象 self.db=self.coon['maoyaodb'] #集合对象 self.myset=self.db['top100'] def get_page(self,url): req = request.Request(url,headers=self.headers) res = request.urlopen(req) html = res.read().decode('utf-8') self.parse_page(html) def parse_page(self,html): p = re.compile( '<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>',re.S) r_list = p.findall(html) self.write_mongo(r_list) def write_mongo(self,r_list): for r_t in r_list: d={ '电影名称:':r_t[0].strip(), '电影主演:':r_t[1].strip(), '上映时间:':r_t[2].strip() } #插入数据库 self.myset.inset.one(d) def work_on(self): for pn in range(0,41,10): url = 'https://maoyan.com/board/4?offset=%s' % str(pn) self.get_page(url) print('第%d页爬取成功' % self.page) self.page += 1 time.sleep(4) if __name__ == '__main__': begin = time.time() spider = MaoyanSpider() spider.work_on() end = time.time() print("执行时间%.2f" % (end - begin)) #注不完美,仍然需修改
2、mysql的使用
Mysql-front可视化工具,建库建表添加字段
1、创建连接对象:db = pymysql.connet
2、创建游标对象:cursor = db.sursor
3、执行命令:cursor.execute()
4、提交到数据库执行
5、关闭:cursor.close
mysql-Front使用流程
1、创建数据库:
localhost--数据库--新建---数据库
数据库名改为maoyan (项目mysql库名)--- 字符集utf8 ---确定
2、创建表:
流程:选中maoyao数据库 --选中数据 ----新建 ----出现添加菜单 ---名称改为top100 ---创建成功
3、往表格中添加字段:
流程:选中top100表单 --- 数据库 ----新建 ----字段 ---出现添加界面 ----名称改为name ---默认varchar ---- 长度50 --确定