python操作mongodb基本操作
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python操作mongodb基本操作,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1616字,纯文字阅读大概需要3分钟。
内容图文
1.python 连接mongodb
import psycopg2
import datetime
from pymongo import MongoClient
#数据转移: AA连锁店数据抽取
#抽取过程: mongodb->postgres
def getNowBatch():
# 数据库mongodb
mongo = MongoClient("192.168.31.130", 27017)
db = mongo["crawlab_test"]
coll = db.get_collection('cp_cnexpo')
listbacth = coll.distinct("batch")
if len(listbacth):
pass#不为空
else:
return 1#为空
listbacth.sort()
batch=int(listbacth[-1])
print(listbacth,'本次批次号为=',batch)
return batch
def export():
# 数据库mongodb
mongo = MongoClient("IP", 27017)
db = mongo["databaseName"]#数据库名
coll = db.get_collection('collectionName')#集合名词
batchnum=getNowBatch()
print('batchnum=',batchnum)
#取出所有aaroom集合下的数据 "crawler.date" : {"$gte": datetime(2018, 11, 14)}
list_aaroom = coll.find({"batch":batchnum}, {"_id": 0,"event": 1, "type": 1, "event_time": 1, "city": 1,"insertdate": 1, "ptname": 1, "adress": 1})#查询指定字段poi_id": 1 表示查, poi_id": 0表示不查
#list_aaroom = coll.find({'batch':batchnum}) # 查询指定字段poi_id": 1 表示查, poi_id": 0表示不查
#print(list_aaroom)
listall=[]
for room in list_aaroom:
listitm = list(room.values())
listall.append(listitm)
print(listall)
#批量插入pg库
conn = psycopg2.connect(database="xxx", user="postgres", password="xxx",
host="ip", port="xxx")
print("Open database success")
cur = conn.cursor()
sql = "INSERT INTO crawl_hot_event(event, type, event_time, city, insertdate, ptname,adress) VALUES(%s,%s,%s,%s,%s,%s,%s)"
cur.executemany(sql, listall)
conn.commit()
print("中国展会网最新数据抽取到pg库")
conn.close()
if __name__ == '__main__':
export()
mongodb条件查询参考:https://www.cnblogs.com/liyujie1978/p/9542495.html
内容总结
以上是互联网集市为您收集整理的python操作mongodb基本操作全部内容,希望文章能够帮你解决python操作mongodb基本操作所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。