在Django框架下向MongoDB数据库中导入数据
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了在Django框架下向MongoDB数据库中导入数据，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5379字，纯文字阅读大概需要8分钟。
内容图文
在学习了一些MongoDB和Django框架的一些基础知识后，我对MongoDB以及Django知识已经有了一个初步的掌握，是时候对学长的项目里面的东西进行一个初步的实践了，于是我就从在Django框架中向MongoDB导入数据的这部分代码开始。通过复用几段学长项目里的代码，在我自己新建的项目中实现向数据库中导入csv文件。
1.新建一个Django项目
选择Exisiting interpreter,打开你的python安装文件夹，选择python.exe
建立好后会得到如下界面
其中，与项目同名的vis1目录是项目的核心文件；templates目录是HTML文件存放处，也就是MTV中的T。manage.py是Django项目管理文件。
在核心文件vis1目录中：
_init_.py：空文件
settings.py：主配置文件
urls.py：主路由文件
wsgi.py：网关接口
2.创建APP
在每个Django项目中可以包含多个APP，相当于一个大型项目中的分系统、子模块、功能部件等等，相互之间比较独立，但也可以有联系。所有的APP共享项目资源。要在Django框架下链接MongoDB，我们就必须建立一个APP。（为了方便我复用学长项目中的代码，我创建了一个与学长相同的APP：datas)
在Pycharm下方的Terminal终端中输入命令：
python manage.py startapp datas
创建好后，django自动生成“datas”文件夹，及一系列文件： (注意：如果你选择vis1->new->python package这样的方式得到的文件夹里将没有这一系列的文件)
3.编辑APP
在Datas中，models是与数据库操作相关，存入或读取数据的文件，所以首先我们需要对它进行配置。刚打开里面只有一句引入库的语句，你需要在这里编写对你要导入数据库的列名进行定义：
因为是为了理解学长的代码，我这里就直接粘贴学长项目中的这部分代码了：
from django.db import models
from mongoengine import *
# Create your models here.
class Alldata(models.Model):
id = models.BigIntegerField(primary_key=True)
ipsmalltype = models.IntegerField()
filelen = models.BigIntegerField()
fileaffix = models.CharField(max_length=10, null=True)
iscracked = models.NullBooleanField()
starttime = models.DateTimeField()
srcip = models.CharField(max_length=45)
dstip = models.CharField(max_length=45)
srcport = models.IntegerField()
dstport = models.IntegerField()
vpi1 = models.IntegerField(null=True)
vpi2 = models.IntegerField(null=True)
atm1aaltype = models.IntegerField(null=True)
4.注册APP
在配置好了models之后，你要让你的数据库知道该给那个APP创建表，所以需要在vis1目录的settings中注册APP。也就是在
settings中的INSTALLED_APPS中添加你刚才创建好的datas
5.连接mongoDB
一般在Django框架中连接数据库都需要对settings中的DATABASES进行配置，如下图：
而MongoDB则可以不使用，在学长的代码中，他是这样做的：
在DATABASES旁边建立一个DBCONFIG，然后将DATABSES中的内容注释掉：
这样，每次连接MongoDB时只需要调用DBCONFIG就行了
6.编写导入部分的代码
先建立一个.py文件，然后在里面编写向数据库中导入数据功能的代码，我这里就直接复制学长的项目中有关这一段的代码：
class Data2Mongo:
filename = 'ip{}.csv-数据处理.csv'
path = 'C:\\Users\\Administrator\\Desktop\\ChinaVis\\2016年数据可视分析挑战赛-挑战1-数据\\'
count = range(1, 11)
c_raw = 'raw_data'
c_clear = 'clear_data'
c_uncracked = 'uncracked_data'
c_merge = 'merge_data'
colname = ['ipsmalltype', 'filelen', 'fileaffix', 'iscracked', 'starttime',
'srcip', 'dstip', 'srcport', 'dstport', ' vpi1', 'vpi2', 'atm1aaltype']
checklist = ['ipsmalltype', 'filelen', 'fileaffix', 'iscracked', 'starttime',
'srcip', 'dstip', 'srcport', 'dstport', 'vpi1', 'vpi2', 'atm1aaltype']
checklist_merge = ['ipsmalltype', 'fileaffix', 'starttime', 'srcip',
'dstip', 'srcport', 'dstport', 'vpi1', 'vpi2', 'atm1aaltype']
res = []
max_len = 100000
def __init__(self):
self.files = []
for i in self.count:
self.files.append(self.filename.format(i))
self.client = MongoClient(DBCONFIG['HOST'], DBCONFIG['PORT'])
self.db = self.client.__getattr__(DBCONFIG['NAME'])
self.dst_raw = self.db[self.c_raw]
self.dst_clear = self.db[self.c_clear]
self.dst_uncracked = self.db[self.c_uncracked]
self.dst_merge = self.db[self.c_merge]
def __del__(self):
self.client.close()
@staticmethod
def convert_fileaffix(fileaffix):
if len(fileaffix) == 0:
return ''
while fileaffix[0] == '.':
fileaffix = fileaffix[1:]
if '.' in fileaffix:
return None
else:
return fileaffix
def data2mongo(self):
self.dst_raw.remove({})
self.res.clear()
for i in self.count:
print('正在处理文件：%s' % (self.path + self.filename.format(i)))
with open(self.path + self.filename.format(i)) as infile:
reader = csv.reader(infile)
next(reader)
for row in reader:
fileaffix = self.convert_fileaffix(str(row[3]))
if fileaffix is None:
continue
self.res.append({
'ipsmalltype': int(row[1]),
'filelen': int(row[2]),
'fileaffix': fileaffix if fileaffix != '' else None,
'iscracked': int(row[4]) if row[4] == '0' else 1,
'starttime': datetime.strptime(row[5], '%Y/%m/%d %H:%M:%S'),
'srcip': str(row[6]),
'dstip': str(row[7]),
'srcport': int(row[8]),
'dstport': int(row[9]),
'vpi1': int(row[10]) if row[10] != '' else None,
'vpi2': int(row[11]) if row[11] != '' else None,
'atm1aaltype': int(row[12]) if row[12] != '' else None
})
if self.res.__len__() == self.max_len:
self.dst_raw.insert_many(self.res)
self.res.clear()
if self.res.__len__() > 0:
self.dst_raw.insert_many(self.res)
self.res.clear()
记得把需要导入的库及要引用的文件导入不然会报错：
from pymongo import MongoClient
from datetime import datetime
from vis.settings import DBCONFIG
import csv
其次，需要注意导入的文件路径一定要正确，文件名之间的分隔符是\\,别写反了
7.编写一个调用Data2Mongo的.py文件
我这里建立一个handles.py(为避免复用学长的代码出错，所以取了和学长项目中一样的名称)
from data2mongo import Data2Mongo
import time
if __name__ == '__main__':
start = time.clock()
tomongo = Data2Mongo()
tomongo.data2mongo()
8.运行handles.py
这样，在Django框架下向MongoDB导入.csv文件便实现了。
用Navicate for MongoDB我们可以查看到我们导入的数据如图：
内容总结
以上是互联网集市为您收集整理的在Django框架下向MongoDB数据库中导入数据全部内容，希望文章能够帮你解决在Django框架下向MongoDB数据库中导入数据所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。