MONGODB - 技术教程文章
MongoDb工具类
package com.wd.util;import java.util.ArrayList; import java.util.Arrays; import java.util.List; import org.bson.Document; import org.bson.conversions.Bson; import org.bson.types.ObjectId;import com.mongodb.BasicDBObject; import com.mongodb.DB; import com.mongodb.DBCollection; import com.mongodb.DBCursor; import com.mongodb.MongoClient; import com.mongodb.MongoClientOptions; import com.mongodb.Mong...
window下mongodb安装和配置【图】
mongodb安装和配置 1.下载：https://www.mongodb.com 2.解压到盘的根目录下，本人解压到D盘根目录 3.在软件根目录下新建一个文件夹data 4.再新建两个文件夹db、logs,在logs下再新建log1.log 5.打开mangodb: 第一种方法 在bin目录下，按住shift键，右击鼠标，点击运行cmd输入：mongod --dbpath D:\mongodb\data\db在浏览器输入：localhost:27017 注意：服务端口默认开启27017端口 第二种方法： win键+R:C:\Windows\System...
mongodb的入门CURD
mongodb的入门CURD #查看所有数据库show dbs;show databases; #有些版本可能不行 #使用数据库use 数据库名 #查看集合(集合即mysql的表)show tables/collections #查看帮助db.help() #创建库MongoDB的库是隐式创建的，可以use一个不存在的库，然后在该库下创建colletion即可以创建库。 删除数据库db.dropDatabase(); 创建集合db.createCollection(name, options)示例：> db.createCollection(student); 删除集合db.collectionName.d...
MongoDB 删除数据库
rszhou:PRIMARY> show dbsadmin 0.000GBlocal 146.588GBdb_chunqiu 1163.165GB rszhou:PRIMARY>use db_chunqiu rszhou:PRIMARY> db.dropDatabase(){ "dropped" : "db_chunqiu", "ok" : 1 }rszhou:PRIMARY> show dbsadmin 0.000GBlocal 146.588GB
mongodb 索引日常维护操作
创建索引：db.t_order_detail.createIndex({"order_id":1})复合索引：db.t_order_detail.createIndex({"order_id":1,"detail_id":1,"batch_id":1})在后台创建索引：db.t_order_detail.createIndex({order_id:1},{background:1})查看索引：db.t_order_detail.getIndexes()查看索引键：db.t_order_detail.getIndexKeys()查看集合索引总大小：db.t_order_detail.totalIndexSize()查看集合各索引的详细信息:db.t_order_detail.getIndex...
MongoDB的Replica Set以及Auth的配置【代码】
http://blog.0x01.site/2017/01/13/MongoDB%E7%9A%84Replica-Set%E4%BB%A5%E5%8F%8AAuth%E7%9A%84%E9%85%8D%E7%BD%AE/ Python 运维 ?MongoDB事件出现后，公司要给MongoDB加Auth，于是我就调研了一番。 现在MongoDB在生产中一般使用Replica Set的方式部署，如果一台宕机，另外一台Secondary会变成Master继续服务，提高可用性。 使用docker搭个集群测试，首先建个network bridge1docker network new mongo-network然后就是运行MongoD...
python爬虫+mongodb+matlab彩票抓取
每一个穷人都有一个发财的梦想。 于是彩票这个东西，诞生了。 随之而来 各种预测方式千奇百怪 十二生肖说，星座说，图象说，等等 今天，我摸了摸干瘪的口袋，怀揣着一颗求富的心，试着抓取了2004年到2018年所有的七星彩数据。 最后，用MATLAB最简单的BP神经网络（SGD），进行了预测。 结果 嘿嘿嘿，让我先放几张图片讲讲过程，等会儿再说结果。 为了大家的阅读体验，先放图片。 这是我想爬取的页面： ...
Mongodb 副本集+分片【代码】【图】
mongodb的分片功能是建立在副本集之上的，所以首先我们尝试着配置副本集。 docker启动3个已经安装好mongo的镜像# docker run -idt --name mongodb_01 mongodb_master:v2 /bin/bash # docker run -idt --name mongodb_02 mongodb_master:v2 /bin/bash # docker run -idt --name mongodb_03 mongodb_master:v2 /bin/bash查看容器ip# docker inspect mongodb_01 | grep IP3个容器的ip为 172.17.0.4，172.17.0.5，172.17.0.6 进入容器，...
Linux下Mongodb安装和启动配置【代码】
https://www.cnblogs.com/xiaoqian1993/p/5936648.html 1.下载安装包wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.8.2.tgz 下载完成后解压缩压缩包tar zxf mongodb-linux-i686-1.8.2.tgz 2. 安装准备 将mongodb移动到/usr/local/server/mongdb文件夹mv mongodb-linux-i686-1.8.2 /usr/local/mongodb 创建数据库文件夹与日志文件mkdir /usr/local/mongodb/data touch /usr/local/mongodb/logs 3. 设置开机自启动 将...
spring boot+mongodb 爬坑02 fastjson 输出 ObjectId 过滤【代码】
终于搞定fastjson输出 List 问题了 @Document public class OrderQSLine {@Idprivate String id;@Indexedprivate String style;private String division;private List<ObjectId> photos; 如果直接JSON.toJSONString输出，会吧ObjiecId所有属性都输出。所以，要加个过滤。//// fastjson 过滤,输出photos（不过滤的话会输出所有objectId所有信息）ValueFilter valueFilter = new ValueFilter() {@Overridepublic Object process(Obje...
《Python3网络爬虫开发实战》-安装mongodb【代码】【图】
一、MongoDB 下载 官网下载地址MongoDB for Windows 64-bit 适合 64 位的 Windows Server 2008 R2, Windows 7 , 及最新版本的 Window 系统。自定义安装创建数据目录MongoDB将数据目录存储在 db 目录下。但是这个数据目录不会主动创建，我们在安装完成后需要创建它。请注意，数据目录应该放在根目录下（(如： C: 或者 D: 等 )。 在本教程中，我们已经在 C 盘安装了 mongodb，现在让我们创建一个 data 的目录然后在 data 目录里创建 ...
关于MongoDB 固定集合（capped collection）的知识梳理【图】
一 . 什么是固定集合 MongoDB中有一种特殊类型的集合，值得我们特别留意，那就是固定集合（capped collection）。 固定集合可以声明collection的容量大小，其行为类似于循环队列。数据插入时，新文档会被插入到队列的末尾，如果队列已经被占满，那么最老的文档会被之后插入的文档覆盖。 固定集合的优点 1.写入速度提升。固定集合中的数据被顺序写入磁盘上的固定空间，所以，不会因为其他集合的一些随机性的写操作而“中断”，其写入...
PHP操作Mongodb之高级查询篇
1、查询时的排序 在关系型数据库的查询中，往往会用到排序。例如时间倒序，点击率升序啦等等。在Mongodb的查询中，也有排序功能的。 语法格式：$db->find()->sort(array('age' => 1)); //按age字段升序排序。1为升序，-1为降序。 例如：<?php//连接数据库$connnect = new Mongo("mongodb://127.0.0.1:27017");//选择数据库$db = $connnect->selectDB('mydb')->selectCollection("user");//查询所有数据，按age字段升序排序$curs...
MongoDB文档操作【图】
一、插入并保存文档 1.1 insert()方法 1.2 save()方法 1.3 批量插入 1.4 插入原理与方法 二、删除文档 2.1 remove()方法 2.2 deleteOne()以及deleteMany() 2.3 drop() 三、文档更新 3.1 原子性 3.2 update()方法 3.3 文档替换 3.4 修改器 3.4.1 $set 3.4.2 $inc 3.5 数组修改器 3.6 数组作为数据集 3.7 删除数组元素 3.8 基于位置的数组修改器 3.8.1 通过位置 3.8.2 定位操作符 3.9 修改器速度 3.10 多个文档的更新 3.10 多个文档的...
安装完mongoDB在cmd中无法打开的问题【图】
在打开mongoDB时报错 , 就是运行 mongod --dbpath C:\mydatabase这句话的时候 出现错误这句话是出现问题的主要原因 这句话翻译成大白话就是c盘里面的可用内存不足,没有3379MB的空间了 解决方法就是换一个盘放置mongoDB数据库就行了 还有就是 路径中不能出现中文 数据库名字也不能出现中文 如果运行正确出现下面这种情况就说明数据库打开成功
MongoDB运维实战lsm降低Disk Lantency【图】
MongoDB运维实战lsm降低Disk Lantancy背景Part1:写在最前在副本集架构中，当我们面临写多读少，且大多数写为update操作时，WT引擎的瓶颈初显。这直接导致业务反馈写入操作耗时较久等异常。为此，Percona版本的MongoDB里支持rocksDB存储引擎，应对写比较多的时候会显得更加从容。Part2:背景在业务大量更新的场景中我们发现WT存储引擎的disk lantency会比较高，在尝试调大cache_size和并发数、eviction后效果不佳，因此我们尝试使用r...
使用 Kafka 和 MongoDB 进行 Go 异步处理【代码】【图】
在这个示例中，我将数据的保存和 MongoDB 分离，并创建另一个微服务去处理它。我还添加了 Kafka 为消息层服务，这样微服务就可以异步处理它自己关心的东西了。下面是这个使用了两个微服务的简单的异步处理示例的上层架构图。图片描述(最多50字) 微服务 1 —— 是一个 REST 式微服务，它从一个 /POST http 调用中接收数据。接收到请求之后，它从 http 请求中检索数据，并将它保存到 Kafka。保存之后，它通过 /POST 发送相同的数据去...
给MongoDB添加索引
用过数据库的都知道，数据库索引与书籍的索引类似，都是用来帮助快速查找的。 ? MongoDB的索引跟关系型数据库的索引几乎一致。 ? ? ? 1. 索引的创建 ? mongodb采用ensureIndex来创建索引，如： ? db.user.ensureIndex({"name":1}) ? 表示在user集合的name键创建一个索引，这里的1表示索引创建的方向，可以取值为1和-1 ? 在这里面，我们没有给索引取名字，mongodb会为我们取一个默认的名字，规则为keyname1_dir1_keyname2_dir2...ke...
mongodb for windows【代码】
---恢复内容开始--- 1，可以去mongodb.com 官网下载mongodb 安装方法 这里就不介绍了 2， 在安装目录下新增mongod.cfg,内容如下systemLog:destination: filepath: f:\mongodb\db\log\mongod.log storage:dbPath: f:\data\db 3， 安装完以后，打开安装位置的bin目录，打开命令提示符 输入mongo 出现一下提示表示成功，如果失败 在bin目录下尝试修复：mongod --repair 如果还是失败，那么就是路径设置有问题，通过重新对路径的设置...
如何打开MongoDB数据库
安装MongoDB完成后，打开MongoDB下载的路径，新建名为data的文件夹，在data文件夹下新建db文件夹，db文件夹用于存储MongoDB数据。 打开MongoDB的下载路径，进入bin文件夹，按住shift，同时右击选择‘在此处打开命令行窗口’ 输入 mongod -db:path D\mongod\data\db #启动服务的命令行窗口 不关闭窗口，在bin文件夹下再打开一个命令行窗口， 输入mongo #连接数据库 输入show dbs即可查看数据库
centos7 安装mongodb【代码】【图】
centos7下安装mongodb-4.0.21、下载解压安装包2、创建数据存储目录和日志文件目录3、修改环境变量4、编辑.conf配置文件5、启动 1、下载解压安装包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.0.2.tgz tar -zxvf mongodb-linux-x86_64-rhel70-4.0.2.tgz mv mongodb-linux-x86_64-rhel70-4.0.2/ /usr/local/mongodb2、创建数据存储目录和日志文件目录 mkdir -p /usr/local/mongodb/data/db mkdir -p /...
Python网络爬虫Scrapy+MongoDB +Redis实战爬取腾讯视频动态评论教学视频
Python网络爬虫Scrapy+MongoDB +Redis实战爬取腾讯视频动态评论教学视频课程简介 学习Python爬虫开发数据采集程序啦！网络编程，数据采集、提取、存储，陷阱处理……一站式全精通！！！目标人群掌握Python编程语言基础，有志从事网络爬虫开发及数据采集程序开发的人群。学习目标了解Web前端，熟悉HTTP，系统学习Python urllib库HTTP编程模块，requests网络编程库，BeautifulSoup4 HTML转换解析，并发数据采集、提取、存储，熟悉Sel...
修复mongodb启动失败问题
启动mongodb的时候遇到了以下几个问题，我在此处给出我的一些解决方法。 注意我的方法中的大部分命令在root权限下才能生效，所以建议修复数据库时使用root用户。 service mongodb start 失败 status显示failedroot@machine ~ # service mongod start root@machine ~ # service mongod status ● mongod.service - High-performance, schema-free document-oriented databaseLoaded: loaded (/lib/systemd/system/mongod.service; e...
利用ZABBIX全面监控MongoDB数据库
前一段时间写过一篇zabbix监控MongoDB的文章，正好最近线上要再次监控MongoDB，翻出以前的笔记看了一下，感觉方法太笨，监控的大部分内容不是自己想要的，这激发了这次的一个创作。下面这次监控MongoDB的过程。 一、.思路1、MongoDB简单介绍，及解释。2、监控自己想要的值，那么首先要把自己想监控的值用shell正则提取出来。3、把提取出来的数值做成一个key。（下面包括自定义key的写法介绍）4、在zabbix web上创建监控项、触发器、...
MongoDB的复合唯一索引
一 创建JavaScript Shelldb.room.ensureIndex({'floor':1,'num':1})Spring Data@Data // lombok @Document(collection = "room") @CompoundIndexes({ // 唯一复合索引：楼层和房号不能相同，不然就是同一个房间了@CompoundIndex(name = "floor_num", def = "{'floor' : 1, 'num': 1}",unique=true) }) public class Room {@Idprivate String id;// 楼层private int floor;// 房号private int num;// 建造时间private Date createA...
总结遇到的几次MongoDB副本集初始化失败问题【代码】
前言：在之前搭建MongoDB集群中，遇到过几次初始化副本集失败，做一个小结 1、IP错误引起MongoDB副本集初始化失败 这个错误在另一片文章已经描述过，这里略过不赘述。详情见博客：IP错误引起MongoDB副本集初始化失败 2、bindIp默认127.0.0.1，导致MongoDB副本集初始化失败 问题描述： 有一次搭建一个MongoDB副本集，主机和角色分配如下：主机IP 角色10.0.0.101 PRIMARY10.0.0.102 SECONDARY10.0.0.103 SECONDARY在PRIMARY主机10.0....
MongoDB下载以及安装【代码】【图】
一、下载与安装 1、安装Mongo MongoDB下载地址：https://www.mongodb.com/download-center?jmp=tutorials#community运行安装程序，一路Next，在到下面界面时，改变安装位置把MongoDB安装在C盘目录下C:\MongoDB\data\db继续Next取消默认的Install MongoDB Compass勾选，否则很大可能会卡在安装界面。继续Next，直至安装完成。 然后打开终端，来到bin目录下，输入mongod --dbpath C:\MongoDB\data\db 在浏览器打开http://127.0.0.1:2...
简单学习之MongoDB【图】
文档来自--------------传智播客 1.1什么是MongoDB MongoDB 是一个跨平台的，面向文档的数据库，是当前 NoSQL 数据库产品中最热门的一种。它介于关系数据库和非关系数据库之间，是非关系数据库当中功能最丰富，最像关系数据库的产品。它支持的数据结构非常松散，是类似JSON 的 BSON 格式，因此可以存储比较复杂的数据类型。 MongoDB 的官方网站地址是：http://www.mongodb.org/ 1.2 mongodb特点 MongoDB 最大的特点是他支...