首页 / MONGODB / consul中的yml配置持久化到MongoDB

consul中的yml配置持久化到MongoDB

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了consul中的yml配置持久化到MongoDB，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6935字，纯文字阅读大概需要10分钟。

内容图文

设计思路：

1. 获取到consul中的配置文件内容；

通过consul的官网查看consul对外提供的RESTAPI，找到获取consul中所有配置文件的名称接口；找到根据配置文件名称获取配置文件内容的接口；

2. 保存到数据库中；

通过mongoTemplate操作MongoDB数据库；每次配置文件修改后保存的时候在mongo表里新增一条数据；

3. 保存之前判断当前版本和数据库版本是否一致；

mongo数据库里存储当前版本的hash值，如果新版本的hash值和当前版本的hash值一致就放弃本次保存操作，视为配置没有改动，保留原来版本；

4. 保留20个版本；

新版本插入之前获取当前版本编号，如果当前没有版本则插入到第一个版本；如果当前有版本和当前版本号小于20则插入到当前最大版本+1的版本；如果当前版本=20在则删除第1个版本，之后每个版本递减1，新版本插入到第20版本；

废话不多说，先上代码

1. 调用 consul提供的RESTAPI接口的读取配置；

2.   @Autowired

private RestTemplate restTemplate;



@Override

public String readConsul(String url, String ymlName, String token) {

    try {

        String reqJsonStr;

        HttpHeaders headers = new HttpHeaders();

        MediaType type = MediaType.parseMediaType("text/html; charset=UTF-8");

        headers.setContentType(type);

        headers.set("X-Consul-Token", token);

        HttpEntity<String> entity = new HttpEntity<String>(headers);

        ResponseEntity<String> exchange = restTemplate.exchange(new URI(url + ymlName), HttpMethod.GET, entity, String.class);

        String result = exchange.getBody();

        List<RestGetResultDo> conList = JSON.parseArray(result, RestGetResultDo.class);

        return conList.get(0).getValue();

    } catch (Exception e) {

        throw new RuntimeException(e);

    }

}

3. 获取consul中所有yml名称接口

4.   @Override

public List<String> getConsulConfigYmlNameList(String url, String token) {

    RestTemplate restTemplate2 = new RestTemplate();

    try {

        String reqJsonStr;

        HttpHeaders headers = new HttpHeaders();

        MediaType type = MediaType.parseMediaType("text/html; charset=UTF-8");

        headers.setContentType(type);

        headers.set("X-Consul-Token", token);

        HttpEntity<String> entity = new HttpEntity<String>(headers);

        ResponseEntity<String> exchange = restTemplate.exchange(new URI(url), HttpMethod.GET, entity, String.class);

        String result = exchange.getBody();

        result = result.replaceAll("\r|\n| |\\[|\\]|\\\"", "");

        String[] split = result.split(",");

        return Arrays.asList(split);

    } catch (Exception e) {

        throw new RuntimeException(e);

    }

}

3.consul同步到mongoDB接口

public static final String VERSION_NUMBER = "versionNumber";

public static final int MAX_VERSION = 20;

@Autowired

private ConsulConfigManage consulConfigManage;



@Autowired

private MongoTemplate mongoTemplate;



@Autowired

private ConsulProperties consulProperties;





@Value("${spring.cloud.consul.token}")

private String consulToken;





/**

 * consul配置持久化到MongoDB的实现类

 *

 * @return

 */

@Override

public Boolean consulToMongoDB() {

    int versionNumber = 1;

    int oldFirstDocumentHash = 1;

    int newDocumentHash = 1;

    boolean isSync = false;

    try {

        ConsulConfigDo configDo = new ConsulConfigDo();

        //获取到所有配置文件的名称

        List<String> consulConfigYmlNameList = consulConfigManage.getConsulConfigYmlNameList("http://" + consulProperties.getHost() + ":" + consulProperties.getPort() + "/v1/kv/" + "?keys", consulToken);

        //把每个配置文件的name和content放到map中

        Map map = new HashMap();

        for (String ymlName : consulConfigYmlNameList) {

            String ymlContent = consulConfigManage.readConsul("http://" + consulProperties.getHost() + ":" + consulProperties.getPort() + "/v1/kv/", ymlName, consulToken);

            ymlName = ymlName.contains(".") ? ymlName = ymlName.substring(0, ymlName.indexOf(".")) : ymlName;

            map.put(ymlName, ymlContent);

        }

        //查询MongoDB中最近添加的一个版本

        List<ConsulConfigDo> consulConfigDos = mongoTemplate.find(new Query().with(new Sort(new Sort.Order(Sort.Direction.DESC, "_id"))), ConsulConfigDo.class);

        ConsulConfigDo first = null;

        //初始版本

        if (consulConfigDos.size() == 0) {

            configDo.set_id(System.currentTimeMillis());

            configDo.setConsul_content(map);

            configDo.setVersionNumber(String.format("%02d", versionNumber));

            configDo.setHash(hash(configDo.getConsul_content()));

            mongoTemplate.insert(configDo);

            isSync = true;

        } else {

            first = consulConfigDos.get(0);

            //最近添加的一个版本hash

            oldFirstDocumentHash = first.getHash();

            configDo.setConsul_content(map);

            newDocumentHash = hash(configDo.getConsul_content());

            if (newDocumentHash == oldFirstDocumentHash) {

                //不同步

                return isSync;

            } else {

                //同步

                String versionNumber1 = first.getVersionNumber();

                Integer integer = Integer.valueOf(versionNumber1);

                //如果数据小于20

                if (integer < MAX_VERSION) {

                    versionNumber = integer + 1;

                } else {

                    //删掉第一条数据

                    mongoTemplate.remove(new Query(Criteria.where(VERSION_NUMBER).is("01")), ConsulConfigDo.class);

                    //每条数据的versionNumber递减1

                    List<ConsulConfigDo> documents = mongoTemplate.find(new Query().with(new Sort(new Sort.Order(Sort.Direction.ASC, "_id"))), ConsulConfigDo.class);

                    for (ConsulConfigDo document : documents) {

                        Integer versionNum = Integer.valueOf(document.getVersionNumber());

                        String format = String.format("%02d", versionNum -= 1);

                        mongoTemplate.updateFirst(new Query(Criteria.where(VERSION_NUMBER).is(document.getVersionNumber())), Update.update(VERSION_NUMBER, format), ConsulConfigDo.class);

                    }

                    versionNumber = 20;

                }

                //插入到第20个版本

                configDo.setVersionNumber(String.format("%02d", versionNumber));

                configDo.setHash(hash(configDo.getConsul_content()));

                configDo.set_id(System.currentTimeMillis());

                mongoTemplate.insert(configDo);

                isSync = true;

            }

        }

        return isSync;

    } catch (Exception e) {

        throw new RuntimeException(e);

    }

}



/**

 * 计算hash值

 *

 * @param key

 * @return

 */

private int hash(Object key) {

    int h;

    return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);

}

4.consul返回结构类

@Data

public class RestGetResultDo implements Serializable {

    private int LockIndex;

    private String Key;

    private int Flags;

    private String Value;

    private int CreateIndex;

    private int ModifyIndex;





}

5.MongoDB结构

@Validated

@Data

@ToString

@Document(collection = "app_yml_config")

public class ConsulConfigDo {



    private Long _id;

    private Map consul_content;

    private String versionNumber;

    private int hash;

}

内容总结

以上是互联网集市为您收集整理的consul中的yml配置持久化到MongoDB全部内容，希望文章能够帮你解决consul中的yml配置持久化到MongoDB所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/896659.html

来源：【匿名】

【上一篇】MongoDB语法与现有关系型数据库SQL语法比较【下一篇】在MongoDB上如何进行数据的导入与导出

更多 ►

【consul中的yml配置持久化到MongoDB】教程文章相关的互联网学习教程文章

使用mongodb作为Quartz.Net下的JobStore实现底层的持久化机制【代码】【图】

我们都知道默认的Quartz底层采用的是RAMJobStore，所有的Job,Trigger,Calendar都是用Dictionary,SortSet等等这样的数据结构进行储存，相对来说性能肯定快的没法说，但是面对灾难重启的时候还是很拿不出手的，而且都是全内存的，也没法实现多机器搭建Quartz集群，这一点还是很讨厌，虽然官方已经提供了一些关系性持久化存储方案，但面对如今这么火的nosql，不进行官方支持还是有点可惜，不过基于Quartz本身的插拔式设计，一切都不是...

mongodb+docker数据卷实现数据持久化

.22# 启动容器，挂载本地目录 docker run -itd --name mongo -p 27017:27017 -v $PWD/mongodb:/data/db mongo:4.0.22 mongodb+docker数据卷实现数据持久化标签：docker数据卷 mongodb col mongo pre rgba run style doc 本文系统来源：https://www.cnblogs.com/root0/p/14622341.html

使用mongodb作为Quartz.Net下的JobStore实现底层的持久化机制【代码】【图】

从github上下载源码：https://github.com/quartznet/quartznet，从源码你会发现IJobStore几乎实现了所有对Trigger,Job和Scheduler所有的容器管理操作。然后你可以看到它的几个实现子类，全内存的RAMJobStore。public class RAMJobStore: IJobStore { .... } 以及JobStoreSupport下的带锁JobStoreTX和不带锁的JobStoreCMT。public class JobStoreSupport: IJobStore { .... }//带锁机制 public class JobStoreTX: JobStoreSuppor...

nodejs使用mongodb做数据持久化【代码】【图】

前段时间，写了一篇博客，讲解了在Mac下使用brew安装mongodb，这篇文章可以看做是续篇，使用nodejs操作mongodb，并封装一些有用的方法。 nodejs操作mongodb，首先要使用npm安装操作mongodb数据库的包，有两个选择 mongoose 和 mongodb，由于mongodb的使用方式更接近mongodb原生的语法，所以这里我们使用mongodb模块，操作数据库。在Mac下使用brew安装mongodb这篇文章中，已经讲解了mongodb数据库的性质和安装，也介绍了一个连接mo...

Quartz持久化到mongodb

xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>com.itstudy</groupId><artifactId>upload-demo</artifactId><version>1.0-SNAPSHOT</version><name>upload-demo</name><url>h...

mongodb持久化【图】

(根据https://docs.google.com/drawings/edit?id=1TklsmZzm7ohIZkwgeK6rMvsdaR13KjtJYMsfLr175Zc 重画 ) (根据 https://docs.google.com/drawings/edit?id=1TklsmZzm7ohIZkwgeK6rMvsdaR13KjtJYMsfLr175Zc 重画 )，美国空间，香港服务器，香港虚拟主机

mongodb持久化(2)

在生产环境下，我们强烈推荐开启journal。但是，在某些情况下，可能就希望将其关闭掉。journal影响mongodb的写入速度，即使没有j选项。如果可以容忍数据丢失或更着重速度，那么就禁用journal。禁用journal日志记录会有个问题，mongodb崩溃后数据的完整性没法在生产环境下，我们强烈推荐开启journal。但是，在某些情况下，可能就希望将其关闭掉。journal影响mongodb的写入速度，即使没有j选项。如果可以容忍数据丢失或更着重速度，那...

mongodb持久化(4)【图】

Mongodb在1.8版本之后开始支持journal，就是我们常说的redo log，用于故障恢复和持久化。1. 启动启动journal功能使用mongod --journal选项，也可以关闭--nojournal，在2.0之后的版本，journal都是默认打开的，以确保数据安全。在version 2.0 或者32位的系统Mongodb在1.8版本之后开始支持journal，就是我们常说的redo log，用于故障恢复和持久化。 1. 启动启动journal功能使用mongod --journal选项，也可以关闭--nojournal，在2.0之...

mongodb持久化(1)

Mongodb在1.8版本之后开始支持journal，就是我们常说的redo log，用于故障恢复和持久化。持久化为了保证数据永久保存不丢失。MongoDB具有高度可配置的持久化设置，从完全没有任何保证到完全持久化。下面介绍一下内容：1. MongoDB是如何保证持久化的2. 如何配Mongodb在1.8版本之后开始支持journal，就是我们常说的redo log，用于故障恢复和持久化。持久化为了保证数据永久保存不丢失。MongoDB具有高度可配置的持久化设置，从完全没...

mongodb持久化(3)

1. 载体崩溃当出现硬件问题或文件系统出错，特别是硬盘损坏了，就没法保护数据安全了。另外，不同品牌的硬件和软件具有不同的持久保证的。总而言之，如果硬件或文件系统破坏了数据，MongoDB是无法保护数据的，这已经属于底层存储的事情了。可以使用复制来避1. 载体崩溃当出现硬件问题或文件系统出错，特别是硬盘损坏了，就没法保护数据安全了。另外，不同品牌的硬件和软件具有不同的持久保证的。总而言之，如果硬件或文件系统破...

运维笔记--docker容器部署mongodb 数据持久化【代码】【图】

平时用容器部署程序的时候，没做数据持久化的话，容器内的数据随着容器关闭而消失。解决方法是把容器内的目录映射到本地，这样容器即使删除了数据也仍然在。在宿主机本地创建目录：/home/mongo_local_data 用如下命令，运行容器：docker run --name my_mongo -v /home/mongo_local_data:/data/db --rm -d -p 27017:27017 mongo:4.2.6/data/db是mongo容器内存储数据的目录，下图为mongodb容器内的数据存放目录：