一、高可用性 任何一个技术,无论是Mysql,Oracle 还是Redis,为了保证服务器能够正常运行,不仅需要保持服务器能在其承载的范围内运行,还要保证当某一台服务器宕机以后,其余服务器能够继续提供服务, Redis同样为了保证高可用性,提供了3种高可用方式: 1 主从复制 2 哨兵模式 3 Redis Cluster 本文介绍的Redis如何实现主从复制及实现原理 二、主从复制 2.1 概述 Redis的主从复制，和Mysql的主从复制策略很相似，都是主机数据更新后根...
Redis高可用方案 “高可用性”(High Availability)通常来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。单机的Redis是无法保证高可用性的，当Redis服务器宕机后，即使在有持久化的机制下也无法保证不丢失数据。所以我们采用Redis多机和集群的方式来保证Redis的高可用性。 1、主从复制 Redis支持主从复制功能，可以通过执行slaveof(Redis5以后改成replicaof)或者在配置文件中设置 slaveof(Redis5以后改...
哨兵机制是 Redis 高可用中重要的一环，其核心是 通过高可用哨兵集群，监控主从复制的健康状态，并实现自动灾备：哨兵集群以集群的方式进行部署，这种分布式特性具有以下优点：避免系统中存在单点，防止灾备机制失效 切换 master 必须经过多个 sentinel 节点协商同意，避免出现误判为了保证 Redis 服务的高可用，哨兵机制提供了以下功能：监控Monitoring：实时监控主从节点的健康状况 通知Notification：通过事件 API 将服务实例异...
摘要：本文通过对Redis Sentinel源码的理解，详细说明Sentinel的代码实现方式。Redis Sentinel 是Redis提供的高可用模型解决方案。Sentinel可以自动监测一个或多个Redis主备实例，并在主实例宕机的情况下自动实行主备倒换。本文通过对Redis Sentinel源码的理解，详细说明Sentinel的代码实现方式。 Sentinel使用Redis内核相同的事件驱动代码框架， 但Sentinel有自己独特的初始化步骤。在这篇文章里，会从Sentinel的初始化、Sentinel...
缓存穿透 缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求。导致数据库压力过大。 解决方法 将key-value对写为key-null(空对象，空集合，空字符串)，缓存有效时间可以设置短点布隆过滤器 缓存雪崩 缓存雪崩是指缓存中数据大批量到过期时间，而查询数据量巨大，引起数据库压力过大甚至down机。 解决方案 永不过期错开时间多层缓存 批量查询 优化方案 multiGetpipeline
说明 NA场景，redis为单点部署，并且系统高度依赖于redis，如果redis出现问题，如服务器重启，会导致整个OMC不可用。 redis结合sentinel，可以自动实现主从切换，故障转移。 为避免单点故障，将redis改为高可用部署模式，分别在3个主机上部署redis及sentinel节点。另外，经验证，只有两个redis节点也可以，但sentinel必须有3个节点。 java程序，通过修改配置文件，取消直连redis，而是通过sentinel连接、操作redis。当redis发生主从...
redis实现高可用（主从复制） 概述 redis的复制功能是支持多个数据库之间的数据同步。一类是主数据库（master）一类是从数据库（slave），主数据库可以进行读写操作，当发生写操作的时候自动将数据同步到从数据库，而从数据库一般是只读的，并接收主数据库同步过来的数据，一个主数据库可以有多个从数据库，而一个从数据库只能有一个主数据库。 为什么需要主从复制呢？ 从以下三点说明：redis单机一旦故障，可用通过从服务器上进行...
参考：极客时间-蒋德钧老师-Redis核心技术与实战中的内容 一、简介 1.1、为什么要实现Redis Cluster1.主从复制不能实现高可用 2.随着公司发展，用户数量增多，并发越来越多，业务需要更高的QPS，而主从复制中单机的QPS可能无法满足业务需求 3.数据量的考虑，现有服务器内存不能满足业务数据的需要时，单纯向服务器添加内存不能达到要求，此时需要考虑分布式需求，把数据分布到不同服务器上 4.网络流量需求：业务的流量已经超过服务...
一、简介 在上篇文章中，我们学习了主从库集群模式。在这个模式下，如果从库发生故障了，客户端可以继续向主库或其他从库发送请求，进行相关的操作，但是如果主库发生故障了，那就直接会影响到从库的同步，因为从库没有相应的主库可以进行数据复制操作了。 如果主库挂了，我们就需要运行一个新主库，比如说把一个从库切换为主库，把它当成主库。这就涉及到三个问题： 主库真的挂了吗？该选择哪个从库作为主库？怎么把新主库的相关信...
启动sentinel1）初始化服务器 2）将普通redis服务器使用的代码替换成sentinel专用代码 3）初始化sentinel状态 4）初始化sentinel的监视 主服务列表 5）创建连向主服务器的网络连接 1）初始化服务器 2）将普通redis服务器使用的代码替换成sentinel专用代码 sentinel只是运行在特殊模式下的redis服务器，它使用了和普通模式不同的命令表，所以sentinel模式能够使用的命令和普通redis服务器使用的命令不同 3）初始化sentinel状态 4...
Sentinel（哨兵）是redis的高可用解决方案：由一个或多个Sentinel实例组成Sentinel系统可以监视任意多个主服务器，以及这些这些主服务器下属的所有从服务器，并在被监视的主服务器进入下线状态后，自动将下线主服务器下属的某个从服务器升级为新的主服务器，然后由新的主服务器代替已下线的主服务器继续处理命令请求。 创建一个Sentinel.conf配置文件内容如下： port 26379 sentinel monitor mymaster 127.0.0.1 6379 1 sentinel a...
单机/单节点/单实例存在的问题单点故障 容量限制 并发压力AKFX: 全量, 镜像(节点的备份/主备) Y: 按功能/业务拆分数据至多个节点/实例 Z: 对单个功能/业务, 按时间范围/ID范围(或优先级别等逻辑)进行逻辑拆分以一个系统的数据库(鉴权业务/功能1/功能2/报表业务)为例: X: 相当于整库的备份(主备) Y: 相当于将"鉴权业务/功能1/功能2/报表业务"这些业务包含的表, 从1个库中, 拆分至4个库(分库/垂直拆分) Z: 相当于将"鉴权业务"的用户表...
HBase 是一个基于 Hadoop 面向列的非关系型分布式数据库（NoSQL），设计概念来源于谷歌的 BigTable 模型。它面向实时读写、随机访问大规模数据集的场景，是一个高可靠性、高性能、高伸缩的分布式存储系统，在大数据相关领域应用广泛。HBase 系统支持对所存储的数据进行透明切分，从而使得系统的存储以及计算具有良好的水平扩展性。知乎从 2017 年起开始逐渐采用 HBase 系统存储各类在线业务数据，并在 HBase 服务之上构建各类应用模...
Redis已经大量应用于各种互联网架构场景中，其优异的性能，良好的操作性，以及大量的场景应用案例，使得Redis备受瞩目。本文作者向大家介绍了一种Redis在非大集群分布式应用场景下的灾备解决方案。一起来品读一下吧~作者介绍郝朝阳，宜搜科技，运维工程师，负责前端运维工作。专注于运维自动化的实现。致力于DevOps思想的推广，帮助企业形成形成自有文化的运维体系建设。一，Redis简单介绍Redis是一个高性能的key-value非关系型数据...
1、编写MariaDB及Redis数据库备份脚本 vi /sas/jumpserver/tools/db-backup.sh#!/bin/bashMariadbPath=/sas/db-backup/mariadb/ RedisPath=/sas/db-backup/redis/ SaveDays=7echo "[$(date +"%Y-%m-%d %H:%M:%S")] ============ Start database backup task ============" &>> /var/log/db-backup.log# mariadb backup echo "[$(date +"%Y-%m-%d %H:%M:%S")] Start mariadb backup task ..." &>> /var/log/db-backup.logmysqldump ...