无限容量数据库架构总结

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了无限容量数据库架构总结，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3502字，纯文字阅读大概需要6分钟。

内容图文

一、引子

故事：业务遇到了瓶颈，多张表每个月新增亿级数据，如何仍然保证高可用。
开始：所有不与业务结合的架构都是耍流氓，针对具体场景进行分析得出具体方案。
收集：所以先需要对所有数据库架构有所了解，才能比较。以下内容分为三个话题：
1. 　数据库架构
2. 　数据水平切分实践
3. 　迁移或者扩容方案

二、数据库架构

　　1、单库方案

　　 2、分组架构：

　　　　常见为一主多从、主从同步、读写分离架构；

　　　　技术实现方式常见有数据库在线或者归档日志（oracle goldengate、mysql binlog）、ETL技术。

　　　　适用于读多写少场景，用于解决读瓶颈；

　　3、分片架构：分表、分区、分库。

　　　　相同点：减少索引的B-树深度，所以提高了插入或者查询数据的效率；

　　　　不同点：分表在同一个表空间，仍有IO竞争、分区支持不同表空间可改善IO竞争、分库可实现彻底物理隔离；

　　　　分片常见算法有hash算法、范围算法、和复合算法（此外，还有列表分片）；

　　　　适用于数据库量过大的场景，一般建议数据量多大则分库，原因见上。

　　4、分组+分片复合架构

　　　　适用于读写量都巨大的场景。

　　5、垂直切分

　　　包含垂直分表和垂直分表分库；

　　　　需要考虑长度和访问频度，长度短、访问频度高的放在一起。例如用户表与用户扩展信息表。

　　　　适用于业务字段较多、访问频度且不一致的场景，这样可以使得访问频度高的数据加载到内存，减少IO，加快访问速度。如果分库，还也可以降低单库容量。

三、数据库水平切分实践

　　1、单key业务

　　　　A、使用分片架构，详见2.3章节；

　　　　B、单key衍生场景——

　　　　　　A、用户多弱key业务，例如，：户登录，UID为key，后续业务都用UID处理。同时需要支持手机、身份证号等登录。

　　　　　　　　（1）部分时候可参照多key场景

　　　　　　　　（2）基本方案为：索引外置（索引表法、映射缓存法）和基因法（弱key内置key中，弱key的分片算法结果内置key中）

　　　　　　B、运营侧业务，常见问题场景是批量分页或者统计查询

　　　　　　　（1）解耦：中间件、数据库、数据库表层解耦。

　　　　　　　　（2）可以是插入时冗余一套数据，也可以使用ods库、或者索引外置的方案

　　2、一对多业务

　　　　A、切分方案，分库场景如下——

　　　　　　外键分库，导致外联表分到不同库中，需要遍历库；主键分库，导致根据外键查询详细信息时，需要先反向查找主键定位库，可结合索引外置方案；基因法分库，目前最好的实践。

　　　　B、衍生场景，分库后的弱key查询——

　　　　　　元数据与索引数据分离：元数据用于满足key查询；索引数据用于根据弱key查找key，然后就能根据key找到对应库，并且根据key查询元数据。

　　3、多对多业务

　　　　A、基本思路：数据冗余方式分库

　　　　B、实践方式：例如，A关注B，则为在关注表中，A关注了B，在被关注表中，B是A的粉丝。这样单个查询命中单库就能满足要求。

　　　　C、关键点：数据存储多份要保证（最终）一致性。

　　4、多key业务

　　　　A、基本思路：通过冗余的方式来降维，通过降维来用低维度的手段解决问题；

　　　　B、实践方式：例如订单关系中的客户与商家，则为客户存储订单信息，变为一对多；也为商家存储订单信息，变为一对多；实践中有时是变为多对多。

　　　　C、关键点：数据存储多份要保证（最终）一致性。

四、迁移或者扩容方案

　　迁移和扩容是两个不同的事件，有时扩容伴随着迁移。

　　迁移方案：
- 全量迁移+停机增量迁移：停机是为了保证不会在迁移期间产生新的增量数据；
- 双写法（非停机）迁移：旧库修改变为新旧库同时修改，在此期间迁移数据到新库，最终对比数据，然后切换过去。

　　扩容方案：
- 全量迁移+停机增量迁移
- 双主同步方案（完美方案）——

　　　　　　（1）假设，现在有A/B两台，%2=0路由到A，%2=1路由到B

　　　　　　（2）现在为AB建立双主同步库，A对应C、B对应D

　　　　　　（3）修改配置项建立新的链接，%4=0对应A、%4=1对应B、%4=2对应C、%4=3对应D

　　　　　　（4）撤销双主，A与C、B与D不再建立关系

　　　　　　（5）数据缩容：例如将A中%4=2的全部干掉，C中%4=0的全部干掉。完美结束。

数据迁移的效率：

　　　　大表迁移数据的几种有效方式——

　　　　新表不建立索引，迁移完成再建立索引。有实践为证，亿级表无索引迁移需要约10分钟，有索引迁移约需要50个小时；

　　　　hint语句：加上append、nologging、parallel等能极大优化效率；

　　　　如果是分区表，可单张分区表独立迁移。

无限容量数据库架构总结

标签：分页 parallel 关键点改变无限不一致自己的统计垂直

本文系统来源：http://www.cnblogs.com/baimingqian/p/7599850.html

内容总结

以上是互联网集市为您收集整理的无限容量数据库架构总结全部内容，希望文章能够帮你解决无限容量数据库架构总结所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/491940.html

来源：【匿名】

【上一篇】sql语句的字段zhuanchengDate 【下一篇】关于IE的RegExp.exec的问题

更多 ►

【无限容量数据库架构总结】教程文章相关的互联网学习教程文章

RHEL 5用rpm包，直接安装后配置数据及缓存目录即可。RHEL 6用tar包+配置文件，本文是在RHEL 6上安装IEE的向导。①上传infobright-4.0.6-x86_64.tar包和配置文件my-ib.cnf，mysqld-ib到服务器任意目录②解压tar包，移动到/usr/local/目录下，配置文件分别移动到/etc/目录，/etc/init.d/目录下tar -xvf infobright-4.0.6-x86_64.tarmv infobright-4.0.6-x86_64 /usr/local/ mv my-ib.cnf /etc/ mv mysqld-ib /etc/init.d/ chmod u+x ...

数据库第四周实验——索引，插入，查询 ——例题实现【代码】【图】

一.索引的建立与删除（一）建立索引 CREATE [UNIQUE] [CLUSTER] INDEX <索引名> ON <表名>(<列名>[<次序>][,<列名>[<次序>]]...);88页【例3.13】为学生-课程数据库中的Student、Course和SC 三个表建立索引。其中Student表按学号升序建唯一索引，Course表按课程号升序建唯一索引，SC表按学号升序和课程号降序建唯一索引。 ASC表示升序，DESC表示降序。缺省值：ASC。 CREATE UNIQUE INDEX Stusno ON Student(Sno); CREATE UNIQUE IN...

阳振坤：数据库天然选择了计算机，但计算机天然并不适合数据库【图】

原文链接：阳振坤：数据库天然选择了计算机，但计算机天然并不适合数据库 - OceanBase数据库的文章 - 知乎 https://zhuanlan.zhihu.com/p/38621134

阿里云服务器，数据库热备、暖备、冷备实战-镜像篇（域环境下配置）【图】

阿里云服务器值得信赖概述 “数据库镜像”是一种针对数据库高可用性的基于软件的解决方案。其维护着一个数据库的两个相同的副本，这两个副本分别放置在不同的SQL Server数据库实例中。建议使用不同位置的两台服务器来承载。在同一时刻，其中一台上的数据库用于客户端访问，充当“主体服务器”角色；而另一台则根据镜像会话的配置和状态，充当热备份服务器，即“镜像服务器角色”，这两种角色不是绝对的。优点 l 增强了数据保护...

链接怎么设置点击一次..数据库点击量加1

点击一个链接时要将数据库中的相对应的访问数量+1的话，只能在当前页面写一个方法用js去访问通过js获取要点击的链接的参数用ajax将参数传到控制器，在控制器中获取传过来的参数查找数据库中是否有记录，若有可以将此条数据获取之后再对应的字段+1 <a href=‘<?=Url::to([‘aaa‘, ‘id‘ => 1])?>‘ class = ‘count_add‘>点击</a> <script>$(funcation() {　　$(document).on(‘click‘, ‘.count_add‘, function () { 　...

SPATIALITE 各版本数据库差异

SpatiaLite 生成的数据库，3.0版本与4.0版本的表geometry_columns结构发生变化。这是3.0版本的结构:这是4.0版本的结构:主要差别是type和coord_dimension。原文：http://www.cnblogs.com/janehlp/p/5768886.html

数据库时间转换

public function index(){ include("connect.php"); $sql="select * from msg1"; echo "<h3>用户列表：</h3>"; echo ‘<table border="1" width="80%">‘; $results=mysql_query($sql); while($user=mysql_fetch_array($results)) { $time=$user[‘time‘]; echo "<tr>"; echo "<td>{$user[‘Id‘]}</td>"; echo "<td>{$user[‘use...

Flask 数据库迁移

更好的解决办法是使用数据库迁移框架，它可以追踪数据库模式的变化，然后把变动应用到数据库中。在Flask中可以使用Flask-Migrate扩展，来实现数据迁移。并且集成到Flask-Script中，所有操作通过命令就能完成。为了导出数据库迁移命令，Flask-Migrate提供了一个MigrateCommand类，可以附加到flask-script的manager对象上 1.安装模块pip install flask-migrate 2.导入模块from flask_migrate import Migrate,MigrateCommandfro...

Drupal 7 安装时的数据库问题

在安装D7时，需要用PhpMyAdmin创建数据库，不建议使用ROOT帐号而需要建立一个新的帐号。一般，建立一个新的账号，如foo，并同时建一个同名的数据库，选择localhost（如果是本地）。但是，建立起来的数据库其collation默认为latin1_swedish_ci，怎么修改呢？这个问题困绕了很久。其实，只有选择你想修改的数据库，如foo，再选择operations->collation就可以选择你需要的，比如utf8_general_ci. Just as simple as that!Drupal 7 安...

jdbc连接数据库【代码】

使用的是使用jdbc连接数据库,然后实现数据库之间的来回自由切换,不多说直接上代码请看下面当然首先要添加对应的maven依赖 <dependency><groupId>com.microsoft.sqlserver</groupId><artifactId>sqljdbc4</artifactId><version>4.0</version></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId></dependency>我是springboot项目我的数据源配置在yum文件中,你们根据自己的情况来配置自...

数据库【代码】

/关闭：方式1: 我的电脑-----> (右键)管理---->服务和应用程序---->服务----找到MySQL服务右键启动或关闭方式2: 进入dos窗口使用命令: net start mysql 开启MySQL服务; 命令:net stop mysql 关闭MySql服务登陆MySQL:格式1：cmd> mysql –u用户名 –p密码例如：mysql -uroot –proot格式2：cmd> mysql --host=ip地址 --user=用户名 --password=密码例如：mysql --host=127.0.0.1 --user=root --password=rootSQL分类：数据定义...

SQL注入之判断数据库【代码】

前言这个月应该会出去参加红队护网，面试了一下发现自己真的好菜有点自闭--几乎一半的面试题目没有回答上来--这几天一直在看红队的知识，在其他方面的学习就懈怠了不少--晚上突然想起来曾经看到的这个问题：怎么判断数据库。很多细节看过就忘了--所以今天这里来做个记录。照例，这篇文章是个人学习来用，思想均来自互联网。而且数据库安全的话我也就对mysql有点了解，其他数据库安全的话之后再补吧。。不知不觉我也是个即将大三的...

实现混合数据库系统的最佳实践 DynamoDB【图】

在某些情况下，从一个或多个关系数据库管理系统 (RDBMS) 迁移到 DynamoDB 可能无益。在这些情况下，创建混合系统可能更可取。如果不想将所有内容迁移到 DynamoDB 例如，一些组织大笔投资于生成会计和运营所需众多报告的代码。生成报告所花时间对这些组织并不重要。关系系统的灵活性非常适合此类任务，在 NoSQL 上下文中重新创建这些报告可能过于困难。某些组织将收购或继承的大量过时关系系统保留了几十年。为了证明此工作是合理...

sql数据库管理处理问题--维护计划

问题：SQLServer 错误: 15404，无法获取有关 Windows NT 组/用户 MYPC/Administrator‘ 的信息，错误代码 0x534。 [SQLSTATE 42000] (ConnIsLoginSysAdmin) 确认登陆名安全性-登陆名：确认 administrator用户名前缀 xxx/Administrator，确认xxx是否为本机用户名，有的时候更改用户名之后会出现这个问题。更改为本机用户名/Administrator 后解决确认连接执行T-SQL任务的时候，确认连接使用的用户名，建议使用sql系统用户...

SAP DBCO 连接外部数据库【图】

一、服务端安装驱动（以下网址请上google,以Window service2016为例）网址https://docs.microsoft.com/zh-tw/sql/connect/odbc/linux-mac/installing-the-microsoft-odbc-driver-for-sql-server?view=sql-server-ver15 1.查看ODBC驱动对应数据库的版本表（在左边导航栏的ODBC-->Windows-->系统需求、安装和驱动程序档案） 2.服务器装ODBC驱动（找Linux版本或macOS版本的对应的安装语法） 3.根据连接错误讯息用命令改驱动...

首页 / 更多教程 / 无限容量数据库架构总结

无限容量数据库架构总结

内容导读

内容图文

内容总结

内容备注

内容手机端

【无限容量数据库架构总结】教程文章相关的互联网学习教程文章

IEE数据库安装向导【代码】

数据库第四周实验——索引，插入，查询 ——例题实现【代码】【图】

阳振坤：数据库天然选择了计算机，但计算机天然并不适合数据库【图】

阿里云服务器，数据库热备、暖备、冷备实战-镜像篇（域环境下配置）【图】

链接怎么设置点击一次..数据库点击量加1

SPATIALITE 各版本数据库差异

数据库时间转换

Flask 数据库迁移

Drupal 7 安装时的数据库问题

jdbc连接数据库【代码】

数据库【代码】

SQL注入之判断数据库【代码】

实现混合数据库系统的最佳实践 DynamoDB【图】

sql数据库管理处理问题--维护计划

SAP DBCO 连接外部数据库【图】

更多教程 - 最新教程

更多教程 - 最热教程