第十三章、大规模数据库架构

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了第十三章、大规模数据库架构，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8572字，纯文字阅读大概需要13分钟。

内容图文

第十三章、大规模数据库架构

内容提要：

1、了解分布式数据库技术

2、了解并行数据库技术

3、了解云数据库技术

4、了解XML数据库技术

第一节分布式数据库

1.1、分布式数据库系统概述

分布式数据库系统与分布式数据库的区别：

　　分布式数据库系统——数据分布存储于若干场地，并且每个场地由独立于其它场地的DBMS进行数据管理。物理上分散、逻辑上集中的数据库系统。

　　分布式数据库——分布式数据库系统中各场地上数据库的逻辑集合。

1.2、分布式数据库目标与数据分布策略

分布式数据库目标：

12个目标：

　　本地自治、非集中式管理、高可用性。（最基本特征）

　　位置独立性、数据分片独立性、数据复制独立性。（分布透明性）

　　分布式查询、事务管理。（复杂性）

　　硬件独立性、操作系统独立性、网络独立性、

　　数据库管理系统独立性。

数据分布策略：
　　从数据分片和数据分配考虑
　　数据分片（对关系操作）
按一定规则将某一个全局关系划分为多个片断。

四种基本方法：
　　水平分片——每个分片是原始关系所有数据行的子集合。
　　垂直分片——每个分片是原始关系所有数据列的子集合。
　　导出分片——导出水平分片。
　　混合分片——以上三种的混合。

第十三章、大规模数据库架构 - 文章图片

水平划分

例：来自同一个城市的雇员位于一个分片将Chicago数据存储于场地Chicago 。相当多的查询是本地查询

垂直划分

id，name.

数据分配（对分片结果操作）

　　将分片产生的片断分配存储在各个场地上。解决数据分配的方法：

　　集中式——所有数据片断安排在一个场地上。

　　分割式——所有全局数据有且只有一份，分割成若干被分配在特定场地上的片断。

　　全复制式——全局数据有多个副本，每个场地上有一个完整的数据副本。

　　混合式—— 介于分割与全复制式之间。

1.3、分布式数据库系统的体系结构

第十三章、大规模数据库架构 - 文章图片

分布透明性

　　分片透明性。用户无需考虑数据分片。

　　位置透明性。用户只需考虑数据分片情况，无需考虑数据分片位置。

　　局部数据模型透明性。用户既要了解全局数据的分片情况，还要了解各片断的副本复制情况及位置分配情况。

第十三章、大规模数据库架构 - 文章图片

1.4、分布式数据库的相关技术

分布式查询

　　用户与分布式数库系统的接口。分布式查询优化需考虑：

①操作执行的顺序。

②操作的执行算法（连接操作和并操作）。

③不同场地间的数据流动的顺序。

分布式事务管理

主要包括：

①恢复控制

　　基于两阶段的提交协议。

②并发控制

　　基于封锁协议。

第二节并行数据库

2.1、并行数据库概述

　　并行数据库系统——通过并行实现各种数据操作，如数据载入、索引建立、数据查询等，可以提高系统的性能。
　　优势：增强的可用性：当存储某个关系的场地系统崩溃时，可继续使用存储在别的场地的副本。

2.2、并行数据库系统结构

实现并行DBMS的三种硬件结构：

（1）共享内存系统(Shared Memory)

（2）共享磁盘系统(Shared Disk)

（3）无共享资源系统(Shared Nothing)

（4）层次结构(Hierachical)

第十三章、大规模数据库架构 - 文章图片

（1）共享内存系统：

? 多个cpu通过连接网络进行通信，并能访问公共的主存。

　　随着CPU增加，造成内存冲突。

第十三章、大规模数据库架构 - 文章图片

（2）共享磁盘系统：

? 每个cpu拥有自己的私有内存，并通过连接网络直接访问所有磁盘。

　　通过网络实现CPU之间的数据交换，增加了通信代价。

第十三章、大规模数据库架构 - 文章图片

大型并行数据库系统的最优结构

（3）无共享资源系统：

每个cpu拥有自己的内存和磁盘空间，并无公共区域，cpu之间所有通信通过连接网络来完成。
　　存在通信代价，非本地磁盘访问代价高。

第十三章、大规模数据库架构 - 文章图片

（4）层次结构：

前三种体系的结合。分为两层，顶层是无共享结构，底层是共享内存或共享磁盘结构。

　　集成了以上三种结构的优缺点。

2.3、数据划分与并行算法

　　一维数据划分：将大数据集水平划分到多个磁盘上，可以通过并行读写有效地利用多磁盘的I/O带宽。

（1）轮转法——如果系统有n个cpu，将第i条记录划分到第i mod n 处理器的方法称为轮转划分方法。

（2）散列法——使用特定的哈希函数，作用于选定的属性，将记录划分到不同的处理机。

（3）范围划分法——首先对记录进行排序，然后按照排序码将其划分成n个区域，使每个区域中近似含有相同数目的记录，处于第i个区域的记录分布于处理机i。

优势劣势：

（1）轮转法可有效应用于需要访问整个关系的查询处理，当需要访问部分记录时，散列法和范围更优。

（2）范围法可能会导致数据偏斜，也就是不同分片含有的记录数目差别很大。数据偏斜会造成存有大片数据分片的处理机的性能瓶颈问题。

（3）散列法优点是：即使数据随时间增加或减少，也能保持均匀分布。

多维数据划分：

　　CMD多维划分法
　　BERD多维划分法
　　MAGIC多维划分法。

2.3.1、并行算法：

（1）并行排序：

a.用区域划分法先将关系的所有记录重新分布再进行排序。

b.每个cpu使用排序算法对分配给它的记录排序。每个处理机得到分配给它的所有记录的有序序列。

c.通过按照区域划分的对应次序访问处理机得到完整的有序关系。

例：employee按属性salary排序  ，salary的取值范围从10~210，处理机数目20       
         10~20的所有记录分布于处理机1
         21~30…………………………… 2
         ……
         ……
         200~210…………………………20

　　难点：如何进行区域划分来使得每个处理机分布的记录数目近似相等。否则，对具有大量记录的处理机排序时将产生性能瓶颈，从而限制并行排序的可扩展性。

（2）并行连接：

　　假设：对关系A和B进行划分时，连接属性为age，关系初始分布在若干磁盘上，但不是基于连接属性分布的。

　　方法：对关系A和B重新划分：把连接属性age的取值分成k个区域

例：假设10个处理机，age取值范围0~100
    记录按照相应的age值进行分布
    0<=age<1                  处理机1　10<=age<20              处理机2
    ……
    ……
    90<=age<100            处理机10
　　缺点：产生由对数据偏斜不同分片的记录数目差别很大

第三节云计算数据库架构.

3.1、云计算概述

　　云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。

第十三章、大规模数据库架构 - 文章图片

云计算服务类型
第十三章、大规模数据库架构 - 文章图片

1、IaaS

将硬件设备等基础资源封装成服务供用户使用

2、PaaS

对资源的抽象层次更进一步，提供用户应用程序运行环境

3、SaaS

针对性更强，它将某些特定应用软件功能封装成服务

云（cloud）：

即云计算提供商的数据中心的软硬件设施。

云分为：

　　公共云：以即用即付的方式提供给公众。

　　私有云：不对公众开放的云。

　　混合云

3.2、云数据库体系结构

云数据库（CloudDB，简称云库）：云+数据库。

目前主要的云计算平台：

　　AWS（Amazon Web Services）

　　GAE（Google AppEngine）

　　Hadoop
第十三章、大规模数据库架构 - 文章图片

谷歌云计算基础架构模式（4个子系统）
　　Google File System文件系统
　　Map/Reduce分布式编程环境
　　Chubby分布式锁机制
　　BigTable大规模分布式数据库

3.3、云数据库与传统数据库比较

云数据库的缺点：

　　数据安全问题

　　对云的管理问题

　　对因特网的依赖

第四节 XML数据库

4.1、XML数据库概述

　　XML，eXtensible Markup Language.可扩展标识语言。

　　XML数据库——支持对XML文档格式进行存储和查询等操作的数据库管理系统。

三种类型的XML数据库 ：

XML Enabled Database(XEDB) )——能处理XML的数据库。
Native XML Database(NXD) )——纯XML数据库。
Hybird XML Database(HXD)——混合XML数据库。

与传统数据库比较，XML数据库的优势：

能够对半结构化数据进行处理。

提供对标签和路径的操作。

能清晰地表达数据的层次特征。

4.2、SQL Server 2008 与 XML

SQL Server中的XML语句：

FOR XML：将返回结果变为XML格式。

示例：

SELECT * FROM Table_cus 
WHERE …. FOR XML RAW

SQL Server中的XML数据类型：
XML类型的字段
示例：

CREATE  TABLE T_info
(
cid int ,
Content xml
)

例题讲解

1、Google的云数据库是一个分布式的结构化数据存储系统，称作（　　）。
答案：Bigtable

2、在分布式数据库中，使用（　　）模式来描述各片段到物理存放场地的映像。
答案：分配

3、在并行数据库中，有关系R(A, B)和S(A, C)，需要将它们根据A属性拆分到不同的磁盘上。现有查询SELECT B FROM R, S WHERE R.A = S.A。下列拆分方式中最适合该查询的是（　　）
A．散列划分
B．轮转法
C．范围划分
D．列表划分
答案：A

4、关于分布式数据库，下列说法错误的是（　　）
A．分布式数据库系统的目标是利用多处理机结点并行地完成数据库任务，以提高数据库系统的整体性能
B．分布式数据库中位置透明性是指数据分片的分配位置对用户是透明的，使得用户在编程时只需考虑数据分片情况，而不用关心具体的分配情况
C．分布式数据库的事务管理包括恢复控制和并发控制，恢复控制一般采用的策略是基于两阶段的提交协议
D．分布式数据库的查询代价需要考虑站点间数据传输的通信代价，一般来说导致数据传输量大的主要原因是数据间的连接操作和并操作
答案：A

5、关于分布式数据库，下列说法错误的是（　　）
A．分布式数据库的查询代价需要考虑站点间数据传输的通信代价，一般来说导致数据传输量大的主要原因是数据间的连接操作和并操作
B．分布式数据库中位置透明性是指数据分片的分配位置对用户是透明的，使得用户在编程时只需考虑数据分片情况，而不用关心具体的分配情况
C．分布式数据库的事务管理包括恢复控制和并发控制，恢复控制一般采用的策略是基于两阶段的提交协议
D．分布式数据库系统的目标是利用多处理机结点并行地完成数据库任务，以提高数据库系统的整体性能
答案：D

6、在分布式数据库应用系统中，对全局关系进行分片设计时，下列说法正确的是（　　）
A．对于一个全局关系中的任意数据，不允许其不属于任何一个片段，也不允许某些数据同时属于不同的片段
B．对于一个全局关系中的任意数据，可以允许其不属于任何一个片段，也允许某些数据同时属于不同的片段
C．对于一个全局关系中的任意数据，不允许其不属于任何一个片段，但允许某些数据同时属于不同的片段
D．对于一个全局关系中的任意数据，对于一个全局关系，可以允许某些数据属于不同片段，但不允许某些数据同时属于不同的片段
答案：A

7、在分布式数据库的数据分配中，若所有全局数据有且只有一份，他们被分割成若干切片，每个片段被分配在一个特定场地上，则该策略属于（　　）
A．分割式
B．集中式
C．全复制式
D．混合式
答案：A

8、分布式数据库系统的“分片透明性”位于（　　）
A．全局概念模式与分片模式之间
B．分片模式与分配模式之间
C．全局模式与全局概念模式之间
D．分配模式与局部概念模式之间
答案：A

9、在云计算中，当云以即用即付的方式提供给公众的时候，我们称其为（　　）
A．公共云
B．私有云
C．共享云
D．混合云
答案：A

第十三章、大规模数据库架构

标签：base aws image 查询优化部分 hub 它的 native 10个

本文系统来源：https://www.cnblogs.com/shaoyayu/p/12543794.html

内容总结

以上是互联网集市为您收集整理的第十三章、大规模数据库架构全部内容，希望文章能够帮你解决第十三章、大规模数据库架构所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/520557.html

来源：【匿名】

【上一篇】jdbc Communications link failure 【下一篇】关于IE的RegExp.exec的问题

更多 ►

【第十三章、大规模数据库架构】教程文章相关的互联网学习教程文章

第十三章、大规模数据库架构内容提要： 1、了解分布式数据库技术 2、了解并行数据库技术 3、了解云数据库技术 4、了解XML数据库技术第一节分布式数据库 1.1、分布式数据库系统概述分布式数据库系统与分布式数据库的区别：分布式数据库系统——数据分布存储于若干场地，并且每个场地由独立于其它场地的DBMS进行数据管理。物理上分散、逻辑上集中的数据库系统。分布式数据库——分布式数据库系统中各场地上数据库的逻辑集合。 1....

数据库控制语句DCL

--DECLARE text emp.empno%TYPE :=7499; rec emp%ROWTYPE;BEGIN SELECT * INTO rec FROM emp WHERE empno=text; DBMS_OUTPUT.PUT_LINE(‘姓名:‘||rec.ename||‘工资:‘||rec.sal||‘工作时间:‘||rec.hiredate); END;declare text2 jiesuan.商品%type :=‘手机‘; ee jiesuan%rowtype; begin select * into ee from jiesuan where 商品=text2; dbms_output.put_line(‘商品:‘||ee.商品);end; ...

qt连接数据库

#include <QSqlDatabase>#include <QMessageBox>#include <QSQLITE> //添加MySql数据库 QSqlDatabase db = QSqlDatabase::addDatabase("QMYSQL"); //连接数据库 db.setHostName("192.168.1.20"); //数据库服务器IP db.setUserName("root"); //数据库用户名 db.setPassword("000000"); //密码 db.setDatabaseName("test01"); //使用哪个数据库 //打开数据库 if( !db.open() ) //数据库打开失败 { ...

达梦数据库修改表失败错误号: -6407 错误消息: 锁超时【代码】【图】

1，通过下面sql查出哪张表上的某种锁是由哪个会话里的操作加上的select a.*,b.NAME,c.SESS_ID from v$lock a left join sysobjects b on b.ID=a.TABLE_ID left join v$sessions c on a.TRX_ID=c.TRX_ID 2，找到表名对应的SESS_ID,执行下面sql就可以对表进行修改操作了sp_close_session(140670650200624)

薪资管理系统数据库【图】

管理员用户表（id，password）表名：admin 雇员密码表 employ 雇员信息表employee 工会会费表affiliation 银行卡支付工会id 时薪表支票支付表固定工资表销售凭证会费缴费工时卡销售员工工资表薪资管理系统数据库标签：mic ima ati nbsp image 系统薪资 password 管理系本文系统来源：https://www.cnblogs.com/Bluebells/p/14257911.html

数据库质疑的处理

一SQL 2000对于SQL 2000数据库质疑的修复步骤如下： 1. 在查询分析器中，运行如下命令将数据库置于紧急模式。Sp_configure ‘allow update‘, 1GoReconfigure with overrideGoBegin TranUpdate master..sysdatabases set status = 32768 where name =‘<DatabaseName>‘Commit Tran--此处<DatabaseName>需要替代成您出问题的数据库名字。--以下同GoSelect * from sysdatabases--检查数据库状态是否已经变成 32768Go 2. ...

SQL-数据库邮箱配置【图】

exec sp_configure ‘Database Mail XPs‘,1RECONFIGURE With Override二、配置数据库邮件1、启用配置向导如果事先没有手动启用数据库邮件功能，则会提示：2、新建数据库邮件帐户3、完成配置三、发送邮件1、发送测试邮件2、收到的邮件3、使用T-SQL发送邮件　　详细语法见sp_send_dbmail (Transact-SQL)，例如：EXEC msdb.dbo.sp_send_dbmail@profile_name = ‘Adventure Works Administrator‘,@recipients = ‘danw@Adventure-Wor...

Django在根据models生成数据库表时报 init() missing 1 required positional argument: 'on_delete'

在django2.0后，定义外键和一对一关系的时候需要加on_delete选项，此参数为了避免两个表里的数据不一致问题，不然会报错：TypeError: __init__() missing 1 required positional argument: ‘on_delete‘举例说明：user=models.OneToOneField(User)owner=models.ForeignKey(UserProfile)需要改成：user=models.OneToOneField(User,on_delete=models.CASCADE) --在老版本这个参数（models.CASCADE）是默认值owner=models.ForeignKey...

数据库系统原理设计--论坛系统

摘要：随着科学技术的发展，基本上所有的具有一定数量数据的机构都开始使用计算机数据库来管理。现如今网络盛行，BBS 论坛已成为人们生活中的一种信息交流渠道,它通过在计算机上运行服务软件，允许用户使用终端程序通过电话调制解调器拨号或者 Internet 来进行连接，执行下载数据或程序、上传数据、阅读新闻、与其他用户交换消息等功能。本文主要介绍利用 SQL Sever 2008 作为设计工具，理解并运用课程中关于数据库设计...

Django ORM操作数据库常用API【图】

昨天晚上，我们完成了一个简单的实例来对数据库表进行操作。今天，我们要熟悉更多的API，实现更复杂的功能。这一步完成了，我们对小型数据的操作问题也就不大了。现在，我们还是参考django官方文档，来进行学习 1.构造数据表把以下内容，拷贝到你的朋友charm中，然后执行migrate命令 class Blog(models.Model):name = models.CharField(max_length=100)tagline = models.TextField()def __str__(self): # __unicode__ on Python ...

数据库常用语句sql

--查看表结构DESC tablename;DESC tablenam;--删除表即全部数据DROP TABLE tablename;DROP TABLE tablenaem;--使用SQL语句创建约束--主键ALTER TABLE tablename ADD CONSTRAINT pk_约束名 PRIMARY KEY(列名）;ALTER TABLE tablename ADD CONSTRAINT pk_约束名 PRIMARY KEY(列名）;ALTER TABLE tablename ADD CONSTRAINT PK_约束名 PRIMARY KEY(列名);--唯一约束ALTER TABLE tablename ADD CONSTRAINT qu_约束名 unique(列名）;ALT...

LMDB数据库加速Pytorch文件读取速度【代码】【图】

import lmdb 2 3 env = lmdb.open(‘D:/desktop/lmdb‘, map_size=10*1024**2) 指定存放生成的lmdb数据库的文件夹路径，如果没有该文件夹则自动创建。 map_size 指定创建的新数据库所需磁盘空间的最小值，1099511627776B＝１T。可以在这里进行存储单位换算。会在指定路径下创建 data.mdb 和 lock.mdb 两个文件，一是个数据文件，一个是锁文件。修改数据库内容： 1 # 创建一个事务Transaction对象2 txn = env.begin(write=Tr...

终端和前台数据库同步

问题描述：客户在前台和终端均能制卡销卡，在不同位置制卡销卡，导致数据不统一，前台电脑不能直观的看到酒店整体入住情况。酒店前台用一个数据库，终端有一个数据库，两个软件都只能读取本地数据库的情况，然后要实现数据库同步。其他应用场景：同一个局域网内两个不同终端上的不同软件共享同一个数据库解决方案：数据库存在前台机器上，前台使用网络共享地址将安装酒店管理软件的磁盘映射为本地硬盘提供给终端机使用，终端机读...

阿里RDS新建用户设置只有某个数据库的权限【图】

阿里RDS新建用户后，设置新的权限只有一个数据库的权限，设置后，依然可以访问所有的数据库，权限没有生效只对一个数据库授权的时候，全局权限不要选，是针对全部的，只选择对象权限您不选择服务器级权限就可以了, 只加对象权限就没有问题. 1.如下图，全局权限不要选择，是针对所有数据库的 2.主机的时候可以空不填，也可以填 % 或者填 localhostshow grants for 账号名时候报错 There is no such grant defined for user ‘...

django下数据库配置

1、django默认支持sqlite、mysql、Oracle、postgresql数据库，像db2和sqlserver之类的数据库之类的数据库支持需要第三方的支持。具体详见:https://docs.djangoproject.com/en/1.9/ref/databases/ Using a 3rd-party database backend? In addition to the officially supported databases, there are backends provided by 3rd parties that allow you to use other databases with Django: SAP SQL AnywhereIBM DB2Microsoft SQL ...

首页 / 更多教程 / 第十三章、大规模数据库架构

第十三章、大规模数据库架构

内容导读

内容图文

第十三章、大规模数据库架构

第一节 分布式数据库

1.1、分布式数据库系统概述

1.2、分布式数据库目标与数据分布策略

1.3、分布式数据库系统的体系结构

1.4、分布式数据库的相关技术

第二节 并行数据库

2.1、并行数据库概述

2.2、并行数据库系统结构

2.3、数据划分与并行算法

2.3.1、并行算法：

（1）并行排序：

（2）并行连接：

第三节 云计算数据库架构.

3.1、云计算概述

3.2、云数据库体系结构

3.3、云数据库与传统数据库比较

第四节 XML数据库

4.1、XML数据库概述

4.2、SQL Server 2008 与 XML

例题讲解

内容总结

内容备注

内容手机端

【第十三章、大规模数据库架构】教程文章相关的互联网学习教程文章

更多教程 - 最新教程

更多教程 - 最热教程

第一节分布式数据库

第二节并行数据库

第三节云计算数据库架构.