光看文章的题目可能很难明白我想说什么，还是先描述一下项目中遇到的问题吧。 我们项目中一张这样的表用来保存各种资源，假设为资源1、资源2等等，用ResGenre来标识。 我们可以认为资源类型是一个抽象的概念，资源1、资源2这些都是资源子类。一开始所有这些光看文章的题目可能很难明白我想说什么，还是先描述一下项目中遇到的问题吧。 我们项目中一张这样的表用来保存各种“资源”，假设为资源1、资源2……等等，用ResGenre来标识。...
1. 数据库事务一致性需求 很多web实时系统并不要求严格的数据库事务，对读一致性的要求很低，有些场合对写一致性要求也不高。因此数据库事务管理成了数据库高负载下一个沉重的负担。 2. 数据库的写实时性和读实时性需求 对关系数据库来说，插入一条数据之后1. 数据库事务一致性需求很多web实时系统并不要求严格的数据库事务，对读一致性的要求很低，有些场合对写一致性要求也不高。因此数据库事务管理成了数据库高负载下一个沉重的...
Sqoop是一种用于 hadoop 与 RDBMS 进行数据传输的工具。 配置比较简单。 去apache官网下载最新的 sqoop 包。 下载地址：http://www.apache.org/dist/ sqoop /1.99.1/ 解压缩到服务器上。服务器要求本身有jdk， hadoop ， hive 。 配置： conf/sqoop-env.sh #Sqoop是一种用于hadoop与RDBMS进行数据传输的工具。 配置比较简单。 去apache官网下载最新的sqoop包。 下载地址：http://www.apache.org/dist/sqoop/1.99.1/ 解压缩到服务器...
NoSQL系统一般都会宣传一个特性，那就是性能好。为什么呢？关系型数据库发展了这么多年，各种优化工作已经做得很深了，NoSQL系统一般都是吸收关系型数据库的技术，然后，到底是什么因素束缚了关系型数据库的性能呢？我们从系统设计的角度看这个问题。 1. ?索NoSQL系统一般都会宣传一个特性，那就是性能好。为什么呢？关系型数据库发展了这么多年，各种优化工作已经做得很深了，NoSQL系统一般都是吸收关系型数据库的技术，然后，到底...
关系型数据库的优势： 1.保持数据的一致性（事务处理）[关系型数据库的最大优势] 2.由于以标准化为前提，数据更新的开销很小（相同的字段基本上都只有一处） 3.可以进行Join等复杂查询(不同服务器之间不能进行Join处理) 4.存在很多实际成果和专业技术信息（关系型数据库的优势： 1.保持数据的一致性（事务处理）[关系型数据库的最大优势] 2.由于以标准化为前提，数据更新的开销很小（相同的字段基本上都只有一处） 3.可以进行Join等...
现在的工作流系统都需要关系型数据库的支持，要使用一套工作流系统，特别是在运行过程中，启动工作流引擎的时候，都需要用数据库来跑流程的实例和记录流程的状态，可以说工作流引擎和数据库的关系非常密切，没有数据库的支持，工作流就无法运行，但是如果我 现在的工作流系统都需要关系型数据库的支持，要使用一套工作流系统，特别是在运行过程中，启动工作流引擎的时候，都需要用数据库来跑流程的实例和记录流程的状态值，可以说工...
关系型数据库与 Key-value 型数据库 Mongodb 模式设计对比 MongoDb 相比于传统的 SQL 关系型数据库，最大的不同在于它们的模式设计（ Schema Design ）上的差别，正是由于这一层次的差别衍生出其它各方面的不同。 我们可以简单的认为关系型数据库由数据库、关系型数据库与Key-value型数据库Mongodb模式设计对比MongoDb相比于传统的SQL关系型数据库，最大的不同在于它们的模式设计（Schema Design）上的差别，正是由于这一层次的差别...
关系型数据库的性能非常高，但是它毕竟是一个通用型的数据库，并不能完全适应所有的用途，具体来说它并不擅长以下处理： 大量数据的写入处理。 为有数据更新的表做索引或表结构(schema)变更 字段不固定时应用 对简单查询需要快速返回结果的处理 (1)大量数据关系型数据库的性能非常高，但是它毕竟是一个通用型的数据库，并不能完全适应所有的用途，具体来说它并不擅长以下处理： 大量数据的写入处理。 为有数据更新的表做索引或表结...
James Phillips， Couchbase 的创始人之一。他最近的一场 演讲 谈到分布式面向文档的数据库和关系型数据库模型之间的差别，以及从关系型数据库转到NoSQL时数据库Jaidc.cn/help/mobilesys/other/2013062439832.html">mes Phillips，Couchbase的创始人之一。他最近的一场演讲谈到分布式面向文档的数据库和关系型数据库模型之间的差别，以及从关系型数据库转到NoSQL时数据库开发者需掌握的知识。InfoQ就面向文档的NoSQL的优缺点采访了...
关系型数据库和非关系型数据库的选择，以及替代方法(mysql替代mongodb) 我做的项目因为涉及到大量的历史数据增加而采用的非关系型数据（mongodb），但是在实际开过程中遇到了很多问题，有开发方面的，也有管理方面的，于是我思考了用关系型数据库mysql代替非关系型数据库和非关系型数据库的选择，以及替代方法(mysql替代mongodb)我做的项目因为涉及到大量的历史数据增加而采用的非关系型数据（mongodb），但是在实际开过程中遇到了...
在重写这一步，我们拿到了查询SQL的内部表示，重写的目的是： 预优化SQL 避免不必要的操作 帮助优化器找到尽可能好的解决方案 重写器会在查询上匹配一系列规则，如果匹配一个规则就应用它重写查询，以下是部分可选的规则： 视图合并：如果你在查询中用了视图在重写这一步，我们拿到了查询SQL的内部表示，重写的目的是： 预优化SQL 避免不必要的操作 帮助优化器找到尽可能好的解决方案 重写器会在查询上匹配一系列规则，如果匹配一个...
查询管理器 查询管理是一个数据库强大与否的一个判断指标。通过查询管理，可以把一个糟糕的查询语句转换为一段快速执行的代码，代码执行后返回结果给客户端管理器。整个过程分为多步： 查询首先被解析并检查其有效性； 重写查询并删除不必要的操作，另外做一查询管理器查询管理是一个数据库强大与否的一个判断指标。通过查询管理，可以把一个糟糕的查询语句转换为一段快速执行的代码，代码执行后返回结果给客户端管理器。整个过程分...
现在我们可以看看数据库内部都有什么组件。一个数据库就是容易访问和修改的信息集合，实际上，一组简单的文件就可以做到。最简单的数据库SQLite就是由一组简单文件组成的，并且是一组精心设计的一组文件，它允许你： 通过事务保证数据的安全性和一致性； 即现在我们可以看看数据库内部都有什么组件。一个数据库就是容易访问和修改的信息集合，实际上，一组简单的文件就可以做到。最简单的数据库SQLite就是由一组简单文件组成的，并...
最后我们介绍的重要数据结构就是Hash表。当你需要快速查找的时候非常有用，而且理解Hash表会有助于我们以后理解常用数据库Join方式之一Hash join。这种数据结构常被数据库用作存储内部数据结构：表锁或缓存池（后续章节会介绍）。 Hash表能够通过元素Key快速最后我们介绍的重要数据结构就是Hash表。当你需要快速查找的时候非常有用，而且理解Hash表会有助于我们以后理解常用数据库Join方式之一Hash join。这种数据结构常被数据库用...
在我们理解了隐藏在时间复杂度和排序后面的思想之后，我必须再谈谈3种数据结构了。它们极其重要，因为它们是现代数据库的基石。我也会顺便介绍下索引的概念。 数组 二维数组是最简单的数据结构，一张数据库表就可以看做一个二维数组，例如： 二维数组就是一在我们理解了隐藏在时间复杂度和排序后面的思想之后，我必须再谈谈3种数据结构了。它们极其重要，因为它们是现代数据库的基石。我也会顺便介绍下索引的概念。数组二维数组是最...