大数据（big data），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理...
Xtrabackup是由percona开源的免费数据库热备份软件，它能对InnoDB数据库和XtraDB存储引擎的数据库非阻塞地备份（对于MyISAM的备份同样需要加表锁）； mysqldump备份方式是采用的逻辑备份，其最大的缺陷是备份和恢复速度较慢，如果数据库大于50G，mysqldump备份就不太适合。Xtrabackup优点 1）备份速度快，物理备份可靠 2）备份过程不会打断正在执行的事务（无需锁表） 3）能够基于压缩等功能节约磁盘空间和流量 4）自动备份校验 5）...
1、oracle数据库：（注：tableName.id指的是tableName的主键）select * from (select tableName.*,rownum as con from tableName where rownum <= m order by tableName.id desc)where con >= n;2、SQLServer数据库：（注：tableName.id指的是tableName的主键）实现原理解释：1）先查出前m面条记录2）再查出前n面条记录3）最后通过条件过滤掉前m条记录方法一：select top n-m+1 * from tableName where tableName.id not in (selec...
SqlServer数据库下通用存储过程实现分页： 1 --通用存储过程分页2 CREATE PROCEDURE procList3 --我们需要传入的参数4 @strWhere NVARCHAR(max), --查询条件5 @PageSize INT, --每页显示多少条内容6 @PageIndex INT , --当前页7 @TableName NVARCHAR(max), --需要查询的表名8 @ColName NVARCHAR(max), --排列用到的列名9 --程序返回给...
void Main(string[] args){int count = 0;string readerPath=@"C:\Users\Administrator\Desktop\readerDemo.csv";string writerPath=@"C:\Users\Administrator\Desktop\writeDemo.csv";if (File.Exists(writerPath)){File.Delete(writerPath);}using (StreamReader reader = new StreamReader(readerPath,Encoding.UTF8)){while (!reader.EndOfStream){string line = reader.ReadLine();using (StreamWriter writer = new StreamWr...
NoSQL不是不用SQL，是Not only SQL，不仅仅是结构化的查询。NoSQL兴起的原因在Web2.0时代新浪一分钟可以发送两万条微博，苹果可以下载4.7万次应用。数据的高并发性，同时有90万次的查询向百度的服务器提出了搜索要求。还有高扩展性，Web应用千变万化，可能对字段的需求在不断地增加。传统的数据库无法对字段进行简单的扩展。 关系型数据库作为一个统一的数据模型，既被用于数据分析，也被用于在线业务。数据分析强调的是高吞吐量，...
大数据量高并发的数据库优化一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。 在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱之处，等到系统投入实际运行一段时间后，才发现系统的性能在降低，这...
之前介绍过关于HBase 0.9.8版本的部署及使用，本篇介绍下最新版本HBase1.2.4的部署及使用，有部分区别，详见如下：1. 环境准备：1.需要在Hadoop[hadoop-2.7.3] 启动正常情况下安装，hadoop安装可参考LZ的文章 大数据系列之Hadoop分布式集群部署2. 资料包 zookeeper-3.4.9.tar.gz,hbase-1.2.4-bin.tar.gz 2. 安装步骤：1.安装zookeeper1.解压zookeeper-3.4.9.tar.gzcd tar -xzvf zookeeper-3.4.9.tar.gz ll zookeeper-3.4.9 2.新建...
1.在讨论这个问题之前首先介绍一下什么是“大数据量sql文件”。 导出sql文件。选择数据库-----右击选择“转储SQL文件”-----选择"结构和数据" 。保存文件db_mras.sql文件。 2.导入sql文件。在MYSQL中新建数据库db_mras。选择数据库-----右击选择“运行SQL文件”-----选择文件db_mras.sql,运行。 现在发现运行失败，提示错误“MySQL server has gone away” 。针对该问题提出如下解决方案： 提示该错误意思是：客户端与mysql的链接...
参考：http://www.cnblogs.com/chuncn/archive/2009/04/21/1440233.html 一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。 在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱之处，等到系统投入实际运...
使用asm来部署 超大数据库（10TB到PB 范围） 參考原文： Deployment of very large databases (10TB to PB range) with Automatic Storage Management (ASM) (Doc ID 368055.1)范围： 本文适用于在全部平台上的asm配置。包含使用rac 和单实例 环境。 本文适用于超大数据库的创建。而且该数据库会增长到超过10TB级别。挑战： asm 元数据存储 解决方式： au（分配单元） 是asm磁盘组中的主要的分配单位。默认情况下。asm au的大小被设...
db_block_size=2KB，文件头保留32个数据块，即64KB。 db_block_size=4KB。文件头保留16个数据块，即64KB。 db_block_size=8KB，文件头保留8个数据块，即64KB。 db_block_size=16KB，文件头保留4个数据块。即64KB。 db_block_size=32KB，文件头保留4个数据块。即128KB。--为什么不是64kb? 默认是db_block_size=8KB，此时 ORACLE数据文件头的8个数据块作用是： 数据块1和2记录数据文件头信息。3-8用于记录extent-区间的位图信息 ext...
然后 点击 右侧的 属性 按钮5 数据链接属性 窗口弹出 a： 输入服务器名称 ( 这个名称不是Oracle服务器的IP地址 是安装Oracle客户端时设置监听时的服务名 也就是 tnsnames.ora 文件里的别名) 这里输入ORCL b： 输入登录数据库的信息 (也就是访问ORacle服务器的用户名和密码) c：然后点击 测试连接6 点击 确定按钮 点击下一步 服务器名称 是 SqlServer2008服务器IP 身份验证 选择 使用Sqlserver身份验证 用户名和密码...
关系型数据库不擅长的操作，是NoSQL应运而生的原因：大量的数据写入操作书上写的是“大量数据的写入操作“，我理解的应该是“大量的数据写入操作”，因为大量的数据写入操作才会引起并发，并发和锁是关系型数据库的瓶颈，NoSQL将表拆分到不同的节点上，可以将写入操作分发到各个节点上。为何关系型数据库无法解决大量的数据写入操作？在数据读入方面，关系型数据库可以通过增加节点，主从复制，来提高高并发的时候的压力。但是在写...
面向文档的数据库如MongoDB和CouchDB。不定义表结构，可以使用复杂的查询条件来获取数据，但是不支持事务处理和JOIN操作。 面向列的数据库如Cassandra、Hbase和HyperTable属于这种类型。面向列的数据库适合处理的操作：对大量行的少数列进行读取，对所有行的特定列进行同时更新。我的疑惑是：这种应用场景是哪种呢 应该很少有的吧？NoSQL数据库技术实战-第1章 NoSQL与大数据简介 NoSQL数据库的类型标签：emc 应用 丢失 技术 ...