转自：http://even2012.iteye.com/blog/1886950 1、使用JDBC处理大数据 在实际开发中，程序需要把大文本或二进制数据保存到数据库。 基本概念：大数据也称之为LOB(Large Objects)，LOB又分为：clob和blob （a）clob用于存储大文本。（mysql 中采用Text） （b）blob用于存储二进制数据，例如图像、声音、二进制文等。 对MySQL而言只有blob，而没有clob，mysql存储大文本采用的是...
背景：当数据库里面的数据达到几百万条上千万条的时候，如果要分页的时候（不过一般分页不会有这么多），如果业务要求这么做那我们需要如何解决呢？我用的本地一个自己生产的一张表有五百多万的表，来进行测试，表名为big_data;首先我们看如下几条sql语句：在这之前我们开启profiling来监测sql语句执行的情况。set profiling=1;1.查询从第10w条数据开始分页10条2.查询从第20w条数据分页10条3.查询从第30w条数据分页10条 3.查询从第...
详情见链接: http://www.cnblogs.com/dunitian/p/5276449.html 牛逼的OSQL----大数据导入标签：本文系统来源：http://www.cnblogs.com/shuai7boy/p/5641985.html
download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gztar zxvf jdk-8u45-linux-x64.tar.gz cd jdk-8u45-linux-x64 sudo vi /etc/profile添加如下内容： export JAVA_HOME=/home/dir/jdk1.8.0_45 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin安装 Python sudo apt-get install python安装 zookeeper wget http://mirror.b...
Xtrabackup是由percona开源的免费数据库热备份软件，它能对InnoDB数据库和XtraDB存储引擎的数据库非阻塞地备份（对于MyISAM的备份同样需要加表锁）； mysqldump备份方式是采用的逻辑备份，其最大的缺陷是备份和恢复速度较慢，如果数据库大于50G，mysqldump备份就不太适合。Xtrabackup优点 1）备份速度快，物理备份可靠 2）备份过程不会打断正在执行的事务（无需锁表） 3）能够基于压缩等功能节约磁盘空间和流量 4）自动备份校验 5）...
1、oracle数据库：（注：tableName.id指的是tableName的主键）select * from (select tableName.*,rownum as con from tableName where rownum <= m order by tableName.id desc)where con >= n;2、SQLServer数据库：（注：tableName.id指的是tableName的主键）实现原理解释：1）先查出前m面条记录2）再查出前n面条记录3）最后通过条件过滤掉前m条记录方法一：select top n-m+1 * from tableName where tableName.id not in (selec...
【量化数据】我选的是MD5->Long做量化五笔 -8683246507546018072 拼音 5720075168044685354 笔画 6444854990336207024 其它 -4797408270696495584 英盘 -1741849883950345011 美盘 4116094244106799890 法盘 5071717547464226258 【查询】 根据实际需求（即相关度要求）仅仅只需要取以下列表中的一个值做为查询条件。即，通过分词-做词行向量排列，特征列向量排列将文章映射成ID，这样我们 就可以通过 Select .. From T Whe...
SqlServer数据库下通用存储过程实现分页： 1 --通用存储过程分页2 CREATE PROCEDURE procList3 --我们需要传入的参数4 @strWhere NVARCHAR(max), --查询条件5 @PageSize INT, --每页显示多少条内容6 @PageIndex INT , --当前页7 @TableName NVARCHAR(max), --需要查询的表名8 @ColName NVARCHAR(max), --排列用到的列名9 --程序返回给...
2.2、搭建测试项目架构2.3、编写db.properties配置文件1 oracleDb_Driver=oracle.jdbc.driver.OracleDriver 2 oracleDb_Url=jdbc:oracle:thin:@localhost:1521:GACL 3 oracleDb_UserName=GACL_XDP 4 oracleDb_Password=P2.4、编写JdbcUtils工具类1 package me.gacl.utils;2 3 import java.io.InputStream;4 import java.sql.Connection;5 import java.sql.DriverManager;6 import java.sql.ResultSet;7 import java.sql.SQLExcepti...
在实际开发中，有时是需要用程序把大文本或二进制数据直接保存到数据库中进行储存的。对MySQL而言只有blob，而没有clob，mysql存储大文本采用的是Text，Text和blob分别又分为： TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT TINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB 二、搭建测试环境 2.1、搭建的测试项目架构如下：2.2、编写db.properties配置文件1 driver=com.mysql.jdbc.Driver 2 url=jdbc:mysql://localhost:3306/jdbcStudy 3 us...
, 更多详细资料请参看原文 此文是根据杨尚刚在【QCON高可用架构群】中，针对MySQL在单表海量记录等场景下，业界广泛关注的MySQL问题的经验分享整理而成，转发请注明出处。杨尚刚，美图公司数据库高级DBA，负责美图后端数据存储平台建设和架构设计。前新浪高级数据库工程师，负责新浪微博核心数据库架构改造优化，以及数据库相关的服务器存储选型设计。前言 MySQL数据库大家应该都很熟悉，而且随着前几年的阿里的去IOE，MySQL逐渐引...
(SqlBulkCopy sbc = new SqlBulkCopy(con, (keepID ? SqlBulkCopyOptions.KeepIdentity : SqlBulkCopyOptions.Default) | SqlBulkCopyOptions.FireTriggers, sqlTran)){sbc.BatchSize = 100000;sbc.DestinationTableName = SqlFormat.Keyword(mdt.TableName, DalType.MsSql);sbc.BulkCopyTimeout = AppConfig.DB.CommandTimeout;foreach (MCellStruct column in mdt.Columns){sbc.ColumnMappings.Add(column.ColumnName, column.Co...
随着用户的日益递增，日活和峰值的暴涨，数据库处理性能面临着巨大的挑战。下面分享下对实际10万+峰值的平台的数据库优化方案。与大家一起讨论，互相学习提高！ 案例：游戏平台. 1、解决高并发 当客户端连接数达到峰值的时候，服务端对连接的维护与处理这里暂时不做讨论。当多个写请求到数据库的时候，这时候需要对多张表进行插入，尤其一些表 达到每天千万+的存储，随着时间的积累，传统的同步写入数据的方式显然不可取，经...
void Main(string[] args){int count = 0;string readerPath=@"C:\Users\Administrator\Desktop\readerDemo.csv";string writerPath=@"C:\Users\Administrator\Desktop\writeDemo.csv";if (File.Exists(writerPath)){File.Delete(writerPath);}using (StreamReader reader = new StreamReader(readerPath,Encoding.UTF8)){while (!reader.EndOfStream){string line = reader.ReadLine();using (StreamWriter writer = new StreamWr...
代码如下: show VARIABLES like ‘%max_allowed_packet%‘;显示的结果为： 复制代码 代码如下: +--------------------+---------+| Variable_name | Value |+--------------------+---------+| max_allowed_packet | 1048576 |+--------------------+---------+ 以上说明目前的配置是：1M 修改方法 1、修改配置文件 可以编辑my.cnf来修改（windows下my.ini）,在[mysqld]段或者mysql的server配置段进行修改。 复制代码 代码...