前序： 2月23日，在中关村，海淀黄庄丹棱街SOHO大厦好未来会议室，hadoop专家吴超大侠，分享使用hadoop进行论坛日志分析。在回来的第二天，赶上了这次草根面对面交流。说是草根，像我这样的是草根，其余的都是大侠。在这一次交流中，主要是针对初级想了解had前序：2月23日，在中关村，海淀黄庄丹棱街SOHO大厦好未来会议室，hadoop专家吴超大侠，分享使用hadoop进行论坛日志分析。在回来的第二天，赶上了这次草根面对面交流。说是草...
本篇文章主要是为sqoop测试写的笔记，所以不太涉及理论方面的问题一、下载weget二、下载yum repo配置文件安装repo三、安装mysql四、启动使用mysql获取暂时密码重设密码创建新库新表新数据 一、下载weget yum -y install wget二、下载yum repo配置文件 wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm安装repo rpm -ivh mysql57-community-release-el7-9.noarch.rpm三、安装mysql进入到 /etc/yum.repos...
我需要将map-reduce程序的输出存储到数据库中,有什么办法吗？ 如果是这样,是否可以将输出存储到多个列中.表根据要求?? 请给我一些解决方案. 谢谢..解决方法:这个很好的例子显示了on this blog,我尝试了它,它非常好.我引用了代码中最重要的部分. 首先,您必须创建一个表示您要存储的数据的类.该类必须实现DBWritable接口：public class DBOutputWritable implements Writable, DBWritable {private String name;private int count;pu...
一、MySQL的并发控制 1、MySQL的并发控制在 服务器层和存储引擎层完成 锁：lock 读锁：共享锁，可以几个用户同事读取,但不能写 写锁：独占锁， 锁粒度：锁表时锁表的范围（比如一个用户读前三行，一个用户写入最后一行） 表级锁：innodb表级锁 行级锁：myisa行级锁（锁控制复杂） 死锁：A请求B，B请求A (自己能协商解锁) 锁分类： 隐式...
查询缓存 "查询缓存" ---是把将查到的结果缓存下载，如果查询语句相同，则直接把缓存的结果返回. 如果应用程序在某一个场景 多次需要查询，且不需要经常更新，则使用查询缓存可以有一定的性能提升。 如图所以可以查看是否开启了缓存功能 query_cache_type的值为on；表示已开启了缓存功能 ?query_cache_type：是否开启缓存功能，取值为ON, OFF, DEMAND，表示 已启用，已禁用，按照需要缓存，设置在my.cnf中即可。?query_ca...
.大型网站优化之MySql优化 1.优化和不优化的对比的 在业界当中我们有一个叫大数据(big data)的概念,所谓的大数据指代千万级别以上的数据作为起步的数据。所以我们现在需要对两张都具有50331650条记录的表进行查询对比，其中表名为tbl_no的表是没有做过任何优化手段的表,表名为tbl_yes的表是做过优化手段的表。这个实验的目的是观察具有优化手段和不具有优化手段的查询中速度的差别。 实验条件: 1)两张表的数据记录总数是相同的 2)两...
MariaDB存储引擎及编译安装CentOS6.x下安装Mariadb #准备MaridDB存储分区 [root@centos6 ~]# fdisk /dev/sda WARNING: DOS-compatible mode is deprecated. It‘s strongly recommended to switch off the mode (command ‘c‘) and change display units to sectors (command ‘u‘). Command (m for help): n Command action e extended p primary partition (1-4) p Selected partition 4 First cylinder (5509...
查询缓存 "查询缓存" ---是把将查到的结果缓存下载，如果查询语句相同，则直接把缓存的结果返回. 如果应用程序在某一个场景 多次需要查询，且不需要经常更新，则使用查询缓存可以有一定的性能提升。 如图所以可以查看是否开启了缓存功能 query_cache_type的值为on；表示已开启了缓存功能 ?query_cache_type：是否开启缓存功能，取值为ON, OFF, DEMAND，表示 已启用，已禁用，按照需要缓存，设置在my.cnf中即可。?query_ca...
文章目录 MySQL的架构详解存储引擎MyISAMInnoDB其他存储引擎管理存储引擎 MySQL中的系统数据库mysql 数据库performance_schema 数据库information_schema 数据库sys 数据库 MySQL服务器配置及状态命令行选项及服务器选项服务器系统变量服务器状态变量服务器变量SQL_MODE 查询缓存 Query Cache查询缓存的原理查询缓存相关的服务器变量SELECT语句的缓存控制查询缓存相关的状态变量查询的优化命中率和内存使用率估算 参考文献：MySQL的...
常要oracle数据库定时的自动执行一些脚本，或做数据库备份，或做数据的提炼，或做数据库的性能优化，包括重建索引等等的工作,这时 常要Oracle数据库定时的自动执行一些脚本，或做数据库备份，或做数据的提炼，或做数据库的性能优化，包括重建索引等等的工作,这时需要用到一个函数dbms_job.submit，来完成Oracle定时器Job时间的处理上。使用dbms_job.submit这个函数，我们只需要考虑两个事情：安排某一任务，和定制一个执行任务的时...
通常MySQL单天的日志 只记录当天的日志信息,如果需要查看一月内的日志信息需要对每天的日志表结果集合进行拼接，通常用到 union 通常MySQL单天的日志 只记录当天的日志信息,如果需要查看一月内的日志信息需要对每天的日志表结果集合进行拼接，通常用到 union 。 储存过程: drop PROCEDURE if EXISTS unionSp;DELIMITER //create procedure unionSp(sTime varchar(32), eTime varchar(32),tchema varchar(32)) begin declare sqlVa...
1.1 存储引擎的介绍1.1.1 文件系统存储 文件系统：操作系统组织和存取数据的一种机制。文件系统是一种软件。 类型：ext2 3 4 ，xfs 数据。 不管使用什么文件系统，数据内容不会变化，不同的是，存储空间、大小、速度。 1.1.2 mysql数据库存储 MySQL引擎： 可以理解为，MySQL的“文件系统”，只不过功能更加强大。 MySQL引擎功能： 除了可以提供基本的存取功能，还有更多功能事务功能、锁定、备份和恢复、优化以及特殊功能。 1.1.3 ...
在实际项目中遇到了ORA-00257错误（空间不足错误），通过查找资料，绝大部分说这是由于归档日志太多，占用了全部的硬盘剩余空间导 ORA-00257 归档日志错误解决方案 在实际项目中遇到了ORA-00257错误（空间不足错误），通过查找资料，绝大部分说这是由于归档日志太多，占用了全部的硬盘剩余空间导致的，通过简单删除日志或加大存储空间就能够解决。 诊断过程： （1）查看数据库REDOLOG情况: SQL> conn /@dmsasc as sysdba SQL> sele...
Oracle 10g之前，告警日志位于bdump文件夹下，但11g对此做了变更，引入了ADR(一个存放数据库诊断日志、跟踪文件的目录)，它对应的 Oracle 10g之前，告警日志位于bdump文件夹下，但11g对此做了变更，引入了ADR(一个存放数据库诊断日志、跟踪文件的目录)，它对应的初始化参数为DIAGNOSTIC_DEST，如果设置了$ORACLE_BASE环境变量，，那么DIAGNOSTIC_DEST等于$ORACLE_BASE，如果没有设置$ORACLE_BASE，则等于$ORACLE_HOME/log。 可使用...
重做日志文件，可分在线重做日志文件和归档重做日志文件。它是个数据库的事务日志。目的在于失败时恢复已提交的事务。你在oracle 重做日志文件，可分在线重做日志文件和归档重做日志文件。它是个数据库的事务日志。目的在于失败时恢复已提交的事务。你在Oracle中完成的每个操作几乎都会生成一定的redo信息，并写入在线重做日志文件。当主机掉电时，你可借助在线重做日志文件，将系统恢复到掉电前的时刻；当磁盘损坏时，你可借助归...