第一节 安装CentOS 7安装环境：VMware虚拟机中（ 建议入手正版软件哦 ）软件安装版本以及下载地址：CentOS-7-x86_64-DVD-2009.iso安装步骤1.1 创建一台虚拟机1.2 给虚拟机挂载操作系统1.3 开启虚拟机并安装操作系统install centos7直接回?运?即可在地图位置点击中国，选择时区为shanghai，点击左上?的Done按钮完成设置选择 INSTALLATION DESTINATION选择I will confifigure partitioning?定义分区，然后按左上?的蓝?Done按钮。继续...
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where num=03.应尽量避免在 where 子句中使用!=或<>操作符，否则引擎将放弃使用索引而进行全表扫描。4.应尽...
一.用图表描述Hadoop生态系统的各个组件及其关系。Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。(1).HDFS:具有处理超大数据、流式处理、可以运行在廉价商用服务器上，访问应用程序数据时有很高的吞吐率。(2).HBase:是一个高可靠、高性能、面向列、可伸缩的分布式数据库，采用基于列的存储，具有良好的横向扩展能力。(3).MapReduce:分...
引言：从对大数据的狂热到理性的回归，项目实施起到了醍醐灌顶的作用，大数据技术只能作为一种IT基础架构（存储+运算），而实际的工程化实施，还是要回归到IT传统技术，最近在整合大数据时代的数据仓库框架，希望能有更多的人参与进来。数据仓库实施数据模型的组织，需要引入更多的规则，下面要谈的就是数据仓库数据内容的组织方式。来自TD，可以借鉴到大数据时代的数据仓库建设。一：基础模型层 Prefix_Subject_Body_Suffix...
互联网商业模式创新电子商务与传统企业转型“一带一路”信息化：格局与对策“一带一路”沿线国家主权信用及风险防范大数据下的资源整合和知识共享地产数字化改革的痛点与处方携手共建“一带一路”数字经济与新实体经济管理模式创新驱动新旧动能转换中国企业股权激励现状分析及建议“丝绸之路”起源和发展的中国视角英国脱欧与欧盟未来工业4.0与中国制造2025互联网商业创新战略管理的概念和基本框架（2）—公司战略与核心竞争力战略...
Java、Python和大数据，哪个发展前景最好？ Java和Python是编程语言，而大数据则是一系列技术的整合，所以应该分开来看，三者并不能直接进行对比。三者实际的关系是目标和实现的包含关系。所以这个问题应该分别为 Java和Python哪个发展前景好？大数据的发展前景如何？关于大数据的发展前景 大数据并不是一种概念，而是一种方法论，一句话概括，就是通过分析和挖掘全量的非抽样的数据辅助决策。关于大数据的发展前景，这里引用马云说...
在实时数据的世界当中，我们为什么还要执着于Hadoop这一片森林?作为一套以批量处理为主要诉求的架构方案，Hadoop仍然堪称大数据技术领域的荣耀长子。然而根据451研究集团的调查数据显示，其实际普及效果仍然不及显赫的声誉。那些已经率先部署了Hadoop解决方案的企业可能希望稍稍放慢自己的前进脚步。伴随着Apache Spark以及其它一系列技术方案的出台(包括Storm、Kafka等等)，我们似乎与Hadoop的批量处理思路渐行渐远、转而踏上了一...
我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文讲解数据采集部分。数据采集的设计，几乎完全取决于数据源的特性，毕竟数据源是整个大数据平台蓄水的上游，数据采集不过是获取水源的管道罢了。在...
WIN7+Ubuntu16.04+Kafka1.0.0 1.下载kafka_2.11-1.0.0.tgzhttp://kafka.apache.org/downloads 2.解压到/usr/local/kafka中 3.设置配置文件/etc/profile文件，增加kafka的路径①vi /etc/profileexport KAFKA_HOME=/usr/local/kafka export PATH=$PATH:$KAFKA_HOME/bin②让配置文件立即生效source /etc/profile 4.检查kafka环境是否生效 kafka-server-stop.sh显示No kafka server to stop 5.启动zookeeper（这里使用kafka自带的zooke...
首先我们建立一个测试用员工表---创建一个测试的员工表---createtable Employee(EmployeeNo intprimarykey, --员工编号EmployeeName nvarchar(50) null, --员工名称CreateUser nvarchar(50) null, --创建人CreateDate datetimenull, --创建时间 ) 执行后结果：那么假如我们要批量插入10000条数据，应该怎么办？这里有四种方法（普通循环，事务循环、批量插入、cte插入）1、普通循环插入（while）/****************...
这 23 种设计模式的本质是面向对象设计原则的实际运用，是对类的封装性、继承性和多态性，以及类的关联关系和组合关系的充分理解。 当然，软件设计模式只是一个引导，在实际的软件开发中，必须根据具体的需求来选择： 对于简单的程序，可能写一个简单的算法要比引入某种设计模式更加容易； 但是对于大型项目开发或者框架设计，用设计模式来组织代码显然更好。 关于本教程本教程虽然命名为“Java设计模式”，但是设计模式并不是 Jav...
mysql迁移之巨大数据量快速迁移方案-增量备份及恢复--chenjianwen一、前言： 当mysql库的大小达到几十个G或者上百G，迁移起来是一件非常费事的事情，业务中断，导出导入耗费大量的时间；所以，需要考虑怎么去节省时间的问题。二、方案： 1.制定维护时间，中断业务，登录 mysql，刷新日志 2.全备数据，备份后得到 binlog 日志文件 mysql-bin.000001 3.迁移走之前的 binlog 日志文件，只留下 mysql-bin.000001 4.恢复...
目前主流的有两个工具可以实现物理热备：ibbackup和xtrabackup ;ibbackup是需要授权价格昂贵，而xtrabackup功能比ibbackup强大而且是开源的Xtrabackup提供了两种命令行工具：xtrabackup：专用于备份InnoDB和XtraDB引擎的数据;innobackupex：这是一个perl脚本，在执行过程中会调用xtrabackup命令可以实现备份InnoDB，也可以备份MyISAM引擎的对象Xtrabackup是由percona提供的mysql数据库备份工具，特点：(1)备份过程快速、可靠;(2)备...
任何完整的大数据平台，一般包括以下的几个过程：数据采集数据存储数据处理数据展现（可视化，报表和监控）其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：数据源多种多样数据量大，变化快如何保证数据采集的可靠性的性能如何避免重复数据如何保证数据的质量我们今天就来看看当前可用的一些数据采集的产品，重点关注一些它们是如何做到高可靠，高性能和高扩展。Apac...
一、简介oozie是hadoop平台开源的工作流调度引擎，用来管理hadoop作业，属于web应用程序，由oozie server 和oozie client构成。oozie server运行与tomcat容器中oozie的工作流必须是一个有向无环图，当用户需要执行多个关联的MapReduce作业时，只需要把作业写进workflow.xml中，再提交到oozie，oozie便可以托管服务，按照预先的配置有序执行任务。二、安装1.下载编译好的cdh版本http://archive.cloudera.com/cdh5/cdh/5/下载4.1-cdh...