J2SE1.4以后， java 发布了新的IO类库，简称NIO。引入了全新的高效的IO机制，同时引入了基于Reactor设计模式的多路复用异步模式。 包含以下几种抽象数据类型 Channel(管道) NIO把它支持的IO对象抽象为channel。它模拟了通信连接，类似于IO中的stream。用户可J2SE1.4以后，java发布了新的IO类库，简称NIO。引入了全新的高效的IO机制，同时引入了基于Reactor设计模式的多路复用异步模式。 包含以下几种抽象数据类型 Channel(管道) NI...
Java 网络编程 建立在TCP/IP协议基础上，致力于实现应用层。传输层向应用层提供了套接字Socket接口，它封装了下层的数据传输细节；应用层的程序通过Socket与远程主机建立连接和进行数据传输。 TCP TCP是Tranfer Control Protocol的 简称，是一种面向连接的保Java网络编程建立在TCP/IP协议基础上，致力于实现应用层。传输层向应用层提供了套接字Socket接口，它封装了下层的数据传输细节；应用层的程序通过Socket与远程主机建立连接和...
用户编写的作业比较复杂，相互之间存在依赖关系，这种依赖关系可以用有向图表示，我们称之为 工作流 。 1.JobControl实现原理： 传统做法：为每个作业创建相应的JobConf对象，并按照依赖关系依次(串行)提交各个作业。 //创建Job对象JobConf extractJobConf =用户编写的作业比较复杂，相互之间存在依赖关系，这种依赖关系可以用有向图表示，我们称之为工作流。 1.JobControl实现原理： 传统做法：为每个作业创建相应的JobConf对象，...
hadoop RPC 中用到的JDK开发工具包中的一些类。 主要包括java.lang. reflect 反射机制和动态代理相关类。java.net网络编程库,java.nio（NIO） 1.java反射机制和动态代理 反射机制是java语言的一个重要特性，它允许用户动态获取类的信息和动态调用对象的方法hadoop RPC中用到的JDK开发工具包中的一些类。 主要包括java.lang.reflect反射机制和动态代理相关类。java.net网络编程库,java.nio（NIO） 1.java反射机制和动态代理 反射机制...
网络通信模块是分布式系统中最底层的模块。直接支撑了上层分布式环境下复杂的进程间通信（IPC）。是所有分布式系统的基网络通信模块是分布式系统中最底层的模块。直接支撑了上层分布式环境下复杂的进程间通信（IPC）。是所有分布式系统的基础。远程过程调用RPC是一种常用的分布式网络通信协议。它允许运行于一台计算机的程序调用另外一台计算机的子程序，同时将网络的通信细节隐藏起来。 hadoop RPC特点 1.透明性 当用户在一台计算...
近期Cloudera Search的推出，对于曾经做信息检索和使用过Lucene/Solr的我来讲，虽然不是那种令人乍舌的新技术，但从应用层面来考虑，我相信，对于业界而言，毫无疑问是一个相当令人兴奋的消息。想想看，有了集一整套解决方案在手的ClouderaSearch在手，现在近期Cloudera Search的推出，对于曾经做信息检索和使用过Lucene/Solr的我来讲，虽然不是那种令人乍舌的新技术，但从应用层面来考虑，我相信，对于业界而言，毫无疑问是一个相...
hadoop之steaming介绍 hadoop有个工具叫做steaming，能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言，其运行原理可以通过和标准java的map-reduce程序对比来说明： 使用原生java语言实现Map-reduce程序 hadoop准备好数据hadoop之steaming介绍 hadoop有个工具叫做steaming，能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言，其运行原理可以通过和标准java的...
1、Hama概论 建立在Hadoop上的分布式 并行 计算模型。 基于 Map/Reduce 和 Bulk Synchronous 的实现框架。 运行环境需要关联 Zookeeper、HBase、HDFS 组件。 集群环境中的系统架构由 BSPMaster/GroomServer (Computation Engine )、Zookeeper (Distributed L1、Hama概论建立在Hadoop上的分布式并行计算模型。基于 Map/Reduce 和 Bulk Synchronous 的实现框架。运行环境需要关联 Zookeeper、HBase、HDFS 组件。集群环境中的系统架构...
《Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理》第2章Hadoop配置信息处理，本章从Windows和基于Java Properties配置文件开始，分析了Hadoop使用的基于健–对构成的、结构相对简单的XML配置文件，以及相应的处理类Configuration，特别是C《Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理》第2章Hadoop配置信息处理，本章从Windows和基于JavaProperties配置文件开始，分析了Hadoop使用的基于健...
在192.85.1.4上，在终端输入：sudo /usr/local/mysql/bin/mysql -h 192.85.1.10 -u zichen -penter password:62672000正常情况下 LVS Server : 192.85.1.5Virtual IP : 192.85.1.10Real Server1 : 192.85.1.4Real Server2 : 192.85.1.9在 LVS Server 上安装 ipvsadm 和 keepalived。$ sudo apt-get install ipvsadm keepalived使用这两个做配合时，无需配置 ipvsadm，直接修改 keepalived.conf 即可。$ sudo vim /etc/keepaliv...
主nginx负载均衡器：172.26.11.99? （ 通过keepalived 配置了VIP：172.26.11.101供外使用） 副nginx负载均衡器：172.26.11.100 （ 通过keepalived 配置了VIP：172.26.11.101供外使用） 后端web服务器： 172.26.11.73 172.26.11.74 一、172.26.11.99 以及 172主nginx负载均衡器：172.26.11.99? （通过keepalived配置了VIP：172.26.11.101供外使用） 副nginx负载均衡器：172.26.11.100 （通过keepalived配置了VIP：172.26.11.101供外...
前几天使用了Heartbeat作为高可用服务架构的解决方案，今天有试验了一种全新的解决方案，即采用Keepalived来实现这个功能。 Keepalived 是一种高性能的服务器高可用或热备解决方案，Keepalived可以用来防止服务器单点故障(单点故障是指一旦某一点出现故障就前几天使用了Heartbeat作为高可用服务架构的解决方案，今天有试验了一种全新的解决方案，即采用Keepalived来实现这个功能。Keepalived 是一种高性能的服务器高可用或热备解决...
MySQL是一个高速度、高性能、多线程的关系型数据库管理系统，适用平台多，可扩展性强。在实际生产环境中，部署和实现具有一定负载均衡功能的 MySQL服务器集群，对于提高用户数据库应用系统的性能、速度和稳定性具有明显的作用。本文简要介绍了在 FreeBSD 7.0-Release系统上部署实现MySQL服务器集群的方案，并对可能出现的问题提供了相应的解决方法。1. 引言MySQL是一个高速度、高性能、多线程、开放源代码，建立在客户/服务器(Clie...
Keepalived 由于在生产环境使用了mysqlcluster,需要实现高可用负载均衡,这里提供了keepalived+haproxy来实现.keepalived主要功能是实现真实机器的故障隔离及负载均衡器间的失败切换.可在第3,4,5层交换.它通过VRRPv2(Virtual Router Redundancy Protocol) stack实现的.Layer3:Keepalived会定期向服务器群中的服务器.发送一个ICMP的数据包（既我们平时用的Ping程序）,如果发现某台服务的IP地址没有激活，Keepalived便报告这台服务器失...
Keepalived 由于在生产环境使用了mysqlcluster,需要实现高可用负载均衡,这里提供了keepalived+haproxy来实现. keepalived主要功能是实现真实机器的故障隔离及负载均衡器间的失败切换.可在第3,4,5层交换.它通过VRRPv2(Virtual Router Redundancy Protocol) stack实现的. Layer3:Keepalived会定期向服务器群中的服务器.发送一个ICMP的数据包（既我们平时用的Ping程序）,如果发现某台服务的IP地址没有激活，Keepalived便报...