RDD的操作可以分为Transformations和Actions，Transformations是lazy的不立即执行，Action则会触发作业的提交和执行。例如本例中的foreachdef foreach(f: T => Unit) {sc.runJob(this, (iter: Iterator[T]) => iter.foreach(f)) }一句话，Actions调用sc.runJob触发作业运行。SparkContext中的runJob有多个版本的重载foreach调用的版本，以rdd和func为参数，返回执行的结果/*** Run a job on all partitions in an RDD and return t...
分布式系统从根本上来说就是不同节点上的进程并发执行，并且相互之间对进程的行为进行协调处理的过程。不同节点上的进程互相协调行为的过程叫做分布式同步。许多分布式系统需要一个进程作为任务的协调者，执行一些其他进程并不执行的特殊的操作，一般情况下哪个进程担当任务的协调者都无所谓，但是必须有一个进程作为协调者，自动选举出一个协调者的过程就是分布式选举。ZooKeeper 正是为了解决这一系列问题而生的。上一篇我们介绍...
1. 源码包下载Apache Http安装要求必须安装APR、APR-Util、PCRE等包。Apache Http包下载地址：http://httpd.apache.org/download.cgiAPR和APR-Util包下载地址：http://apr.apache.org/download.cgiPCRE包下载地址：http://sourceforge.net/projects/pcre/files/pcre/2. 安装APR和APR-Util先安装APR，$ tar -zxf apr-1.5.2.tar.gz $ cd apr-1.5.2 $ sudomkdir -p /usr/local/apr $ ./configure --prefix=/usr/local/apr $ make $ s...
【本文为笔者在学习Linux 下的软件安装时，尝试使用源码安装Apache 的过程，事后进行一个小小的总结，发现错误望指正。】一、典型的源码编译安装软件的过程包括以下3步： 1） 运行 configure 命令，并结合必要的参数以生成Makefile ；（读者可以自行百度Makefile 相关知识） 2） 运行 make 命令生成各类模块和主程序； 3） 运行 make install 命令将必要的文件复制到安装目录中。 （以上过程都在对应软件安装包的根目录...
1、首先进入apache源码包安装目录下，/opt/src/apache-2.2.8/modules/proxy2、使用apache安装路径命令:#/usr/loca/apache/bin/apxs -c -i -a mod_proxy.c proxy_util.c#/usr/loca/apache/bin/apxs -c -i -a mod_proxy_http.c proxy_util.c#/usr/loca/apache/bin/apxs -c -i -a mod_proxy_ajp.c ajp.c3、安装完毕后，httpd.conf文件中会自动添加模块名称；如图：4、再到/usr/local/apache/conf/extra/目录下添加代理代码<VirtualH...
使用到的安装包：apr-1.5.1.tar.gz apr-util-1.5.3.tar.gz pcre-8.35.tar.gz httpd-2.4.9.tar.bz2 subversion-1.8.9.tar.bz2 zlib-1.2.8.tar.gz解压缩命令：tar zxvf ***.tar.gz tar jxvf ***.tar.bz21.先安装aprcd apr-1.5.1 ./configure --prefix=/usr/local/apr makesudomakeinstall2.安装apr-utilcd apr-util-1.5.3 ./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr makesudomakeinstall3.安装httpd....
上一篇文章我们探讨了基于定时任务的周期性检查点触发机制以及基于Akka的actor模型的消息驱动协同机制。这篇文章我们将探讨Zookeeper在Flink的Fault Tolerance所起到的作用。其实，Flink引入Zookeeper的目的主要是让JobManager实现高可用（leader选举）。因为Zookeeper在Flink里存在多种应用场景，本篇我们还是将重心放在Fault Tolerance上，即讲解Zookeeper在检查点的恢复机制上发挥的作用。如果用一幅图表示快照机制(检查点)大致...
上一篇文章我们谈论了保存点的相关内容，其中就谈到了保存点状态的存储。这篇文章我们来探讨用户程序状态的存储，也是在之前的文章中多次提及的state backend(中文暂译为状态终端)。基于数据流API而编写的程序经常以各种各样的形式保存着状态：窗口收集/聚合元素（这里的元素可以看作是窗口的状态）直到它们被触发转换函数可能会使用key/value状态接口来存储数据转换函数可能实现Checkpointed接口来让它们的本地变量受益于fault to...
sudo ./configure --prefix=/var/php --with-apxs2=/usr/local/apache2/bin/apxs LoadModule php5_module modules/libphp5.soDirectoryIndex index.html index.html.var .phpa-bash-3.2$ pwd/usr/local/apache2/htdocs-bash-3.2$ cat info.php<?php phpinfo();?>打开info.php, 一直都是plain的，没有任何php 的系统信息。 最后找到，要在httpd.conf 里加上后面这句。 然后重启sudo apachectl - k restartAddType applicatio...
MiniLang所有元素的父类——MiniLangElementMiniLang 是基于XML的“描述型语言”。所有的元素，包括节点、属性都继承自该类。它包含三个属性：lineNumber：表示解析MiniLang的源码（通常是Java）所处的行号，主要是为了便于日志记录tagName：当前元素的tag名称，主要用于日志记录simpleMethod：simpleMethod是一个大的“传输对象”，里面实现了MiniLang支持的所有执行方式，其作用类似于serviceengine中的serviceDispatcher。该类中...
同事安装apache报错error: APR not found. Please read the documentationapache版本 httpd-2.4.10.tar.gz解决方法如下：wget http://archive.apache.org/dist/apr/apr-1.4.5.tar.gztar fxz apr-1.4.5.tar.gz cd apr-1.4.5./configure --prefix=/usr/local/aprmake && make installwget http://archive.apache.org/dist/apr/apr-util-1.3.12.tar.gztar fxz apr-util-1.3.12.tar.gzcd apr-util-1.3.12./configure --prefix=/usr/lo...
1.apr和apr-util，下载地址: http://apr.apache.org/download.cgiyum install gcc yum install libtool yum install expat-devel yum install pcre-develcd apr-1.6.3/ ./configure --prefix=/opt/apr 出现以下错误rm: cannot remove ‘libtoolT‘: No such file or directory或include/arch/unix/apr_private.h is unchangecp configure ./configure.bak vi configure #$RM “$cfgfile” #注释掉这行:wq!./configure --prefix #...
欢迎转载，转载请注明出处，徽沪一郎。概要本文就standalone部署方式下的容错性问题做比较细致的分析，主要回答standalone部署方式下的包含哪些主要节点，当某一类节点出现问题时，系统是如何处理的。Standalone部署的节点组成介绍Spark的资料中对于RDD这个概念涉及的比较多，但对于RDD如何运行起来，如何对应到进程和线程的，着墨的不是很多。在实际的生产环境中，Spark总是会以集群的方式进行运行的，其中standalone的部署方式是...
本文首发于烂泥行天下。最近要开始学习nagios监控方面的知识了，但是nagios与apache结合的比较紧密，所以本篇文章就先把apache的源码安装学习下。我们现在分以下步骤进行安装apache：1、 安装编译环境2、 卸载原有apache3、 下载解压源码包4、 安装apache5、 测试apache6、 查看apache安装生成的目录7、 查看apache的配置文件8、 apache加入系统服务一、安装编译环境在安装apache之前，我们需要安装编译apache时所需要的相关软件包...
Apache 版本：2.2.27 MySQL 版本：5.5.54-linux2.6-x86_64PHP 版本：5.3.27一、源码安装Apache1、首先安装上传工具2、上传LAMP环境所需安装包3、解压所有安装包4、安装Apache依赖包5、创建安装目录6、配置安装文件./configure \ #./configure 是用来生成Makefile文件用于编译安装 --prefix=/application/apache-2.2.27 \ #指定安装目录--enable-deflate \ #开启压缩编码（用于调优）--enabl...