原文:分享一个.NET平台开源免费跨平台的大数据分析框架.NET for Apache Spark今天早上六点半左右微信群里就看到张队发的关于.NET Spark大数据的链接https://devblogs.microsoft.com/dotnet/introducing-net-for-apache-spark/ ，正印证了“微软在不断通过.NET Core补齐各领域开发，真正实现一种语言的跨平台”这句话。那么我们今天就来看看这个 .NET for Apache Spark到底是个什么鬼？作者：依乐祝 原文链接：https://www.cnblogs....
gzip可以级大的加速网站.有时压缩比率高到80%,近来测试了一下,最少都有40%以上,还是相当不错的.在Apache2之后的版本，模块名不叫gzip，而叫mod_deflate 如果要开启gzip的话,一定要打开下面二个模块. LoadModule headers_module modules/mod_headers.so LoadModule deflate_module modules/mod_deflate.so 设置压缩比率，取值范围在 1(最低) 到 9(最高)之间,不建议设置太高，虽然有很高的压缩率，但是占用更多的CPU资源. DeflateCom...
问题背景：在一台只有512内存的vps上安装directadmin之后经常内存耗，经过查看之后发现Apache成了罪魁祸首急速消耗内存SWAP剩余空间都是0，最终导致内核开始大下杀手，把MySQL都杀了，通过下文调整了Apache的MPM参数得到解决。 通过 apachectl -l 命令，可以查看使用了什么MPM模块！官方MPM（多处理模块）介绍 我的VPS自从上个月配置完后一直没有再优化配置了，由于之前担心VPS的内存不够用，所以在配置服务器参数时，更多考虑如何...
随着网站正式运行，我们可以通过通用的免费日志分析工具比如awstats获得一些实际访问网站的信息,例如每天ip量，pv量，用户所用的的浏览器，用户所用的操作系统等，但是有时候希望通过手工方式从WEB日志文件中获得一些信息，下面列出了一些最近一段时间我经常在用的命令获得访问前10位的ip地址cat access.log|gawk ‘{print $1}’ |sort|uniq -c|sort -nr |head -10访问次数最多的文件或页面cat access.log|gawk ‘{print $11}’|so...
谈到httpclient的话，只要会想到apache的httpclient和jetty的httpclient，但是apache的httpclient3和4之间又有区别，通过学些，最终总结了三种方式使用HttpClient，分别为使用httpclient3，httpclient4，jetty的httpclient，下面分别来贴代码：第1种：使用的jar包为commons-httpclient-3.1，只需要一个jar包即可这里使用的是GetMethod，与httpcleint4有区别 public static void main(String[] args) { HttpClient httpClient = ...
如题，分析首先最简单的取出ipcd /usr/local/nginx/logs awk ‘{print $1}‘ access.log | sort | uniq -c | sort -rn | head -n 50 | awk ‘{print $2}‘ > /root/list #在nginx/apache 下执行上述代码。把ip写到list列表然后思路就是 把每个ip的来源地分析出来，我用的淘宝的ip数据库，还是不错的#!/bin/bashipInfo() { for i in `cat list` do TransCoding="/usr/bin/python TransCoding.py" JsonDate="curl -s...
日志分割 随着网站的访问量增加，默认情况下Apache的单个日志文件也会越来越大日志文件占用磁盘空间很大查看相关信息不方便两种日志分割工具Apache自带rotatelogs分割工具实现第三方工具cronolog分割rotatelogs分割工具实验（1）安装httpd服务。[root@localhost ~]# yum install httpd -y ........省略安装过程（2）安装完毕后，我们可以查看，日志文件存放目录“/var/log/httpd/”可以看到并没有日志文件。当我们开启服务后再次查...
Apache mina工作流介绍 apache mina的整体工作流程包含了几个重要的概念和组件，分别是IoService,IoProcessor,IoHandler和IoFilter，在弄清楚整体的运作流程之前需要先介绍下各个组件各自的作用。 IoService 这个是mina请求接受器（Acceptor）以及连接器（Connector）的一个抽象的父类，作用就是提供连接和接受请求的服务。 IoProcessor 请求处理器，负责请求的处理工作，包括监听事件的更改，filterChain的建立，响应事件的调用（...
欢迎转载，转载请注明出处，徽沪一郎。概要本文就standalone部署方式下的容错性问题做比较细致的分析，主要回答standalone部署方式下的包含哪些主要节点，当某一类节点出现问题时，系统是如何处理的。Standalone部署的节点组成介绍Spark的资料中对于RDD这个概念涉及的比较多，但对于RDD如何运行起来，如何对应到进程和线程的，着墨的不是很多。在实际的生产环境中，Spark总是会以集群的方式进行运行的，其中standalone的部署方式是...
假设apache日志格式为：118.78.199.98 – - [09/Jan/2010:00:59:59 +0800] “GET /Public/Css/index.css HTTP/1.1″ 304 – “http://www.a.cn/common/index.php” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6.3)”问题1：在apachelog中找出访问次数最多的10个IP。awk ‘{print $1}‘ apache_log |sort |uniq -c|sort -nr|head -n 10awk 首先将每条日志中的IP抓出来，如日志格式被自定义过，可以 -F 定义分...
<code>Apache Commons Pool</code>实现了<code>对象池</code>的功能。定义了对象的生成、销毁、激活、钝化等操作及其状态，并提供几个对象池的实现。<br>在讲述其实现原理前，先提一下其中有几个重要的对象：</p>">Apache Commons Pool实现了对象池的功能。定义了对象的生成、销毁、激活、钝化等操作及其状态转换，并提供几个默认的对象池实现。在讲述其实现原理前，先提一下其中有几个重要的对象：<li>Object Pool（对象池）。</l...
Zeppelin介绍Apache Zeppelin提供了web版的类似ipython的notebook，用于做数据分析和可视化。背后可以接入不同的数据处理引擎，包括spark, hive, tajo等，原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的，就是来自于当时的demo。Zeppelin可实现你所需要的： - 数据采集 - 数据发现 - 数据分析 - 数据可视化和协作支持多种语言，默认是scala(背后是spark shell)，SparkSQL, Ma...
一，Apache三种MPM介绍Apache 2.X 支持插入式并行处理模块，称为多路处理模块（MPM）。在编译apache时必须选择也只能选择一个MPM，对类UNIX系统，有几个不同的MPM可供选择，它们会影响到apache的速度和可伸缩性。这三种MPM记录于conf/extra/httpd-mpm.conf文件中。Prefork MPM：这个多路处理模块(MPM)实现了一个非线程型的、预派生的web服务器，它的工作方式类似于Apache 1.3。它适合于没有线程安全库，需要避免线程兼容性问题的系...
Apache Apache Hadoop是目前被大家广泛使用的数据分析平台，它可靠、高效、可伸缩。Percona公司的Alexander Rubin最近发表了一篇博客文章介绍了他是如何将一个表从MySQL导出到Hadoop然后将数据加载到Cloudera Impala并在这上面运行报告的。在Alexander Rubin的这个测试示例中他使用的集群包含6个数据节点。下面是具体的规格：用途服务器规格NameNode、DataNode、Hive 元数据存储等2x PowerEdge 2950, 2x L5335 CPU @ 2.00GHz, 8 co...
对于静态页面还有Etag。 一、先来看第一种情况：apache 静态页面 apache发送给客户端的静态页面一般包含Last-Modified和Etag，这两个标签的值来自静态文件的修改时间和inode。 下面是截取得apache返回客户端的头 XML/HTML代码 代码如下:Last-Modified: Fri, 26 Jan 2007 01:53:34 GMT ETag: "3f9f640-318-cb9f8380" 搜索引擎之所以喜欢静态文件是因为有这两个标识，可以判断文件是否更新过 二、PHP等动态页面由于php是动态生成的，...