作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-3/ 本博客的文章集合:http://dongxicheng.org/recommend/ 重大消息：我的Hadoop新书 作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-3/...
作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-326-yarn-2/ 本博客的文章集合:http://dongxicheng.org/recommend/ 重大消息：我的H 作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-32...
作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-45/ 本博客的文章集合:http://dongxicheng.org/recommend/ 重大消息：我的Hadoop新 作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-45/...
作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-378/ 本博客的文章集合:http://dongxicheng.org/recommend/ 重大消息：我的Hadoop新 作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-37...
作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-392/ 本博客的文章集合:http://dongxicheng.org/recommend/ 重大消息：我的Hadoop新 作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-39...
上一篇文章“Mahout与聚类分析”介绍了如何使用Mahout进行聚类分析的步骤，并且结合实例使用K-Means对微博名人共同关注数据进行了共被关注聚类分析。Mahout运行有本地运行和Hadoop运行两种模式，本地运行是指在用户本地的单机模式下运行，就像运行其他普通的上一篇文章“Mahout与聚类分析”介绍了如何使用Mahout进行聚类分析的步骤，并且结合实例使用K-Means对微博名人共同关注数据进行了共被关注聚类分析。Mahout运行有本地运行和...
Hadoop集群服务器升级为rhel6内核后，System Cpu占用非常高，有任务运行的时候经常到50%以上。对其中一台机器一天的运行状态采样的数据： idle: 76%?? sys:14%? user: 9% 从采样数据中，可以发现System Cpu比User Cpu还要高，这在Hadoop集群环境中很不寻常。Hadoop集群服务器升级为rhel6内核后，System Cpu占用非常高，有任务运行的时候经常到50%以上。对其中一台机器一天的运行状态采样的数据： idle: 76%?? sys:14%? user: 9% 从...
来源：http://www.ibm.com/developerworks/cn/java/j-javadev2-15/index.html Google 在 2001 年发布图像搜索功能时，只有 2.5 亿索引图像，不到 10 年，这个巨大的搜索功能已经可以检索超过 100 亿个图像了，每分钟有 35 小时的内容上传到 YouTube。据称，T来源：http://www.ibm.com/developerworks/cn/java/j-javadev2-15/index.html Google 在 2001 年发布图像搜索功能时，只有 2.5 亿索引图像，不到 10 年，这个巨大的搜索功能...
Apache Apache Hadoop是目前被大家广泛使用的数据分析平台，它可靠、高效、可伸缩。Percona公司的Alexander Rubin最近发表了一篇博客文章介绍了他是如何将一个表从MySQL导出到Hadoop然后将数据加载到Cloudera Impala并在这上面运行报告的。在Alexander Rubin的这个测试示例中他使用的集群包含6个数据节点。下面是具体的规格：用途服务器规格NameNode、DataNode、Hive 元数据存储等2x PowerEdge 2950, 2x L5335 CPU @ 2.00GHz, 8 co...
作者 Jonathan Allen ，译者 张晓鹏 Hunk是Splunk公司一款比较新的产品，用来对Hadoop和其它NoSQL数据存储进行探测和可视化，它的新版本将会支持亚马逊的Elastic MapReduce。 结合Hadoop使用Hunk Hadoop由两个单元组成，首先是被称为HDFS的存储单元，HDFS可作者 JonathanAllen ，译者 张晓鹏 Hunk是Splunk公司一款比较新的产品，用来对Hadoop和其它NoSQL数据存储进行探测和可视化，它的新版本将会支持亚马逊的ElasticMapReduce。结...
对于mysql，redis，Kafka，zookeeper磁盘缓存技术使用分析 大部分组件是基于磁盘存储的，但由于CPU速度和磁盘速度之间的鸿沟，都会使用缓存技术来提高性能，缓存简单来说就是一块内存区域，首先将从磁盘读到的数据放在缓存中，之后查询或修改时直接操作缓存，对于缓存中的数据则以一定的频率刷新到磁盘上，怎样缓存，缓存多少，何时刷新，这些影响着整个组件的性能。在看过一些关于mysql等组件的架构原理后，会发现不论是基于磁盘的...
我们有一个基于语句的复制服务器,它一直在经历减速,并且在事件期间,SHOW FULL PROCESSLIST显示复制查询停留在“等待查询缓存锁定”,这是令人惊讶的,因为服务器query_cache_size设置为0.对有问题的查询进行概要分析会在每次更新表时显示此步骤. 即使query_cache_size为0,这是典型的在配置文件中查看更新吗？这真的只是检查查询缓存而不是等待获取真正锁定的查询吗？解决方法:该消息表示您尝试获取查询缓存互斥锁,即使query_cache_si...
在我们的项目中，开启PHP的慢速日志（request_slowlog_timeout = 10s）是必选项，并且它也让我们发现了很多坑，解决了很多的性能问题。 昨天由于碰到了一个非常奇怪的问题，让我们不得不关闭PHP慢速日志，问题是什么呢？ 问题：执行程序时，会报 2013(Lost connection to MySQL server during query) 分析： 1）在我们的后台程序中，会执行一个循环（>300次），循环中会重复执行一条SQL语句； 2）Nginx的访问日志，程式每次执行时间...
在我们的项目中，开启PHP的慢速日志（request_slowlog_timeout = 10s）是必选项，并且它也让我们发现了很多坑，解决了很多的性能问题。 昨天由于碰到了一个非常奇怪的问题，让我们不得不关闭PHP慢速日志，问题是什么呢？ 问题：执行程序时，会报 2013(Lost connection to MySQL server during query) 分析： 1）在我们的后台程序中，会执行一个循环（>300次），循环中会重复执行一条SQL语句； 2）Nginx的访问日志，程式每次执行时间...
在平时的工作中，有时候需要insert一批数据，这些数据可能是临时表，外部表，普通表，子查询等形式，类似下面的格式 在平时的工作中，有时候需要insert一批数据，这些数据可能是临时表，外部表，普通表，子查询等形式，类似下面的格式insert into xxxx (select xxxxx from xxx where xxxxx);如果其中有冗余数据的时候，，整个Insert会自动rollback,一条数据也插不进去，错误类似下面的形式。insert /*+ append */into mo1_memo sel...