作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-378/ 本博客的文章集合:http://dongxicheng.org/recommend/ 重大消息：我的Hadoop新 作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-37...
作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-392/ 本博客的文章集合:http://dongxicheng.org/recommend/ 重大消息：我的Hadoop新 作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-39...
上一篇文章“Mahout与聚类分析”介绍了如何使用Mahout进行聚类分析的步骤，并且结合实例使用K-Means对微博名人共同关注数据进行了共被关注聚类分析。Mahout运行有本地运行和Hadoop运行两种模式，本地运行是指在用户本地的单机模式下运行，就像运行其他普通的上一篇文章“Mahout与聚类分析”介绍了如何使用Mahout进行聚类分析的步骤，并且结合实例使用K-Means对微博名人共同关注数据进行了共被关注聚类分析。Mahout运行有本地运行和...
Hadoop集群服务器升级为rhel6内核后，System Cpu占用非常高，有任务运行的时候经常到50%以上。对其中一台机器一天的运行状态采样的数据： idle: 76%?? sys:14%? user: 9% 从采样数据中，可以发现System Cpu比User Cpu还要高，这在Hadoop集群环境中很不寻常。Hadoop集群服务器升级为rhel6内核后，System Cpu占用非常高，有任务运行的时候经常到50%以上。对其中一台机器一天的运行状态采样的数据： idle: 76%?? sys:14%? user: 9% 从...
来源：http://www.ibm.com/developerworks/cn/java/j-javadev2-15/index.html Google 在 2001 年发布图像搜索功能时，只有 2.5 亿索引图像，不到 10 年，这个巨大的搜索功能已经可以检索超过 100 亿个图像了，每分钟有 35 小时的内容上传到 YouTube。据称，T来源：http://www.ibm.com/developerworks/cn/java/j-javadev2-15/index.html Google 在 2001 年发布图像搜索功能时，只有 2.5 亿索引图像，不到 10 年，这个巨大的搜索功能...
Apache Apache Hadoop是目前被大家广泛使用的数据分析平台，它可靠、高效、可伸缩。Percona公司的Alexander Rubin最近发表了一篇博客文章介绍了他是如何将一个表从MySQL导出到Hadoop然后将数据加载到Cloudera Impala并在这上面运行报告的。在Alexander Rubin的这个测试示例中他使用的集群包含6个数据节点。下面是具体的规格：用途服务器规格NameNode、DataNode、Hive 元数据存储等2x PowerEdge 2950, 2x L5335 CPU @ 2.00GHz, 8 co...
作者 Jonathan Allen ，译者 张晓鹏 Hunk是Splunk公司一款比较新的产品，用来对Hadoop和其它NoSQL数据存储进行探测和可视化，它的新版本将会支持亚马逊的Elastic MapReduce。 结合Hadoop使用Hunk Hadoop由两个单元组成，首先是被称为HDFS的存储单元，HDFS可作者 JonathanAllen ，译者 张晓鹏 Hunk是Splunk公司一款比较新的产品，用来对Hadoop和其它NoSQL数据存储进行探测和可视化，它的新版本将会支持亚马逊的ElasticMapReduce。结...
对于mysql，redis，Kafka，zookeeper磁盘缓存技术使用分析 大部分组件是基于磁盘存储的，但由于CPU速度和磁盘速度之间的鸿沟，都会使用缓存技术来提高性能，缓存简单来说就是一块内存区域，首先将从磁盘读到的数据放在缓存中，之后查询或修改时直接操作缓存，对于缓存中的数据则以一定的频率刷新到磁盘上，怎样缓存，缓存多少，何时刷新，这些影响着整个组件的性能。在看过一些关于mysql等组件的架构原理后，会发现不论是基于磁盘的...
我们有一个基于语句的复制服务器,它一直在经历减速,并且在事件期间,SHOW FULL PROCESSLIST显示复制查询停留在“等待查询缓存锁定”,这是令人惊讶的,因为服务器query_cache_size设置为0.对有问题的查询进行概要分析会在每次更新表时显示此步骤. 即使query_cache_size为0,这是典型的在配置文件中查看更新吗？这真的只是检查查询缓存而不是等待获取真正锁定的查询吗？解决方法:该消息表示您尝试获取查询缓存互斥锁,即使query_cache_si...
在我们的项目中，开启PHP的慢速日志（request_slowlog_timeout = 10s）是必选项，并且它也让我们发现了很多坑，解决了很多的性能问题。 昨天由于碰到了一个非常奇怪的问题，让我们不得不关闭PHP慢速日志，问题是什么呢？ 问题：执行程序时，会报 2013(Lost connection to MySQL server during query) 分析： 1）在我们的后台程序中，会执行一个循环（>300次），循环中会重复执行一条SQL语句； 2）Nginx的访问日志，程式每次执行时间...
在我们的项目中，开启PHP的慢速日志（request_slowlog_timeout = 10s）是必选项，并且它也让我们发现了很多坑，解决了很多的性能问题。 昨天由于碰到了一个非常奇怪的问题，让我们不得不关闭PHP慢速日志，问题是什么呢？ 问题：执行程序时，会报 2013(Lost connection to MySQL server during query) 分析： 1）在我们的后台程序中，会执行一个循环（>300次），循环中会重复执行一条SQL语句； 2）Nginx的访问日志，程式每次执行时间...
在平时的工作中，有时候需要insert一批数据，这些数据可能是临时表，外部表，普通表，子查询等形式，类似下面的格式 在平时的工作中，有时候需要insert一批数据，这些数据可能是临时表，外部表，普通表，子查询等形式，类似下面的格式insert into xxxx (select xxxxx from xxx where xxxxx);如果其中有冗余数据的时候，，整个Insert会自动rollback,一条数据也插不进去，错误类似下面的形式。insert /*+ append */into mo1_memo sel...
数据库用户不能登录 alert日志报ORA-04031故障分析处理 现象：1、在数据库主机sqlplus / as sysdba都进不去。 2、alert日志中报错如下： Errors in file /Oracle/admin/dbrac/bdump/dbrac2_q000_1329.trc: ORA-22303: type "SYS"."AQ$_HISTORY" not found ORA-00604: error occurred at recursive SQL level 1 ORA-04031: unable to allocate 32 bytes of shared memory ("shared pool","select user#,type# from user...","sql a...
该客户的数据库是Oracle 11.1.0.7，运行在p550主机上，16个逻辑CPU，16G内存，AIX 6.1 64位系统，共分配了8G内存给SGA，2G内存给 昨天去一客户那里做巡检，遇到了经典的ora-04030错误，alert日志如下： Tue Oct 28 09:57:46 2014Errors in file /Oracle/app/oracle/diag/rdbms/wmsdb/wmsdb/trace/wmsdb_ora_33358038.trc (incident=177302):ORA-04030: out of process memory when trying to allocate 118808 bytes (QERHJ hash-j...
在一个网站广告系统中, 需要针对每一个用户所接受的弹窗次数和点击次数这两个重要指标进行统计, 从而进行效果分析和精准投放的改进. 这两个指标的统计算法其实非常简单, 主要的难点在于大数据量. 广告系统的涉及的用户量达到数千万人, 每天的日志数据量是几在一个网站广告系统中, 需要针对每一个用户所接受的弹窗次数和点击次数这两个重要指标进行统计, 从而进行效果分析和精准投放的改进. 这两个指标的统计算法其实非常简单, 主要...