hadoop2.2基准测试

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hadoop2.2基准测试，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3959字，纯文字阅读大概需要6分钟。

内容图文

<P style=‘font: 12.3px/13.84px Verdana, "Lucida Grande", Arial, Helvetica, sans-serif; margin: 10px auto; color: rgb(0, 0, 0); text-transform: none; text-indent: 0px; letter-spacing: normal; word-spacing: 0px; white-space: normal; font-size-adjust: none; font-stretch: normal; background-color: rgb(255, 255, 255); -webkit-text-stroke-width: 0px;‘>《hadoop the definitive way》(third version)中的Benchmarking a Hadoop Cluster Test Cases的class在新的版本中已不再试hadoop-*-test.jar, 新版本中做BanchMark Test应采用如下方法： <HR style=‘font: 12.3px/13.84px Verdana, "Lucida Grande", Arial, Helvetica, sans-serif; color: rgb(0, 0, 0); text-transform: none; text-indent: 0px; letter-spacing: normal; word-spacing: 0px; white-space: normal; font-size-adjust: none; font-stretch: normal; background-color: rgb(255, 255, 255); -webkit-text-stroke-width: 0px;‘> <P style=‘font: 12.3px/13.84px Verdana, "Lucida Grande", Arial, Helvetica, sans-serif; margin: 10px auto; color: rgb(0, 0, 0); text-transform: none; text-indent: 0px; letter-spacing: normal; word-spacing: 0px; white-space: normal; font-size-adjust: none; font-stretch: normal; background-color: rgb(255, 255, 255); -webkit-text-stroke-width: 0px;‘>  <P style=‘font: 12.3px/13.84px Verdana, "Lucida Grande", Arial, Helvetica, sans-serif; margin: 10px auto; color: rgb(0, 0, 0); text-transform: none; text-indent: 0px; letter-spacing: normal; word-spacing: 0px; white-space: normal; font-size-adjust: none; font-stretch: normal; background-color: rgb(255, 255, 255); -webkit-text-stroke-width: 0px;‘>1. TestDFSIO <P style=‘font: 12.3px/13.84px Verdana, "Lucida Grande", Arial, Helvetica, sans-serif; margin: 10px auto; color: rgb(0, 0, 0); text-transform: none; text-indent: 0px; letter-spacing: normal; word-spacing: 0px; white-space: normal; font-size-adjust: none; font-stretch: normal; background-color: rgb(255, 255, 255); -webkit-text-stroke-width: 0px;‘>write <P style=‘font: 12.3px/13.84px Verdana, "Lucida Grande", Arial, Helvetica, sans-serif; margin: 10px auto; color: rgb(0, 0, 0); text-transform: none; text-indent: 0px; letter-spacing: normal; word-spacing: 0px; white-space: normal; font-size-adjust: none; font-stretch: normal; background-color: rgb(255, 255, 255); -webkit-text-stroke-width: 0px;‘>TestDFSIO用来测试HDFS的I/O 性能，用一个MapReduce job来并行读取/写入文件， 每个文件在一个独立的map task里被读取或写入，而map的输出用来收集该文件被执行过程中的统计数据， <P style=‘font: 12.3px/13.84px Verdana, "Lucida Grande", Arial, Helvetica, sans-serif; margin: 10px auto; color: rgb(0, 0, 0); text-transform: none; text-indent: 0px; letter-spacing: normal; word-spacing: 0px; white-space: normal; font-size-adjust: none; font-stretch: normal; background-color: rgb(255, 255, 255); -webkit-text-stroke-width: 0px;‘>test1 写入２个文件，每个10MB <DIV style=‘margin: 5px 0px; padding: 5px; border: 1px solid rgb(204, 204, 204); color: rgb(0, 0, 0); text-transform: none; line-height: 13.84px; text-indent: 0px; letter-spacing: normal; overflow: auto; font-family: "Courier New" !important; font-size: 12.3px; font-style: normal; font-variant: normal; font-weight: normal; word-spacing: 0px; white-space: normal; max-width: 900px; background-color: rgb(245, 245, 245); -webkit-text-stroke-width: 0px;‘ class="cnblogs_code">

%yarn jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-<SPAN style=‘color: rgb(128, 0, 128); line-height: 1.5 !important; font-family: "Courier New" !important; font-size: 12px !important;‘>2.2

. (128, 0, 128); line-height: 1.5 !important; font-family: "Courier New" !important; font-size: 12px !important;‘>0-tests.jar TestDFSIO -(0, 0, 255); line-height: 1.5 !important; font-family: "Courier New" !important; font-size: 12px !important;‘>write -nrFiles (128, 0, 128); line-height: 1.5 !important; font-family: "Courier New" !important; font-size: 12px !important;‘>2

 -fileSize 

(128, 0, 128); line-height: 1.5 !important; font-family: "Courier New" !important; font-size: 12px !important;‘>10

内容总结

以上是互联网集市为您收集整理的hadoop2.2基准测试全部内容，希望文章能够帮你解决hadoop2.2基准测试所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---