Hadoop企业开发场景案例 1 案例需求 ? (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 ? (2)需求分析: ? 1G/128m = 8个MapTask;1个ReduceTask:1个mrAppMaster ? 平均每个节点运行10个/3台 ≈ 3个任务(4 3 3) 2 HDFS参数调优 ? (1)修改:hadoop-env.sh export HDFS_NAMENODE_OPTS = "-Dhadoop.security.logger=INFO,RFAS -Xmx1024m" export HDFS_DATANODE_OPTS = "-Dhadoop.se...