Hadoop在Linux上的分布式计算如何实现

Hadoop是一个开源的分布式计算框架，它支持用户利用简化的编程模型来存储和处理分布在计算机集群中的大量数据。Hadoop的关键组成部分包括Hadoop分布式文件系统（HDFS）以及MapReduce计算框架。下面是在Linux系统中搭建Hadoop分布式计算环境的主要步骤：

1. 准备工作

• 安装Java环境：Hadoop依赖于Java，所以要保证每个节点都安装了同一版本的Java。

    sudo apt-get update   sudo apt-get install openjdk-8-jdk

• 设置SSH免密登录：这有助于简化集群内的管理工作。

    ssh-keygen -t rsa   ssh-copy-id user@node2   ssh-copy-id user@node3

2. 获取并解压Hadoop

• 下载Hadoop：从Apache Hadoop官方网站获取最新版的Hadoop。

    wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

• 解压缩Hadoop：

    tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/

• 设定环境变量：修改/etc/profile或者~/.bashrc文件，加入Hadoop路径。

    export HADOOP_HOME=/usr/local/hadoop-3.3.1   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin   source /etc/profile

3. 配置Hadoop集群

• 调整core-site.xml：定义HDFS的URI。

    <configuration><property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value></property></configuration>

• 修改hdfs-site.xml：设置HDFS的副本数量及其他参数。

    <configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>/path/to/namenode/data</value></property><property><name>dfs.datanode.data.dir</name><value>/path/to/datanode/data</value></property></configuration>

• 更新mapred-site.xml：配置MapReduce框架。

    <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

• 更改yarn-site.xml：配置YARN资源管理器。

    <configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>

4. 初始化HDFS

在NameNode服务器上运行以下命令以初始化HDFS：

hdfs namenode -format

5. 开启Hadoop集群

• 启动NameNode和SecondaryNameNode：

    start-dfs.sh

• 激活YARN ResourceManager和NodeManager：

    start-yarn.sh

6. 检查集群状况

• 核查HDFS状态：

    hdfs dfsadmin -report

• 确认YARN状态：

    yarn node -list

7. 执行MapReduce任务

创建一个基础的MapReduce应用程序，并将其部署到集群运行。比如，可以使用Hadoop自带的WordCount实例：

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  public class WordCount {     public static void main(String[] args) throws Exception {         Configuration conf = new Configuration();         Job job = Job.getInstance(conf, "word count");         job.setJarByClass(WordCount.class);         job.setMapperClass(TokenizerMapper.class);         job.setCombinerClass(IntSumReducer.class);         job.setReducerClass(IntSumReducer.class);         job.setOutputKeyClass(Text.class);         job.setOutputValueClass(IntWritable.class);         FileInputFormat.addInputPath(job, new Path(args[0]));         FileOutputFormat.setOutputPath(job, new Path(args[1]));         System.exit(job.waitForCompletion(true) ? 0 : 1);     } }

构建并打包后，使用如下命令提交任务：

hadoop jar WordCount.jar WordCount input output

遵循上述流程，你便能在Linux平台上建立起一个有效的Hadoop分布式计算集群。