如何在hadoop中构建完全分布式集群

构建完全分布式的Hadoop集群需要以下步骤：

1. 购买或准备多台服务器：至少需要三台服务器，其中一台作为主节点（NameNode） ，另外两个作为从节点（DataNode）。

2. 安装Java：Hadoop是用Java编写的，因此需要在所有服务器上安装Java运行环境。

3. 配置SSH免密登录：为了方便集群节点之间的通信，需要配置SSH免密登录。您可以使用 ssh-keygen 命令生成公私密钥对，并将公钥分发给其他节点。

4. 下载Hadoop：从Hadoop官网下载最新版本的Hadoop并解压到所有服务器。

5. 配置Hadoop环境变量：编辑每台服务器上的.bashrc文件，将Hadoop的bin和sbin目录添加到PATH变量中。

6. 配置 Hadoop core文件：在master节点编辑Hadoop的核心配置文件hadoop-env.sh，设置JAVA_HOME环境变量。编辑所有节点上的core-site.xml文件，配置Hadoop的核心参数，例如HDFS文件系统的默认URI、数据存储路径等。

7. 配置Hadoop HDFS文件系统：编辑master节点上的hdfs-site.xml文件，配置HDFS相关参数，例如副本数、数据块大小等。编辑从节点上的hdfs-site.xml文件，配置数据目录。

8. 配置Hadoop YARN：编辑master节点上的yarn-site.xml文件，配置YARN相关参数，例如地址、端口等资源管理器。编辑从节点上的yarn-site.xml文件，配置节点管理器的地址。

9. 配置 Hadoop MapReduce：编辑 mapred-site.xml 文件 o在主节点上配置MapReduce参数，如作业的历史服务器地址、端口等。编辑从节点上的mapred-site.xml文件并配置任务跟踪器的地址。

10. 启动Hadoop集群：首先在master节点上执行命令hadoop namenode -format，初始化HDFS文件系统。然后在主节点上执行命令start-dfs.sh启动HDFS，在从节点上执行命令start-dfs.sh启动数据节点。最后在主节点上执行命令start-yarn.sh启动YARN。

11. 验证Hadoop集群：可以使用命令jps查看所有节点的运行进程，确保Hadoop的所有组件都正常运行。您还可以使用Hadoop自带的示例程序来运行一些MapReduce作业来验证集群的功能和性能。

以上就是构建完全分布式Hadoop集群的基本步骤。根据Hadoop版本的不同，具体配置和命令可能会有所不同。可以参考官方文档或者相关教程。进行详细的配置和调整。