CentOS7部署Hadoop2.7.5全分布式群集
2018-1-28
| 2024-2-5
0  |  Read Time 0 min
type
status
date
slug
summary
tags
category
icon
password

 
首先,里面的链接都是我之前csdn博客的,迁移过来的文章我就不改了,有需要可以跳过去看。

安装虚拟机

安装JDK

克隆

我是直接克隆虚拟机,要是有服务器或者自安装也可以。
点击完整克隆
notion image
notion image

安装HADOOP

配置HADOOP

修改UUID

notion image
因为克隆过来的UUID是相同的,可以删除重新生成,也可以修改其中一个数就可以了,里面的数值是16进制的,在这范围内就可以。

修改计算机名

notion image

修改映射

notion image
CentOS7克隆之后IP地址是自动分配的,所以不需要自己设置
查询本机IP
ifconfig
检验是能联通,在win的cmd ping一下
notion image
改名之后可以通过名字来在虚拟机之间通讯
notion image

配置SSH

hadoop01,hadoop02,hadoop03是我的主机名,主机名自己设置的

搭建全分布环境

规划
主机名称
IP地址
功能
hadoop01
192.168.164.137
NameNode,DataNode,ResourceManager,NodeManager
hadoop02
192.168.164.136
DataNode,NodeManager
hadoop03
192.168.164.138
DataNode,NodeManager
所有机子都需要配置

1.JDK

2.SSH免登陆

3.Hadoop集群

配置hadoop-env.sh

vim /usr/local/hadoop-2.7.5/etc/hadoop/hadoop-env.sh

配置core-site.xml

vim /usr/local/Hadoop-2.7.5/etc/Hadoop/core-site.xml

配置hdfs-site.xml

vim /usr/local/hadoop-2.7.5/etc/hadoop/hdfs-site.xml

配置mapred-site.xml

内容如下:

配置yarn-site.xml

vim etc/hadoop/yarn-site.xml

配置slaves

notion image

远程分发到服务器上

启动之前需要格式化

启动之前,在namenode服务器上先格式化,只需格式化一次就好了
notion image

测试

启动namenode,datanode,ResourceManager,NodeManager节点

验证

在三台机子分别输入
就可以看到启动的进程了
  • 推荐
  • MapReduce提取一条日志文件中的IP,并计算出访问的次数shell 逐行读取文件
    Loading...
    Catalog