type
status
date
slug
summary
tags
category
icon
password
首先,里面的链接都是我之前csdn博客的,迁移过来的文章我就不改了,有需要可以跳过去看。
安装虚拟机
安装JDK
克隆
我是直接克隆虚拟机,要是有服务器或者自安装也可以。
点击完整克隆
安装HADOOP
配置HADOOP
修改UUID
因为克隆过来的UUID是相同的,可以删除重新生成,也可以修改其中一个数就可以了,里面的数值是16进制的,在这范围内就可以。
修改计算机名
修改映射
CentOS7克隆之后IP地址是自动分配的,所以不需要自己设置
查询本机IP
ifconfig
检验是能联通,在win的cmd ping一下
改名之后可以通过名字来在虚拟机之间通讯
配置SSH
hadoop01,hadoop02,hadoop03是我的主机名,主机名自己设置的
搭建全分布环境
规划
主机名称 | IP地址 | 功能 |
hadoop01 | 192.168.164.137 | NameNode,DataNode,ResourceManager,NodeManager |
hadoop02 | 192.168.164.136 | DataNode,NodeManager |
hadoop03 | 192.168.164.138 | DataNode,NodeManager |
所有机子都需要配置
1.JDK
2.SSH免登陆
3.Hadoop集群
配置hadoop-env.sh
vim /usr/local/hadoop-2.7.5/etc/hadoop/hadoop-env.sh
配置core-site.xml
vim /usr/local/Hadoop-2.7.5/etc/Hadoop/core-site.xml
配置hdfs-site.xml
vim /usr/local/hadoop-2.7.5/etc/hadoop/hdfs-site.xml
配置mapred-site.xml
内容如下:
配置yarn-site.xml
vim etc/hadoop/yarn-site.xml
配置slaves
远程分发到服务器上
启动之前需要格式化
启动之前,在namenode服务器上先格式化,只需格式化一次就好了
测试
启动namenode,datanode,ResourceManager,NodeManager节点
验证
在三台机子分别输入
就可以看到启动的进程了