四台电脑集群
|
|
修改hosts
vim /etc/hosts
配置master到其它三台slave的免密码登陆
各服务器上使用 ssh-keygen -t rsa 一路按回车就行了。
刚才都作甚了呢?主要是设置ssh的密钥和密钥的存放路径。 路径为~/.ssh下。
打开~/.ssh 下面有三个文件
authorized_keys,已认证的keys
id_rsa,私钥
id_rsa.pub,公钥 三个文件。
下面就是关键的地方了,(我们要做ssh认证。进行下面操作前,可以先搜关于认证和加密区别以及各自的过程。)
①在master上将公钥放到authorized_keys里。命令:sudo cat id_rsa.pub >> authorized_keys
②将master上的authorized_keys放到其他linux的~/.ssh目录下。命令:sudo scp authorized_keys ubuntu@192.168.1.112:~/.ssh
sudo scp authorized_keys 远程主机用户名@远程主机名或ip:存放路径。
③修改authorized_keys权限,命令:chmod 644 authorized_keys
④测试是否成功
ssh slave1 输入用户名密码,然后退出,再次ssh slave1不用密码,直接进入系统。这就表示成功了。
安装jdk1.7
mkdir /usr/java
sudo tar -zxvf jdk-7u79-linux-x64.tar.gz -C /usr/java
vim /etc/profile
123export JAVA_HOME=/usr/java/jdk1.7.0_79export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH刷新配置
source /etc/profile
- 测试
java -version
关闭每台机器的防火墙
sudo ufw disable
(重启生效)
创建/home/cloud目录
mkdir ~/cloud
解压hadoop
tar -zxvf hadoop-2.7.2.tar.gz -C ./cloud
配置hadoop-env.sh yarn-env.sh
修改JAVA_HOME值export JAVA_HOME=/usr/java/jdk1.7.0_79
创建文件夹
|
|
配置slaves
|
|
配置core-site.xml
|
|
配置hdfs-site.xml
|
|
配置mapred-site.xml
|
|
配置yarn-site.xml
|
|
复制到其它节点
|
|
配置环境变量
vim /etc/profile
启动hadoop
- 格式化namenode
hadoop namenode –format
- 启动hdfs
start-dfs.sh
- 启动yarn
start-yarn.sh
- web端查看
http://master:8088 http://master:50070