一、Hadoop搭建准备(centOs6.5 且每个系统都要有同一个用户,如:hadoop)
1、IP的配置
包括Master和Slaves的IP配置,之间能够相互ping通;
例如:
192.168.1.2 Master
192.168.1.3 Slave-1
192.168.1.4 Slave-2
192.168.1.5 Slave-3
其中每台机子配置IP的过程如下:
vi /etc/sysconfig/network //配置hostName
vi /etc/sysconfig/network-script/ifcfg-eth0 //配置ip
vi /etc/hosts //配置hosts(所有集群的IP地址和对应的主机名称)
配置完成后,重启network 命令:service
network restart
测试是否能够ping通过
2、配置SSH
1)首先,查看是否已经安装SSH
rmp -qa | grepopenssh
rmp -qa |grep rsync
2)若没有查询到结果,请按以下方式安装
yum -y installopenssh
yum -y install rsync
3)重新启动服务:service
sshd restart
4)然后,配置Master无密码登录其它Slaves(以hadoop用户登录)
(1)ssh-keygen
–t rsa –P '' //生成密钥对
(2)cat
~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
(3)chmod
600 authorized_keys
(4)用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。
RSAAuthentication yes #启用
RSA认证
PubkeyAuthentication yes #启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)
(5)设置完之后记得重启SSH服务,才能使刚才设置有效。
servicesshd restart
(6)使用下面的命令格式进行复制公钥:
scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/
cat ~/id_rsa.pub >>~/.ssh/authorized_keys
chmod 600~/.ssh/authorized_keys
(7)用root用户修改"/etc/ssh/sshd_config"
3、配置Java环境(其它机子雷同)
(1)下载适合系统版本的Java
(2)解压到/usr/java
(3) vim /etc/profile加入:
#set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
(4) 测试环境:java -version
二、Hadoop的安装
1、下载对应版本的Hadoop(安装到的目录/usr/hadoop)
2、hadoop目录设置权限(用户组和用户都是hadoop)
chown -Rhadoop:hadoop hadoop
3、设置hadoop 启动环境
vim/etc/profile
#set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH :$HADOOP_HOME/bin
source/etc/profile
4、配置Hadoop
(1)vim /usr/hadoop/conf/hadoop-env.sh
# set java environment
exportJAVA_HOME=/usr/java/jdk1.6.0_31
(2)vim /usr/hadoop/conf/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.2:9000</value>
</property>
(3)vim /usr/hadoop/conf/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
(备注:replication是数据副本数量,默认为3,salve少于3台就会报错)
</property>
(4)vim/usr/hadoop/conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.1.2:9001</value>
</property>
(5)vim /usr/hadoop/conf/master
192.168.1.2(本机IP地址,是指当本机down机时,进行冷启动的备份机)
(6)vim /usr/hadoop/conf/slaves
192.168.1.3
192.168.1.4
192.168.1.5
5、配置到其它Slaves机子
(1)scp拷贝
scp -r /usr/hadoop root@目标Ip:~/usr/
(2)改变权限
chown -R hadoop:hadoophadoop
(3)设置Hadoop运行环境
vim /etc/profile(见二-3)
三、启动Hadoop集群(使用hadoop用户)
1、格式化HDFS文件系统
hadoop namenode -format
2、启动hadoop
start-all.sh
ls /usr/hadoop/logs/ 查看日志
3、验证hadoop
(1) jps
(2)hadoop
dfsadmin -report
四、其它问题
1、日志Error:getting localhost name
using 'localhost'
查看是否配置好 /etc/hosts要和Master的配置一样
2、日志Error:java.net.NoRouteToHostException:No
route
查看防火墙是否关闭:service iptables status
关闭防火墙:service iptables stop
永远关闭:chkconfig --level 0123456 iptables off
分享到:
相关推荐
资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
CentOS6.5mini版hadoop集群搭建流程,内容比较简洁明了。
CentOS6.5miniHadoop集群搭建流程(完整版),内含代码及截图
linux:centos6.5 hadoop版本:2.6.0 集群方式:伪分布式 已经通过 内容比较详尽
在VMware虚拟机上,安装hadoop集群,采用的是伪分布式搭建,从安装jdk到hadoop的环境配置,全套都有,依据这个文档可以在个人Vmware上搭建自己的hadoop集群,这个集群有一个主节点,两个从节点。按照这个文档搭建后...
包含hadoop-2.6.4.tar包、搭建集群详情文档(每一步的步骤及代码、搭建前的环境配置)。亲测可成功运行。
Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop等。下面与大家分享在CentOS 6.5下安装Ambari...
Hadoop集群搭建的详细步骤,涉及Linux:Centos6.5基础环境配置,Hadoop集群离线部署方式。
CentOS 6.5 安装Ambari,Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具,Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等...
VMware10+CentOS6.5+Hadoop2.2+Zookeeper3.4.6+HBase0.96安装过程详解 用于解决分布式集群服务器
hadoop-2.7.4版本源码包,经过在Centos6.5系统环境编译打包,适合64位Linux系统软件安装包,是我亲自编译的,花了不少时间,亲测有效,成功在Linux系统构建了Hadoop集群
CentOS 6.5 CDH 5.6 操作系统基本设置 # IP设置 # Hostname 设置 # hosts 设置 # selinux 设置 # 防火墙设置 配置 httpd 服务 # 检查 httpd 是否安装 # 安装 httpd # 启动httpd服务 service httpd restart 设置...
CentOS6.5系统下Hadoop2.6.0集群增加机器详解
Hadoop_Hbase集群安装部署手册 本系统操作系统使用的是hadoop2.7.1,操作系统为centos 6.5 64位
初学者使用(CentOS6.5),内函配置服务器,配置ssh无密码访问,安装jdk,安装hadoop,配置hadoop
利用Hadoop创建分布式集群,使用虚拟机,secureCRT、centos6.5与Java等工具进行分布式集群的搭建过程。
基于centos6.5操作系统红象的安装部署Hadoop集群