Hadoop伪分布式集群搭建总结-创新互联-成都创新互联网站建设

关于创新互联

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

Hadoop伪分布式集群搭建总结-创新互联

                               Hadoop伪分布式集群搭建总结

一、所需软件
VMware15!
CentOS6.5
JDK1.8
Hadoop2.7.3
二、安装
注意:
对文件进行编辑:输入a,表示对该文件进行编辑,最后保存该文件,操作为:点击键盘上的Esc按钮,然后输入英文的:字符,再输入wq,点击回车,完成文件的保存。

1、关闭防火墙和禁用SELINUX
(1)、永久关闭防火墙,重启Linux系统
Hadoop伪分布式集群搭建总结
(2) 、禁用SELINUX:修改文件参数 重启Linux使其生效
Hadoop伪分布式集群搭建总结
(3)、检查防火墙是否运行,显示下图即为关闭
Hadoop伪分布式集群搭建总结
2、配置hostname与IP地址之间的对应关系
(1)、查看自己的IP
Hadoop伪分布式集群搭建总结
(2)、查看自己的hostname
Hadoop伪分布式集群搭建总结
(3)、配置对应关系
Hadoop伪分布式集群搭建总结
注意:IP与hostname之间有空格
3、创建用户
(1),创建hadoop用户
Hadoop伪分布式集群搭建总结
(2)、为hadoop用户设置密码
Hadoop伪分布式集群搭建总结
4、配置 SSH免密登录
(1)、检查自己系统是否安装SSH
Hadoop伪分布式集群搭建总结
注意:若没安装SSH则在有网的情况下可输入:yum install openssh-server 进行安装。
(2)、为hadoop用户配置SSH免密登录
Hadoop伪分布式集群搭建总结
注意:一定要切换到hadoop用户下并进入“~”目录!
Hadoop伪分布式集群搭建总结
注意:输入ssh-keygen -t rsa后一直回车即可!
然后进入.ssh目录进行以下操作
Hadoop伪分布式集群搭建总结
注意:“authorized_keys”一定要准确!**``**
进入“~”目录为.ssh目录及其文件赋予相应权限
Hadoop伪分布式集群搭建总结

创新互联建站坚信:善待客户,将会成为终身客户。我们能坚持多年,是因为我们一直可值得信赖。我们从不忽悠初访客户,我们用心做好本职工作,不忘初心,方得始终。10余年网站建设经验创新互联建站是成都老牌网站营销服务商,为您提供网站制作、网站设计、网站设计、html5、网站制作、品牌网站制作、小程序定制开发服务,给众多知名企业提供过好品质的建站服务。

5、JDK安装
(1)、创建存放软件目录
Hadoop伪分布式集群搭建总结
(2)、上传解压jdk
Hadoop伪分布式集群搭建总结
注意:确保红框内权限为hadoop的!如果为root,可进入root用户修改为hadoop, 命令为:chown –R hadoop:hadoop jdk-8u211-linux-x64.tar.gz ,然后重新进入hadoop用户进行解压
(3)、为jdk1.8.0_211创建软连接
Hadoop伪分布式集群搭建总结
(4)、配置bashrc文件
Hadoop伪分布式集群搭建总结
使配置文件生效
Hadoop伪分布式集群搭建总结
(5)、验证JDK是否安装成功,显示下图即为成功
Hadoop伪分布式集群搭建总结
6、hadoop安装及配置
(1)、上传解压hadoop
Hadoop伪分布式集群搭建总结
注意:确保红框内权限为hadoop的!如果为root,可进入root用户修改为hadoop 命令为:chown –R hadoop:hadoop hadoop-2.7.3.tar.gz ,然后重新进入hadoop用户进行解压

(2)、进入hadoop配置文件目录进行相应文件配置
Hadoop伪分布式集群搭建总结
配置core-site.xml vi core-site.xml
Hadoop伪分布式集群搭建总结
注意:箭头所指应为自己的hostname
配置hdfs-site.xml vi hdfs-site.xml
Hadoop伪分布式集群搭建总结
配置hadoop-env.sh vi hadoop-env.sh
Hadoop伪分布式集群搭建总结
注意:此路径为JDK的安装目录
配置mapred-site.xml vi mapred-site.xml
Hadoop伪分布式集群搭建总结
配置yarn-site.xml vi yarn-site.xml
Hadoop伪分布式集群搭建总结
配置slaves vi slaves
Hadoop伪分布式集群搭建总结
注意:此为自己的hostname
(3)、为hadoop-2.7.3创建软连接
Hadoop伪分布式集群搭建总结
(4)、配置bashrc文件
Hadoop伪分布式集群搭建总结
使配置文件生效
Hadoop伪分布式集群搭建总结
(5)、创建hadoop相关数据目录
Hadoop伪分布式集群搭建总结
(6)、格式化Namenode hadoop namenode -format
Hadoop伪分布式集群搭建总结
注意:出现以上2个信息即为成功!如果出现要输入密码等情况,检查自己的SSH免密登录是否配置正确!!!
(7)、启动hadoop伪分布式集群
Hadoop伪分布式集群搭建总结
注意:出现以上信息输入yes即可!!!
(8)、通过jps命令查看hadoop的启动进程
Hadoop伪分布式集群搭建总结
注意:出现以上5个进程即为hadoop伪分布式集群启动成功

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


新闻名称:Hadoop伪分布式集群搭建总结-创新互联
文章位置:http://kswsj.cn/article/iggps.html

其他资讯