hadoop伪分布模式搭建(详细步骤)-创新互联-成都创新互联网站建设

关于创新互联

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

hadoop伪分布模式搭建(详细步骤)-创新互联

一、前期准备

临泉ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为创新互联的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:18982081108(备注:SSL证书合作)期待与您的合作!

1. 关闭防火墙

2. 安装好JDK

3. 准备hadoop安装包

二、安装hadoop伪分布模式

1. 在home/hadoop/software/路径下创建hadooptmp目录

2. 解压hadoop-3.3.0.tar.gz

3.  进入hadoop-3.3.0/etc/hadoop

4.  编辑hadoop运行是的环境

5.  配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径

6. 配置DataNode的数据块冗余度

7. 配置MapReduce运行框架的yarn容器

8. 配置ResourceManager所在的主机及MapReduce的shuffer方式

9. 配置hadoop环境变量

10 . 更新bash_profile 文件内容

11.  格式NameNode

12. 启动hadoop相关进程

13. 查看进程


一、前期准备
hadoop版本主机名ip安装路径
hadoop-3.3.0hadooptest192.168.254.172

home/hadoop/software/hadoop-3.3.0

1. 关闭防火墙

(1) 临时关闭防火墙命令:service iptables stop

(2)永久关闭防火墙命令:chkconfig iptables off

2. 安装好JDK

如果jdk没有安装好的可以参考这篇文章

https://editor.csdn.net/md/?articleId=126587725 

3. 准备hadoop安装包

hadoop-3-3.0下载地址

http://链接:https://pan.baidu.com/s/1YClfndoOCRdr_yRIxPrj_A?pwd=v8i1

注:下载好hadoop压缩包之后,将压缩包上传至虚拟机(此处上传的路径为home/hadoop/software/)

二、安装hadoop伪分布模式 1. 在home/hadoop/software/路径下创建hadooptmp目录

mkdir /hone/hadoop/software/hadooptmp

注意:这里的/hone/hadoop/software/是我存放hadoop压缩包的路径,对应改成自己的即可

2. 解压hadoop-3.3.0.tar.gz

tar -zxvf hadoop-3.3.0.tar.gz 

3.  进入hadoop-3.3.0/etc/hadoop

cd  home/software//hadoop-3.3.0/etc/hadoop

注意:这里是解压过后的hadoop-3.3.0/etc/hadoop   而不是直接cd hadoop

4.  编辑hadoop运行是的环境

vi hadoop-env.sh

进入文件之后,添加jdk的环境变量,如下:

export JAVA_HOME=/home/hadoop/software/jdk1.8.0_171 

添加好之后保存退出

注意这里/home/hadoop/software/是我存放jdk的路径,自己对应改成自己的即可

5.  配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径

vi core-site.xml

进入文件之后,滑到文件最下边,在中添加如下内容

fs.defaultFS

hdfs://hadooptest:9000

hadoop.tmp.dir

/home/hadoop/software/hadooptmp

添加好之后保存退出

注意:这里的hadooptest是我的主机名,对应改成自己的主机名

这里的/home/hadoop/software/hadooptmp是第一步创建Hadooptmp的路径

6. 配置DataNode的数据块冗余度

vi hafs-site.xml

进入文件之后,滑到文件最下边,在中添加如下内容

dfs.replication

1

添加好之后保存退出

7. 配置MapReduce运行框架的yarn容器

vi mapred-site.xml

进入文件之后,滑到文件最下边,在中添加如下内容

mapreduce.framework.name

yarn

添加好之后保存退出

8. 配置ResourceManager所在的主机及MapReduce的shuffer方式

vi yarn-site.xml

进入文件之后,滑到文件最下边,在中添加如下内容

yarn.nodemanger.aux-services

mapreduce_shuffle

添加好之后保存退出

9. 配置hadoop环境变量

vi ~/.bash_profile

在文件中添加如下内容

export HADOOP_HOME=/home/hadoop/software/hadoop-3.3.0

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

注意:这里的/home/hadoop/software/hadoop-3.3.0是hadoop存放的路径,对应改成自己存放hadoop的路径即可

10 . 更新bash_profile 文件内容

source ~/.bash_profile

11.  格式NameNode

hadoop  namenode  -format

12. 启动hadoop相关进程

start-all.sh  

出现下图内容则启动完成

13. 查看进程

jps

之后会显示如下内容

到这里hadoop伪分布集群我们就搭建好啦,第一次搭建的话可能会遇到一些问题,有问题的可以评论,或者私聊我。

你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧


分享文章:hadoop伪分布模式搭建(详细步骤)-创新互联
分享网址:http://kswsj.cn/article/cchoes.html

其他资讯