ApacheHadoop入门教程第三章-创新互联-成都创新互联网站建设

关于创新互联

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

ApacheHadoop入门教程第三章-创新互联

免密码 ssh 设置

成都创新互联是一家集网站建设,惠东企业网站建设,惠东品牌网站建设,网站定制,惠东网站建设报价,网络营销,网络优化,惠东网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。

现在确认能否不输入口令就用 ssh 登录 localhost:

$ ssh localhost
1
如果不输入口令就无法用 ssh 登陆 localhost,执行下面的命令:

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
1
2
3
执行

下面演示本地运行一个 MapReduce 的 job,以下是运行步骤。

(1)格式化一个新的分布式文件系统:

$ bin/hdfs namenode -format
1
(2)启动 NameNode 守护进程和 DataNode 守护进程:

$ sbin/start-dfs.sh
1
Hadoop 守护进程的日志写入到 $HADOOP_LOG_DIR目录(默认是 $HADOOP_HOME/logs)

(3)浏览 NameNode 的网络接口,它们的地址默认为:

NameNode - http://localhost:50070/
1
(4)创建 HDFS 目录来执行 MapReduce 的 job:

$ bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/
1
2
(5)将输入文件拷贝到分布式文件系统:

$ bin/hdfs dfs -put etc/hadoop input
1
(6)运行发行版提供的示例程序:

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
1
(7)查看输出文件

将输出文件从分布式文件系统拷贝到本地文件系统查看:

$ bin/hdfs dfs -get output output
$ cat output/*****
1
2
或者,在分布式文件系统上查看输出文件:

$ bin/hdfs dfs -cat output/*
1
(8)完成全部操作后,停止守护进程:

$ sbin/stop-dfs.sh
**需要学习的可以继续看下一章。**

很多人都知道我有大数据培训资料,都天真的以为我有全套的大数据开发、hadoop、spark等视频学习资料。我想说你们是对的,我的确有大数据开发、hadoop、spark的全套视频资料。
如果你对大数据开发感兴趣可以加口群领取免费学习资料: 763835121

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


分享文章:ApacheHadoop入门教程第三章-创新互联
分享链接:http://kswsj.cn/article/cejoje.html

其他资讯