hadoopMapReduce初试遇到的问题-创新互联-成都创新互联网站建设

关于创新互联

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

hadoopMapReduce初试遇到的问题-创新互联

hadoop MapReduce初试遇到的问题

沅陵ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为成都创新互联公司的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:13518219792(备注:SSL证书合作)期待与您的合作!

./hadoop jar ./MapReduce-jar-with-dependencies.jar com.hc360.mp.WordCountHbaseReader /user/hbase/tabelname01 tablename

在hadoop集群上执行 MapReduce任务时,需要用到许多依赖jar,一般情况下都是在执行时,在执行命令上进行配置指定,这样会造成执行命令太长,并且容易出错,有时还想带几个参数信息,这样更容易出错;

比较好的处理方法是,在生成运行jar时,将需要的依赖jar打包到运行jar中,这样在执行时所有依赖的jar都有了,就不用指定了。

./hdfs dfs -rmr /user/hbase/

hdfs上已有的文件不能进行覆盖,生成文件时必须是没有的新文件,可以在产生文件前执行以上命令清除已有的文件:

16/07/19 18:26:08 INFO ipc.Client: Retrying connect to server: xxxx/192.168.xx.xx:8032. Already tried 4 time(s); retry policy is etryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

hadoop集群上,如果没有启动 yarn(MapReduce),当运行MapReduce任务时,会提示上面的信息;

当执行hadoop的shell命令时,如果提示类似上面的信息,可以查看是否启动了hadoop进程。

java.lang.IllegalArgumentException: Does not contain a valid host:port authority:

java.net.UnknownHostException

hadoop集群的hostname配置,主机名不要包含下划线“_”,但可以有横线“-”。

在hadoop集群中每个机器都要配置集群所有机器的hostname域名,以便相互访问。

这里分享一个血的教训,在给hostname起名字的时候一定要注意,虽然linux支持一些特殊字符,但java里面并不支持,所以hostname的命名一定要使用数字和字母(以点号分隔)。如果起的hostname包含了特殊字符下划线,导致hadoop运行时候的reduce阶段出错。

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章题目:hadoopMapReduce初试遇到的问题-创新互联
标题URL:http://kswsj.cn/article/dopsps.html

其他资讯