这篇文章主要介绍Spark1.6.1和Hadoop2.6.4完全分布式安装的示例分析，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！
成都创新互联公司主要从事成都网站制作、网站设计、外贸网站建设、网页设计、企业做网站、公司建网站等业务。立足成都服务社旗,十多年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575
前期准备： 以下安装包均可在官网下载
hadoop-2.6.4.tar.gz jdk-7u71-linux-x64.tar.gz scala-2.10.4.tgz spark-1.6.1-bin-hadoop2.6.tgz
本人的硬件环境为：
master：虚拟内核8 内存16.0GB slave1：虚拟内核4 内存10.0GB slave2：虚拟内核4 内存10.0GB slave3：虚拟内核4 内存10.0GB slave4：虚拟内核4 内存10.0GB
将5台机器分别命名为master、slave1、slave2、slave3、slave4：
在master这台电脑上 sudo vim /etc/hostname master
在将5台机器均配置相同hosts：
sudo vim /etc/hosts 127.0.0.1 localhost 127.0.1.1 master/slave1/... 192.168.80.70 master 192.168.80.71 slave1 192.168.80.72 slave2 192.168.80.73 slave3 192.168.80.74 slave4
配置好后，重启，之后可以在master上ping slave1
配置ssh：
所有节点，使用 ssh-keygen -t rsa 一路按回车就行了。 ①在master上将公钥放到authorized_keys里。命令：sudo cat id_rsa.pub >> authorized_keys ②将master上的authorized_keys放到其他linux的~/.ssh目录下。 命令：scp authorized_keys root@salve1:~/.ssh ③修改authorized_keys权限，命令：chmod 644 authorized_keys ssh localhost以及ssh master ④测试是否成功 ssh slave1 输入用户名密码，然后退出，再次ssh host2不用密码，直接进入系统。这就表示成功了。 所有节点关闭防火墙 ufw disable
编辑配置文件：
vim /etc/profile export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_71 export PATH=JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export SCALA_HOME=/opt/scala/scala-2.10.4 export PATH=/opt/scala/scala-2.10.4/bin:$PATH export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/root/hadoop-2.6.4 export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_YARN_HOME=$HADOOP_HOME export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOOME/sbin:$HADOOP_HOME/lib export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export SPARK_HOME=/root/spark-1.6.1-bin-hadoop2.6 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin source /etc/profile
vim hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_71 export HADOOP_CONF_DIR=/root/hadoop-2.6.4/etc/hadoop/ source hadoop-env.sh
vim yarn-env.sh export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_71 source yarn-env.sh
vim spark-env.sh export SPARK_MASTER_IP=master export SPARK_MASTER_PORT=7077 export SPARK_WORKER_CORES=4 export SPARK_WORKER_MEMORY=4g export SPARK_WORKER_INSTANCES=2 export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_71 export SCALA_HOME=/opt/scala/scala-2.10.4 export HADOOP_HOME=/root/hadoop-2.6.4 source spark-env.sh
Spark和Hadoop均需要修改slaves
vim slaves slave1 slave2 slave3 slave4
Hadoop相关配置：
vim core-site.xmlhadoop.tmp.dir /root/hadoop-2.6.4/tmp fs.default.name hdfs://master:9000
vim hdfs-site.xmldfs.http.address master:50070 dfs.namenode.secondary.http-address master:50090 dfs.replication 1
vim mapred-site.xmlmapred.job.tracker master:9001 mapred.map.tasks 20 mapred.reduce.tasks 4 mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888
vim yarn-site.xmlyarn.resourcemanager.address master:8032 yarn.resourcemanager.scheduler.address master:8030 yarn.resourcemanager.webapp.address master:8088 yarn.resourcemanager.resource-tracker.address master:8031 yarn.resourcemanager.admin.address master:8033 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
配置完上述内容后，在master节点上将上述两个解压包分发到slave1~slave4节点上：
scp -r spark-1.6.1-bin-hadoop2.6 root@slave1:~/ scp -r hadoop-2.6.4 root@slave1:~/
注意ssh要提前配置好，Hadoop运行测试这里不再赘述，注意 jps命令查看状态
启动测试Spark
./sbin/start-all.sh
测试Spark自带的例子
./bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi /root/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar
测试Spark shell
./bin/spark-shell --master spark://master:7077
以上是“Spark1.6.1和Hadoop2.6.4完全分布式安装的示例分析”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！
