hadoop+hive+spark搭建,hadoop2.7.3平台怎么搭建spark2.1.1

科技资讯 投稿 4800 0 评论

hadoop+hive+spark搭建,hadoop2.7.3平台怎么搭建spark2.1.1

以下内容主要是针对遇上hadoop2.7.3平台怎么搭建spark2.1.1等问题,我们该怎么处理呢。下面这篇文章将为你提供一个解决思路,希望能帮你解决到相关问题。

1.准备环境

1.1 安装JDK:安装JDK1.8或以上版本,并设置环境变量,确保可以正确运行java命令。

1.2 安装Hadoop:下载Hadoop 2.7.3的安装包,解压到指定目录,并设置环境变量,确保可以正确运行hadoop命令。

2.安装Spark

2.1 下载Spark 2.1.1的安装包,解压到指定目录,并设置环境变量,确保可以正确运行spark命令。

2.2 修改spark配置文件:修改spark-env.sh文件,配置环境变量SPARK_HOME,并设置Hadoop的环境变量。


export SPARK_HOME=/usr/local/spark
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$SPARK_HOME/bin:$HADOOP_HOME/bin

3.启动Spark

3.1 启动Hadoop:使用hadoop命令启动Hadoop集群,确保Hadoop能够正常工作。


start-all.sh

3.2 启动Spark:使用spark命令启动Spark集群,确保Spark能够正常工作。


start-all.sh

3.3 测试:使用spark命令运行一个简单的spark程序,确保程序能够正常运行。


spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    /usr/local/spark/examples/jars/spark-examples_2.11-2.1.1.jar \
    10

总结

以上就是为你整理的hadoop2.7.3平台怎么搭建spark2.1.1全部内容,希望文章能够帮你解决相关问题,更多请关注本站相关栏目的其它相关文章!

编程笔记 » hadoop+hive+spark搭建,hadoop2.7.3平台怎么搭建spark2.1.1

赞同 (25) or 分享 (0)
游客 发表我的评论   换个身份
取消评论

表情
(0)个小伙伴在吐槽