在CentOS 8上安装Apache Spark

步骤1.首先，让我们首先确保您的系统是最新的并安装所有必需的依赖项。

sudo dnf install epel-release
sudo dnf update

步骤2.安装Java。

上一篇文章介绍了本文中的Java安装。然后，通过以下命令行签出Java版本：

java -version

步骤3.安装Scala。

Apache Spark是用Scala编程语言实现的，因此我们必须安装Scala才能运行Apache Spark，因此我们只需要确保存在Java和Python：

wget https://www.scala-lang.org/files/archive/scala-2.13.4.tgz
tar xvf scala-2.13.4.tgz
sudo mv scala-2.13.4 /usr/lib
sudo ln -s /usr/lib/scala-2.13.4 /usr/lib/scala
export PATH=$PATH:/usr/lib/scala/bin

安装完成后，检查scala版本：

scala -version

步骤4.在CentOS上安装Apache Spark 8。

现在，我们从官方来源下载最新版本的Apache Spark：

wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz
tar -xzf spark-3.0.1-bin-hadoop2.7.tgz
export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

在启动spark之前，请设置一些环境变量：

echo \'export PATH=$PATH:/usr/lib/scala/bin\' >> .bash_profile
echo \'export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7\' >> .bash_profile
echo \'export PATH=$PATH:$SPARK_HOME/bin\' >> .bash_profile

独立的Spark集群可以手动启动，即在每个节点上执行启动脚本，也可以简单地使用可用的启动脚本。为了进行测试，我们可以在同一台机器上运行主守护程序和从守护程序：

./sbin/start-master.sh

步骤5.为Apache Spark配置防火墙。

运行以下命令以打开防火墙上的端口：

sudo firewall-cmd --permanent --zone=public --add-port=7077/tcp
sudo firewall-cmd --reload

步骤6.访问Apache Spark Web界面。

默认情况下，Apache Spark将在HTTP端口7077上可用。打开您喜欢的浏览器，然后浏览至或完成所需的步骤以完成安装。http://your-domain.com:7077http://server-ip-address:7077

恭喜你！您已经成功安装了Apache Spark。使用本教程在CentOS 8系统上安装Apache Spark开源框架。有关其他帮助或有用信息，我们建议您检查Apache Spark官方网站。