ubuntu 22.04 spark설치 - cloud engineer

Spark는 빅데이터 처리를 위한 강력한 분산 처리 엔진입니다. 이번 포스팅에서는 VM 1대의 환경에서 간단하게 Spark 싱글노드 구축방법을 단계별로 알아보겠습니다.

Contents

사전 준비

sudo apt update && sodu apt install -y default-jdk

sudo -i
mkdir -p /opt/spark

cd /opt/spark
wget https://dlcdn.apache.org/spark/spark-3.5.3/spark-3.5.3-bin-hadoop3.tgz
tar -xvf spark-3.5.3-bin-hadoop3.tgz

cd ~
vi .bashrc

맨 아래줄에 아래 코드 입력

SPARK_HOME=/opt/spark/spark-3.5.3-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/bin

저장 후 적용

source .bashrc

spark-shell