how to install apache spark on ubuntu ( 우분투에서 spark 설치 )


how to install apache spark on ubuntu ( 우분투에서 spark 설치 )

ubuntu 18 에서 apache spark 을 설치해서 구동해 봅시다. ( 일단 python 으로 프로그래밍하는 전제로 환경설정을 하며, yarn 등은 이용하지 않고 단일 모드로 구동합니다. ) 저는 AWS 에서 EC2 - ubuntu 18 을 사용했습니다. ( cpu 2 + mem 4 GB ) 프리티어용 인스턴스를 사용하면 spark 설치하고 구동하다보면 메모리 부족해서 시스템이 죽어버리네요. 넉넉하게(?) 4 GB 인스턴스를 구동합니다. ( 시간당 0.1 달러 정도 비용이 드니 안쓸때는 중단하세요 ) 아래처럼 apt-get update & upgrade 하고 python3 및 python3용 pip도 설치합니다. 나중에 통계 그래프를 그리기 위해 matplotlib 도 미리 설치합니다. $ sudo apt-get update $ sudo apt-get upgrade $ sudo apt-get python3 $ sudo apt-get install python3-pip $ pi...


#하둡 #스파크 #pyspark #spark #스파크설치 #설치 #ubuntu #jupyter #install #hadoop #spark_install #우분투

원문링크 : how to install apache spark on ubuntu ( 우분투에서 spark 설치 )