SPARK 설치

Section 02. SPARK 설치

1. SPARK 설치

SPARK 설치 사이트 바로가기

해당 경로로 접속하여 원하는 버전의 spark 다운로드

2. python 설치

python 설치 사이트 바로가기

해당 경로로 접속하여 원하는 버전의 python 다운로드

3. java 설치

JDK 설치 사이트 바로가기

해당 경로로 접속하여 원하는 버전의 jdk 다운로드

4. 기본 셋팅

1. conf/log4j.properties 파일을 log4j.properties.template로 copy

2. 파일 수정

3. “log4j.rootCategory=INFO, console” 라인 찾아서 INFO -> WARN 으로 수정

   → 적은 로그로 출력하기 위함

4. ./bin/pyspark 실행후 테스트 해보기

lines =sc.textFile("README.md") 

lines.count() 

lines.first() 

pythonLines = lines.filter(lambda line : "Python" in line) 

pythonLines.first()

각 환경설정에 맞게 실행하는 것도 설정가능하다.