https://spark.apache.org/downloads.html 에서 스파크 최신 버전을 받는다.

-2.3.2, hadoop 2.7


root에 압축을 푼다.


SPARK_HOME을 추가한다.

(C:\Users\xxxxxxxx\spark-2.3.2-bin-hadoop2.7)


https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe 에서 파일을 받는다.

(https://medium.com/@dvainrub/how-to-install-apache-spark-2-x-in-your-pc-e2047246ffc3 참고)


파일을 스파크 디렉토리의 \bin에 넣는다.


HADOOP_HOME을 SPARK_HOME 과 똑같이 만든다.


%HADOOP_HOME%\bin 을 path에 추가한다.


콘솔을 관리자로 실행하고 winutils.exe chmod -R 777 c:\tmp\hive 을 실행하여 디렉토리 권한을 바꾼다.


winutils.exe ls -F D:\tmp\hive 로 권한을 확인한다.

drwxrwxrwx|

'Spark' 카테고리의 다른 글

카프카 로컬에서 사용하는 절차  (0) 2018.10.25
윈도우즈10에서 카프카 쓰는 절차  (0) 2018.10.24
Spark에서 은전한닢 불러오는 법  (0) 2018.10.11
Posted by 타다키치
,