Spark
윈도 10에 Spark 설치하는 법
타다키치
2018. 10. 9. 22:50
https://spark.apache.org/downloads.html 에서 스파크 최신 버전을 받는다.
-2.3.2, hadoop 2.7
root에 압축을 푼다.
SPARK_HOME을 추가한다.
(C:\Users\xxxxxxxx\spark-2.3.2-bin-hadoop2.7)
https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe 에서 파일을 받는다.
(https://medium.com/@dvainrub/how-to-install-apache-spark-2-x-in-your-pc-e2047246ffc3 참고)
파일을 스파크 디렉토리의 \bin에 넣는다.
HADOOP_HOME을 SPARK_HOME 과 똑같이 만든다.
%HADOOP_HOME%\bin 을 path에 추가한다.
콘솔을 관리자로 실행하고 winutils.exe chmod -R 777 c:\tmp\hive 을 실행하여 디렉토리 권한을 바꾼다.
winutils.exe ls -F D:\tmp\hive 로 권한을 확인한다.
drwxrwxrwx|