라자루스의 개발 이야기

1. 윈도에서 bash shell을 쓸 수 있게 한다.

2. https://kafka.apache.org/quickstart 따라한다. 폴더에 windows 용 파일이 따로 있음

-스파크의 스칼라 버전은 2.11이므로 은전한닢도 이 버전에 맞게 불러와야 한다: 1.3.1

-스파크에는 이미 SLF4J가 있으므로 은전에 있는 것은 불러오지 않는다.

sbt에 다음을 추가:

libraryDependencies ~= { _.map(_.exclude("org.slf4j", "slf4j-jdk14")) }

https://spark.apache.org/downloads.html 에서 스파크 최신 버전을 받는다.

-2.3.2, hadoop 2.7

root에 압축을 푼다.

SPARK_HOME을 추가한다.

(C:\Users\xxxxxxxx\spark-2.3.2-bin-hadoop2.7)

https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe 에서 파일을 받는다.

(https://medium.com/@dvainrub/how-to-install-apache-spark-2-x-in-your-pc-e2047246ffc3 참고)

파일을 스파크 디렉토리의 \bin에 넣는다.

HADOOP_HOME을 SPARK_HOME 과 똑같이 만든다.

%HADOOP_HOME%\bin 을 path에 추가한다.

콘솔을 관리자로 실행하고 winutils.exe chmod -R 777 c:\tmp\hive 을 실행하여 디렉토리 권한을 바꾼다.

winutils.exe ls -F D:\tmp\hive 로 권한을 확인한다.

drwxrwxrwx|