https://github.com/maxpumperla/elephas
Keras용 distributed learning...
어떻게 할까.
윈도우쪽에는 docker 를 통해 설치했다.
우선 elephas부터 설치해볼까.
거기엔 예제 코드가 딱 하나 있다. 그리고 끝.
왓 더 헬.
master - slave 설정에 대한 것은 Spark 가 다 알아서 해서 그럴 것이다.
그러면 Spark 공부를 해야 하겠네? 후 ㅋㅋㅋ;;;;
Spark은 Hadoop 위에 있고.
Hadoop은 구글의 Map-Reduce를 Apache가 구현한 구현체이고 (구글이 이하 자세한 것은 생략한다 라고 논문만 던져놓고 공개를 안 해서 cluster 시장에선 다른 구현체에 밀려 망했다, 클라우드도 대충 비슷한 경로로 아마존과 마이크로소프트에 밀렸다. 이를 잊지 않고 텐서플로우만큼은 일찍일찍 내놓아서 왕좌를 놓으려 하지 않을 것이다.)
그러면 Hadoop cluster부터 봐야할까 Spark cluster부터 봐야 할까. Spark 부터 봐야지 왜냐면 내가 건드리는 Pyspark 에 가까운 쪽이니까. Pyspark부터 보자.
pyspark master slave
로 구글 검색함. pyspark 자체는 도는 상태니까 일단 패스.
...
https://github.com/tensorflow/tensorflow/issues/17
더 알아보니 GPU 가속 안 됨. 패스하자.