목록Data Engineering/Spark (1)
내가 보려고 만든 블로그
<Spark Camp> 1주차 스파크 개요
패스트 캠퍼스에서 진행하는 Spark 강의를 듣게 되었다. 강의 내용을 그대로 요약하고 적는건 저작권 침해 일수도 있겠단 생각이 들어 매주 수업 들은내용에서 알게 된점과 느낀점 등을 나중에 떠올려 볼수 있게 간단하게 적어보려고 한다. 우선 강의를 시작하며 가장 좋았던 점은 실습환경을 강사님이 다 준비해주셨다. AWS에 emr 서비스가 아닌 4개의 인스턴스를 띄운 후 클러스터로 구성해주셨다. 그리고 클러스터안에 실습에 필요한 하둡, 스파크 ,제플린 등등을 설치를 다해주셨다. 꽤나 고생하셨겠단 생각이 든다. 준비해주신 클러스터에 ssh spark@ 를 통해 접속할 수 있었고 etc/hosts 에 ip와 name을 지정해두면 서버 네임으로 접속을 할 수 있었다. 스파크에 대해 설명해주신 것들을 인상..
Data Engineering/Spark
2021. 9. 11. 20:54