• Apache Spark가 계속 힘을 얻을 것
  • 강령한 성능과 좋은 인터페이스, 확장성
  • 수많은 사용자와 개발자
• 오픈소스 커뮤니티는 사람들이 원하는대로 발전해 나아감(민주적)
  • 최근 머신러닝에 대한 큰 관심
  • 오픈소스 기반 데이터 제품들도 머신러닝 관련 지원이 대폭 강화되는 중
  • 예: 알고리즘이 대폭 보강된 Spark ML, Tensorflow on Spark 프로젝트 등

Apache Data Project Github Stars

Apache Data Project Github contributers

정리

• 빅데이터 분석의 시초는 GFS(2003), MapReduce(2004)논문에서 시작
• Hadoop(2006)이 탄생하며 계속해서 발전
• HBase등의 분산 데이터베이스들이 널리 사용중
• 중간에 다양한 프로젝트들이 싱겼으며, 현재는 Spark로 수렴 중