- GFS(2003년)와 MapReduce(2004년 ) 논문을 보고, Doug Cutting과 Mike Cafarella가 이를 오픈소스로 구현
- 야후에서 프로젝트를 하던중 그 한부분으로 만듬, 이후 오픈소스로 공개(2006년)
- Hadoop: 아들의 코끼리 장난감의 이름을 따서 지음
- GFS, MapReduce와 유사한 구조 (Master + Slave들)
- GFS → HDGS, MapReduce → MapReduce
- name node가 데이터의 위치를 알려주는 역할, data node에서 실제 데이터를 조회하게 됨.
- Hive, Pig, Impala, Tez등이 나오면서 계속 발전함.
- 최근에는 Spark가 대세, MapReduce는 점점 사용하지 않음.