...
- 여러대의 Chunk Server에 중복저장
- Master를 통해 파일의 위치를 알아내고, Chunk Server에 직접 접속해서 데이터 전송받음
빅데이터의 시초 : MapReduce
...
- Map() : A인 데이터를 B로 변환시키는 계산을 리스트에 대해 수행
- List(1,2,3).map(x=> x*2) // result: List(2,4,6)
- Reduce() : 리스트에 들어 있는 A, B, C를 특정 룰에 의해 합치는 작업
- List(1,2,3).reduce((a,b,) => a+b) // result
- Map()과 Reduce()를 조합하면 다양한 작업을 수행할 수 있음.
- Input 파일을 잘게 나눠서 여러 worker에서 나눠서 Map() 작업 수행
- 중간파일을 저장한후, 이를 병합해서 Reduce() 작업 실행
- Reduce()를 수행한 워커에서 각각의 결과물을 저장
...