| Table of Contents |
|---|
빅데이터의 시초 : GFS
- Google File System 논문 (2003년)
- 막대한 양의 웹 문서를 저장 조회해야 하는데, 컴퓨터 1대로는 당연히 처리가 불가능.
- 저렴한 하드웨어를 사용하면서, 대신 중복 저장을 통해 파일 유실을 방지.
- 파일을 새로 추가하는데 집중, 삭제나 파일 덮어쓰기는 어려움.
- Latency보다 Throughput을 중시
- 클러스터 댓수를 늘릴수록 저장용량과 throughput이 점점 올라감.
...
- 여러대의 Chunk Server에 중복저장
- Master를 통해 파일의 위치를 알아내고, Chunk Server에 직접 접속해서 데이터 전송받음
빅데이터의 시초 : MapReduce
- Google Reduce(2004 논문)
- 여러대의 분산 저장소에 존재하는 데이터를 변환하거나 계산하기 위한 프레임워크
- Functional Programming의 Map() 함수와 Reduce() 함수를 조합하여 효율적으로 분산 환경에서 다양한 계산을 함.
...