파이썬으로 하는 데브옵스 - 15장 #2

빅데이터
- 데이터가 컴퓨터 처리 능력보다 빠른 속도로 증가 중.
- 빅데이터를 처리하는 새로운 방법 필요. 
- 시스템에 소프트웨어를 제공할 때 특별한 주의가 필요.
- 유행어의 한 가지 문제는 각 분야의 사람들마다 다른 의미를 갖는 것.
- 상황에 맞게 샘플링하여 데이터 관리

빅데이터 툴, 구성요소 및 플랫폼
- 빅데이터는 툴과 플랫폼으로 나누어 논의할 수 있음

데이터 소스
- 소셜 네트워크와 디지털 트랜잭션이 있음.
- 그 외에는 센서, 경량 칩 및 장치를 포함하는 사물 인터넷이 있음

파일 시스템
- 분산 작업을 처리하기에 충분한 디스크 I/O가 있는지 확인 필요
- 최신 툴 중 하나는 하둡 분산 파일 시스템. 여러 서버를 함께 클러스터링 하여 CPU, 디스크 I/O, 스토리지를 통합할 수 있게 해 줌.
- 그러므로 빅데이터 처리의 기본 기술이 됨.
- 네트워크 파일 시스템에 대해서도 알아두면 좋음.

데이터 스토리지
- 새로운 트렌드는 데이터 레이크의 개념을 활용하는 것.
- 보통 Amazon S3가 사용됨.
- RDBMS, Key/Value DB, 엘라스틱 서치 같은 검색 엔진 및 그래프 DB가 있음