파이썬으로 하는 데브옵스 - 15장 #1

이번 장은 데이터 엔지니어링에 대한 내용이다.

데이터 과학이 다른 진책으로 빠르게 확장하고 있음.
데이터 기술에 대한 수요는 매우 높으며 데브옵스에서 머신러닝, 커뮤니케이션에 이르기까지 다양함.
데이터 과학자라는 용어는 모호한 단어. 데이터 엔지니어링을 위한 데브옵스 기반 아이디어를 살펴볼 예정.

스몰 데이터
- 툴킷은 흥미로운 개념. 전문가를 부르면 내가 직접 하는 것보다 짧은 시간에 작업을 수행하게 해주는 독특한 툴 들을 가지고 있음. 전문가에게 툴은 필수이며 데브옵스도 마찬가지.
- 이후에 데이터 엔지니어링 툴의 개요를 설명. 
- 빅 데이터와 스몰 데이터를 쉽게 구별할 수 있는 방법 중 한 가지 : 랩톱 테스트. 랩톱에서 동작하는가 안 하는가가 기준이 될 수 있음.

스몰데이터 파일 다루기
- 파이썬의 특성 중 한 가지 : 끊임없는 언어 효율성 추구
- 활성 패턴의 한 예 : with 문을 사용해 파일을 읽고 쓰는 것. with 문은 작업 완료 후 파일 핸들을 닫는 사용구 부분 처리해줌.

파일 쓰기
- with문을 활용한 예제 소개

파일 읽기
- with 콘텍스트는 파일 읽기에도 권장

라인 읽기 및 처리를 위한 제너레이터 파이프라인
- 예제로 소개한 제너레이터는 라인 단위로 작업을 수행하는 파이프라인을 만드는 데 사용됨.
- 한 번에 한 라인만 처리하는데 필요한 메모리만 사용하므로 효율적임.
- 실제로 어떤 데이터를 찾으면 종료가 가능하기에 용량이 매우 큰 데이터에서도 검색이 용이할 수 있음. 찾으려는 데이터의 위치에 따라 성능은 달라질 수 있겠지만.

YAML 사용하기
- YAML은 데브옵스에 관련된 구성 파일의 새로운 표준이 되고 있음. 
- 내가 추정하기엔 docker 때문이 아닐까 싶음.
- yaml 모듈을 임포트 해서 yaml 파일의 간단한 입/출력 예제를 소개.