[빅데이터] 빅데이터 기초: 개념, 동인, 기법 (제 7장 정리)

제 7장 빅데이터 저장 기술

온디스크 저장 장치

온디스크 저장 장치는 일반적으로 장기간 저장을 위해 저렴한 하드 디스크 드라이브를 사용한다.

분산 파일 시스템

분산 파일 시스템은 저장되는 데이터에 대해 종속적이지 않으므로 스키마가 없는 데이터 저장소를 지원한다. 일반적으로 복제를 통해 데이터를 여러 위치에 복사하여 중복성 및 높은 가용성을 제공한다.

반정형 및 비 정형 데이터와 같은 데이터 세트를 저장할 수 있다.

관계형 데이터베이스 관리 시스템

관계형 데이터베이스 관리 시스템(Relational Database Management System, RDBMS) 은 임의의 읽기/쓰기 특성을 사용하여 소량의 데이터가 포함된 트랙잭션 작업부하를 처리하는 데 적합하다. ACID 를 준수하며, 일반적으로 단일노드로 제한되어 표준적인 이중화 및 결함 포용성을 제공하지 않는다.

NoSQL 데이터베이스

확장성 및 결함 포용성이 뛰어난 차세대 비관계형 데이터베이스를 개발하는 데 사용되는 기술

<특징>

• 스키마리스 데이터 모델
• 수직적 확장보다 수평적 확장 선호
• 고가용성
• 운영 비용 절감
• 궁극적 일관성
• ACID 보다 BASE 선호
• API 기반 데이터 접근
• 자동 샤딩 및 복제
• 통합 캐싱
• 분산 쿼리 지원
• 다언어 지속성
• 집계 중심

<이유>

• 크기 : 저가형 범용 서버를 사용하며 확장기능을 제공함
• 속도 : 스키마를 쓰는 것이 아니라 읽는 방식으로 사용하여 빠른 쓰기가 가능
• 다양성 : 스키마가 없는 불완전한 데이터를 저장 가능

<타입>

• 키-값 : 데이터를 키-값 쌍으로 저장하고, 해시테이블 처럼 작동한다.
• 문서 : 데이터를 키-값으로 저장하나, 저장된 값은 데이터베이스에서 쿼리할 수 있는 문서이다.
• 칼럼-패밀리 : RDBMS 처럼 데이터를 저장하지만, 관련 열을 함께 그룹화 하여 칼럼-패밀리를 생성한다.
• 그래프 : 상호 연결된 개체를 지속시키는 데 사용된다. 개체의 구조보다 개체간의 관계를 저장하는 데 중점을 둔다.

NewSQL 저장 장치

RDBMS 의 ACID 속성 + NoSQL 의 확장성, 결함 포용성을 모두 지닌다. 일반적으로 데이터 정의 및 데이터 정제 작업을 위해 SQL 호화 구문을 지원하며 데이터 저장을 위해 논리적 관계형 데이터 모델을 사용한다.

---

인메모리 저장 장치

인메모리 저장 장치는 빠른 데이터 접근을 제공하기 위한 저장 매체로서, 컴퓨터의 메인 메모리인 RAM 을 사용한다. 데이터 읽기/쓰기 대기 시간을 전반적으로 줄여 데이터 처리가 훨씬 빨라진다.

인메모리 데이터 그리드

인메모리 데이터 그리드(IMDG)는 여러 노드의 정보를 키-값 쌍 형태의 데이터로 메모리에 저장하는데, 이때 키와 값은 일련화된 형태의 비즈니스 객체 또는 응용 프로그램 데이터가 될 수 있다. 노드의 지속적인 동기화를 통해 가용성, 결합 포용성 및 일관성을 제공할 수 있다.

접근 방식

• read-through 접근법
• write-through 접근법
• write-behind 접근법
• refresh-ahead 접근법

인메모리 데이터베이스

인메모리 데이터베이스(IMDB)는 데이터베이스 기술과 RAM 성능을 활용하여 런타임 시간 문제를 극복할 수 있는 인메모리 저장 장치이다.