3. 데이터 입출력 구현 (정보처리기사 실기)

01 논리데이터 저장소 확인

▶ 데이터 모델

현실 세계의 정보를 인간과 컴퓨터가 이해할 수 있도록 추상화하여 표현한 모델

 

▶ 데이터 모델 절차

개념적 데이터 모델 -> 논리적 데이터 모델 -> 물리적 데이터 모델

 

▶ 논리적 데이터 모델 종류

⦁  관계 데이터 모델 : 테이블

⦁  계층 데이터 모델 : 트리

⦁  네트워크 데이터 모델 : 그래프, 망

 

▶ 관계 대수 : 원하는 정보와 그 정보를 어떻게 유도하는가를 기술하는 절차적 정형 언어

⦁  일반 집합 연산자 : 합집합, 교집합, 차집합, 카티션 프로덕트

⦁  순수 관계 연산자 : 셀렉트, 프로젝트, 조인, 디비전

 

▶ 관계 해석 : 튜플 관계 해석과 도메인 관계 해석을 하는 비절차적 언어

 

▶ 정규화(Normalization)

데이터의 중복성을 제거해 이상현상을 방지하고, 데이터의 일관성과 정확성을 유지하기 위해 무손실 분해하는 과정

 

▶ 정규화 단계

1NF : 도메인이 원자값

2NF : 부분함수 종속 제거

3NF : 이행함수 종속 제거

BCNF : 결정자 함수이면서 후보키 아닌 것 제거

4NF : 다치 종속 제거

5NF : 조인 종속 제거

 

▶ 이상 현상(Anomaly)

데이터의 중복성으로 인해 릴레이션을 조작할 때 발생하는 비합리적인 현상

⦁  삽입 이상, 삭제 이상, 갱신 이상

 

▶ 반 정규화(De-Normalization)

정규화 된 엔티티, 속성, 관계에 대해 성능 향상과 개발 운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 과정

 

 

02 물리 데이터 저장소 설계

▶ 참조무결성 제약조건

참조하는 외래키의 값은 항상 참조되는 릴레이션에 기본키로 존재해야한다.

⦁  제한(RESTRICT), 연쇄(CASCADE), 널값(SET NULL)

 

▶ 파티션(Partition)의 종류

⦁  레인지(Range) 파티셔닝 : 연속적인 숫자나 날짜 기준

⦁  해시(Hash) 파티셔닝 : 파티션 키의 해시 함수 값

⦁  리스트(List) 파티셔닝 : 특정 파티션에 저장 될 데이터에 대한 명시적 제어 가능

⦁  컴포지트(Composite) 파티셔닝 : 레인지, 해시, 리스트 중 2개 이상의 파티셔닝 결합

 

 

03 데이터베이스 기초 활용하기

▶ 데이터베이스의 정의

⦁  통합된 데이터 : 자료의 중복을 배제한 데이터의 모임

⦁  저장된 데이터 : 저장 매체에 저장된 데이터

⦁  운영 데이터 : 조직의 업무를 수행하는 데 필요한 데이터

⦁  공용 데이터 : 여러 어플리케이션, 시스템들이 공동으로 사용하는 데이터

 

▶ 데이터베이스 특성

실시간 접근성, 계속적인 변화, 동시 공용, 내용 참조

 

▶ DBMS, NoSQL 유형

Key-Value Store , Column Family Data Store , Document Store, Graph Store - 시맨틱 웹과 온톨로지 분야에서 활용

 

▶ 빅데이터

시스템, 서비스, 조직 등에서 주어진 비용, 시간 내에 처리가 가능한 수십 페타바이트 크기의 비정형 데이터

* HDFS : 대용량의 데이터의 집합을 처리하는 응용 프로그램에 적합하도록 설계된 하둡 분산 파일 시스템

맵 리듀스(Map Reduce) : 구글에서 대용량 데이터 처리를 분산 병렬 컴퓨팅 처리하기 위한 목적으로 제작해 2004년에 발표한 소프트 프레임 워크

 

▶ NoSQL

전통적인 RDBMS와 다른 DBMS를 지칭하기 위한 용어, 데이터 저장에 고정된 테이블 스키마가 필요하지 않고 조인 연산을 사용할 수 없으며, 수평적으로 확장이 가능한 DBMS

 

▶ NoSQL의 특성(BASE)

⦁  Basically Available : 언제든지 데이터는 접근할 수 있어야하는 속성

⦁  Soft-State : 노드의 상태는 외부에서 전송된 정보를 통해 결정되는 속성

⦁  Eventually Consistency : 일정 시간이 지나면 데이터의 일관성이 유지

 

▶ 시맨틱 웹(Semantic Web)

기계가 이해할 수 있는 온톨로지 형태로 표현하고 자동화된 기계가 처리하도록 하는 지능형 웹

 

▶ 온톨로지(Ontology)

실세계에 존재하는 모든 개념들과 개념들의 속성, 개념들 간의 관계 정보를 컴퓨터가 이해할 수 있도록 서술해 놓은 지식베이스

 

▶ 데이터 마이닝(Data Minning)

대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아내는 기술

 

▶ 데이터 마이닝의 주요 기법

⦁  분류 규칙 : 과거 데이터로부터 특성을 찾아내어 분류모형을 만들어 결과 값 예측

⦁  연관 규칙 : 데이터 안에 존재하는 항목들 간의 종속관계를 찾아내는 기법

⦁  연속 규칙 : 연관 규칙에 시간 관련 정보가 포함된 형태의 기법

⦁  데이터 군집화 : 대상 레코드들을 유사한 특성을 지는 몇 개의 소그룹으로 분할하는 작업