데이터 수집과 전환 개요

데이터 수집은 데이터 처리 기술 중 하나다.

전체적인 데이터 처리 기술은 데이터 필터링, 데이터 변환, 데이터 정제, 데이터 통합, 데이터 축소가 있다.

기술	설명
데이터 필터링	정형 데이터는 사전 테스트로 오류 발견, 보정, 삭제, 중복성 검사와 같은 과정으로 필터링한다 비정형 데이터는 데이터 마이닝에 자연어처리, 기계학습과 같은 추가 기술을 적용하여 오류 데이터, 중복 데이터와 같은 저품질 데이터를 필터링한다 데ㅣ터 활용 목적에 맞지 않는 정보는 필터링하여 분석시간을 단축하고 저장공간을 효율적으로 활용한다
데이터 변환	다양한 형식으로 수집된 데이터를 분석하기 슆게 일관성 있는 형식으로 변환한다 데이터 변환엔ㄴ 평활화, 집계, 일반화, 정규화, 속성 생성 기술을 사용한다
데이터 정제	수집된 데이터의 불일치성을 교정하기 위한 방식으로 결측값 처리, 잡음(Noise) 처리 기술을 활용한다
데이터 통합	출처가 다른 상호 연관성이 있는 데이터들을 하나로 결합하는 기술 데이터 통합 시 같은 데이터가 입력될 수 있으므로 연관 관계 분석 등으로 중복데이터 검출 필요 데이터 통합 전/후 수치/통계 등 데이터값들이 일치할 수 있도록 검증
데이터 축소	분석에 불필요한 데이터를 축소하여 고유한 특성은 손상되지 않도록 하고 분석에 대한 효율성을 증대시킨다