엔하비스트

DIKW 피라미드는 데이터, 정보, 지식, 지혜의 계층구조를 의미한다. 제일 하단에 데이터를 기반으로, 데이터가 정보가 되고, 정보가 지식이 되어, 지식이 지혜로 이어짐으로써 데이터가 지혜의 원천이 될 수 있다는 의미를 지닌다. 구분 의미 지혜(Wisdom) 지식의 근본 원리를 바탕으로 도출된 창의적인 생각 지식(Knowledge) 정보를 바탕으로 예측한 결과 정보(Information) 데이터 중에 의미를 부여한 것 데이터(Data) 순수한 수치나 기호 등으로 표현된 모든 형태

과학/데이터분석 2022. 5. 19. 12:21

#절차 구조화 단계→시각화 단계→시각표현 단계 1. 구조화 단계 데이터를 시각화하는 목표를 설정하고 분석 결과를 토대로 표현 규칙과 패턴 탐색 시각화를 위한 요건을 정의한 뒤 사용자 별 시나리오를 작성하고 스토리 구성 세부단계 : 시각화 목표 설정, 데이터 표현 규칙과 패턴 탐색 및 도출, 시각화 요건 정의, 사용자 시나리오 시각화 스토리 작성 2. 시각화 단계 단순하고 명료한 메시지 전달을 위해 시각화 과정을 반복적으로 수행 구조화 단계에서 정의된 시각화 요건, 스토리를 기반으로 적절한 시각화 도구와 기술을 선택하여 정보를 만들어내는 단계 세부 단계 : 시각화 도구, 기술 선택, 시각화 구현 3. 시각표현 단계 시각화 단계에서 만들어진 결과물을 보정 정보표현을 위한 그래픽 요소를 반영하여 그래픽 품질을..

과학/데이터분석 2022. 4. 23. 22:19

1. 회귀 분석 개념 회기 분석은 하나 이상의 독립변수들이 종속변수에 미치는 영향을 추정할 수 있는 통계기법이며, 변수들 사이의 인과관계를 밝히고 모형을 적합(Fit)하여 관심 있는 변수를 예측하거나 추론하기 위한 분석 방법이다. 2. 로지스틱 회기 분석 로지스틱 회기 분석은 반응변수가 범주형인 경우 적용되는 회귀 분석 모형이며, 새로운 설명 변수의 값이 주어질 때 반응변수의 각 범주에 속할 확률이 얼마인지를 추정하여 추정 확률을 기준치에 따라 분류하는 목적으로 사용된다.

과학/데이터분석 2022. 4. 8. 23:57

데이로부터 가치를 추출하는 것은 표면으로 드러난 이야기들 속에서 내면의 비밀을 알아가는 과정이다. 표면으로 드러나는 것을 보통 데이터라고 부르며, 데이터 간의 관계나 의미가 발견되면 이를 정보라고 부른다. 또 이러한 정보들에서 규칙을 찾아 정의를 하면 '지식'이라고 부르고, 이러한 지식들을 바탕으로 확인된 근본적인 원리나 핵심을 지혜라고 부른다. 이를 일목요연하게 정리한 가장 유명한 모델은 Ackoff, R. L.이 도식화한 DIKW 피라미드이다. 지혜(Wisdom) 근본 원리에 대한 깊은 이해를 바탕으로 도출되는 창의적인 생각이나 통찰 지식(Knowledge) 다양한 정보들을 구조화하여 유의미한 정보로 분류하고 일반화시킨 결과물이나 규칙 정보(Information) 가공하고 처리하여 데이터 간의 연관관..

과학/데이터분석 2021. 9. 11. 22:55

1) 데이터 전처리의 중요성 전처리 결과가 분석 결과에 직접적인 영향을 주기 때문에 데이터 분석 과정에서 데이터 전처리는 반드시 거쳐야 하는 과정이다. 특히 데이터 분석의 단계 중 가장 많은 시간이 소요되는 단계가 데이터 수집과 전처리 단계이다. 대략 전체 업무의 80%가 소요된다. 데이터 전처리는 데이터 정제, 결측값 처리, 이상값 처리, 분석 변수 처리 순서로 진행된다. 2) 데이터 정제(Data Cleansing)의 개념 결측값을 채우거나 이상값을 제거하는 과정을 통해 데이터의 신뢰도를 높이는 작업이다. 3) 데이터 정제 절차 데이터의 정제 절차는 오류 원인 분석, 정제 대상 선정, 정제 방법 결정 순으로 진행된다. (1) 데이터 오류 원인 분석 : 원천 데이터의 오류로 인해서 발생하거나 빅데이터 ..

과학/데이터분석 2021. 8. 20. 23:59

비정형 데이터 분석 비정형 데이터 분석의 개념 비정형 데이터 안에서 체계적인 통계적 규칙이나 패턴을 탐색하고 이를 의미 있는 정보로 변환함으로써 의사결정에 활용하는 분석기법이다. 비정형 데이터 분석기법 대표적인 비정형 데이터 분석기법으로 텍스트마이닝, 오피니언 마이닝, 텍스트마이닝, 감성 분석, 사회연결망 분석 등이 있다. 텍스트 마이닝 개념 텍스트 마이닝은 텍스트 형태로 이루어진 비정형 데이터들을 자연어처리 방식을 이용해 정보를 만드는 기법이다. 보통 사람들이 말하는 언어를 자연어라고 하고, 반대로 0과 1의 이진법으로 만들어지는 언어를 기계어라고 한다. 텍스트마이닝 단계 텍스트마이닝 단계는 4단계다. 텍스트 수집 → 텍스트 의미 추출 → 텍스트 패턴 분석 → 정보 분석 텍스트마이닝 절차 텍스트마이닝의..

과학/데이터분석 2021. 7. 25. 23:46