Amazing Story

1. 비모수 통계 (1) 모수의 정의 - 통계학에서 어떠한 시스템이나 함수의 특정한 성질을 나타내는 변수를 말한다. 일반적으로는 θ라고 표현되며, 다른 표시는 각각 독특한 뜻을 지닌다. - 함수의 수치를 정해진 변역에서 구하거나 시스템의 반응을 결정할 때는 독립변수는 변하지만 매개변수는 일정하다.- 다른 매개변수를 이용해 함수의 다른 수치를 다시 구하거나 시스템의 다른 반응을 볼 수도 있다. ※ 비모수 통계 및 모수통계에 대한 개념을 이해하면서 비모수통계적 방법론에는 어떤 것들이 있는 학습할 수 있도록 한다. (2) 비모수 통계의 개념 - 비모수 통계(Non-Parametric Statistics)는 통계학에서 모수에 대한 가정을 전제로 하지 않고 모집단의 형태에 관계없이 주어진 데이터에서 직접 확률을 ..

1. 앙상블 분석 (1) 앙상블 분석의 정의 앙상블(Ensemble) 기법은 동일한 학습 알고리즘을 사용해서 여러 모델을 학습하는 개념이다. ① 약학습기(약분류기, Weak Learner) : 무작위 선정이 아닌 성공확률이 높은, 즉 오차율이 일정 이하(50% 이하)인 학습 규칙을 말한다. 가능성 있는 다양한 복수의 학습 규칙이다. ② 강학습기(강분류기, Strong Learner) Weak Learner로부터 만들어내는 강력한 학습 규칙을 의미한다. (2) 앙상블 분석의 이해 동일한 학습 알고리즘을 이용할 때, 앙상블 분석이 한 개의 Single Learner에 의한 분석보다는 더 나은 분석성능을 이끌어낼 수 있다. 앙상블 기법은 다양한 Weak Learner를 통해 Strong Learner를 만들어..

1. 비정형 데이터 비정형 데이터(Unstructured-Data)는 데이터 세트가 아닌 하나의 데이터가 수집 데이터로 객체화 되어 있다. 언어 분석이 가능한 텍스트 데이터나 이미지, 동영상 같은 멀티미디어 데이터가 대표적인 비정형 데이터이다. - 웹에 존재하는 데이터의 경우 html 형태로 존재하여 반정형 데이터로 구분할 수도 있지만, 특정한 경우 텍스트 마이닝을 통해 데이터를 수집하는 경우도 존재하므로 명확한 구분은 어렵다. ① 데이터 수집의 난이도 ② 데이터 처리의 아키텍쳐 ③ 데이터의 잠재적 가치 2. 비정형 데이터 분석 ① 비정형 데이터의 분석의 기본 원리 - 비정형 데이터의 내용 파악과 비정형 데이터 속 패턴(pattern) 발견을 위해 데이터 마이닝, 텍스트 분석, 비표준 텍스트 분석 등과 ..

1. 딥러닝 분석 (1) 딥러닝 분석의 개념 ① 인공신경망(ANN : Artificial Neural Network) 인공신경망은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)을 통해 영감을 얻은 통계학적 학습 알고리즘이다. - 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다. - 인공신경망의 문제점 * 계산속도의 저하 * 초기치의 의존성 * 과적합 문제 ② 딥러닝(Deep Learning) 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계 학습 알고리즘의 집..

1. 베이즈 기법 (1) 베이즈 추론 베이즈 추론(베이지안 추론, Bayesian Inference)은 통계적 추론의 한 방법으로, 추론 대상의 사전 확률과 추가적인 정보를 통해 해당 대상의 사후 확률을 추론하는 방법이다. 베이즈 추론은 베이즈 확률론을 기반으로 하며, 이는 추론하는 대상을 확률변수로 보아 그 변수의 확률변수를 추정하는 것을 의미한다. ① 확률론적 의미해석(조건부 확률) ② 베이즈 기법의 개념 - 베이즈 확률에는 두 가지 시점이 있는데 그 하나는 객관적 관점으로 베이즈 통계의 법칙은 이성적, 보편적으로 증명될 수 있으며 논리의 확장으로 설명될 수 있다는 것이다. 한편 주관주의 확률 이론의 관점으로 보면 지식의 상태는 개인적인 믿음의 정도(Degree of Belief)로 측정할 수 있다...