본문 바로가기

학습공간/데이터마이닝방법론2

(5)

[4주차] 딥 러닝 구조 (데이터 정규화) 딥 러닝의 오버피팅을 제어하는 데이터 정규화 딥 러닝(Deep Learning) 활용 시 거의 모든 함수가 표현 가능한 유연성이 있다. 하지만, 치명적인 단점으로 거론되는 오버피팅(Overfitting) 문제를 해결하기 위한, 다양한 정규화 기법들을 소개하도록 한다. ① Regularization (정규化, 정칙化) Neural Net 계열은 오버피팅의 문제가 정말 중요하다. 따라서, 매 Layer 를 거듭함으로써 요동치는(Vanishing, Exploding) parameter 제약을 걸어 오버피팅을 방지하도록 한다. 특히, 이미지의 경우 학습 데이터 형태가 한정적일 수 있는데 약간의 변화를 줌으로써 비 지도학습 기반의 데이터 증강(Data Augmentation) 모형을 같이 소개하도록 한다. • R..

[3주차] 딥 러닝 구조 (다층구조 활용) 딥 러닝을 활용한 다중 클래스 분류 딥 러닝(Deep Learning) 기초 개념인 MLP(Multi Layer Perceptron) 내용에 대해 학습하였다. 이제부터는 Hidden Layer 개수를 추가(L ≥ 2)하여 비선형 문제를 포함한 복잡한 함수를 표현할 수 있게 되었다. 이에 따라, 발생될 수 있는 오버 피팅을 정규화로 제어하고, 딥 러닝을 활용한 다중 클래스 분류(Multiclass Classification) 2 가지를 보도록 한다. ① Structure of MLP, (L=2) 본격적으로 머신 러닝의 한 부분인 딥 러닝 구조에 대해서 학습하고, 최적 파라미터에 접근하는 방법에 대해 알아보도록 한다. • Structure of Layers (input → hidden 1 → hidden 2..

[2주차] 대규모 기계학습 (최적화 방법론) 최적화 방법론 (Optimization) 볼록 최적화(Convex Optimization) 방법론이며, 다차원 공간에서의 대규모 기계학습을 위한 컨벡스 프로그래밍(Convex Programming for large-scale Machine Learning) 내용과 딥 러닝(Deep Learning) 기초 개념인 MLP(Multi Layer Perceptron) 내용에 대해 다룬다. ① 컨벡스 프로그래밍 - 예제 (SVM, multiclass SVM) 이제부터 최적화에 대해 조금 더 집중적으로 공부하도록 한다. 이에 앞서 데이터마이닝연구세미나 과목에서 다루었던 최적화의 개념과 KKT 조건, 라그랑주 승수법을 복습하고 컨벡스 프로그래밍 문제를 살펴보도록 한다. • 최적화 (Optimization) - SLT..

[1주차] 기계학습 기초 (수리통계 복습) 기계학습 기초 (지도학습 중심) 데이터마이닝방법론1 과목에서 다루었던 수리통계에 대해 복습한다. 1960년대 기점으로 일반 수리통계이론(MLE, CLT, LLN) 내용과 함께, 컴퓨터의 발달로 인한 데이터 기반의 고등 수리통계이론(SLT) 내용에 대해 다룬다. ① 1960년 이전 - MLE, CLT, LLN (3가지 툴로 모든 문제 해결) 이미 알고 있는 분포에 대하여 확률변수, 확률분포 그리고 샘플링 이론을 바탕으로 분포의 파라미터(평균, 분산, etc.)를 추정하고 테스트했었다. [Definition] 랜덤 샘플(Random Sample) {X₁,⋯,X𝑛} \[X₁,⋯,X𝑛 : {\color{Red}i.i.d\, \, \mbox{random varialbes }}from \begin{cases} & ..

[Intro] 데이터마이닝방법론2 학습공간 성균관대학교 산업공학과 석박사과정에서 다루는 데이터마이닝방법론이다. 데이터마이닝연구세미나 → 데이터마이닝방법론1 → 데이터마이닝방법론2 학습 순서의 3번째 단계에 해당된다. 1960년대 이후부터 컴퓨터가 발달하고 수집된 빅데이터 분석을 보면 기존 노말 분포는 잘 맞지 않으며 MLE 방법이 최선이 아님을 알게 되었다. 이에따라 데이터 분석에 대한 새로운 이론이 필요하게 되었으며 SLT 이론이 등장하게 되었다. 1. 데이터마이닝연구세미나 : 머신러닝 관련 기본수학인 선형대수학(Convex Analysis)과 최적화이론(Non-linear Programming)에 대해 다룬다. 여기서 선형대수학은 일반 수학과는 달리 n차원 공간에 대한 기하학적 구조에 대해 공부하며 그 이해도를 높이는데 초점이 있다. ※ n차..

이전 1 다음

티스토리툴바