본문 바로가기

반응형

전체 글

(108)

[5주차] Regularization Generalization 일반화는 정규화를 언급하기 전에 정의할 필요가 있다. 결국, 머신 러닝에서는 학습을 통해 모델을 만들고 새로운 데이터에 대해서 얼마나 성능을 발휘하는지 검증이 된다. 이것은 일반화 성능을 만족해야 하는 것이다. 그러나, 모델을 생성하는 데 있어서 사용된 학습 데이터가 너무 적거나 과하게 학습되어버리는 underfitting, overfitting 문제로 인해 일반화 성능을 만족하지 못하는 문제가 있다. 이에 따라, 정규화를 비롯한 다양한 기법을 통해 우리가 알지 못하는 새로운 데이터에서도 높은 성능을 발휘할 수 있도록 설계해야 한다. \[ \mbox{training dataset }𝐷 = \{(𝒙_1,𝑦_1),(𝒙_2,𝑦_2),…,(𝒙_𝑛,𝑦_𝑛)\} \, \mbox{is gi..
[4주차] Optimization Optimization 최적화란 말 그대로 최적의 해를 찾도록 하는 것이다. 어떠한 목적 함수에 대한 parameter(𝜽) 를 추정하는 Cost Function 𝐽(𝜽) 가 있다고 가정해보자. 우리가 이 비용 함수의 모양을 알 수 있다면, 초기 값을 어디로 잡을지와 어떤 방향으로 개선할지 알 수가 있다. 하지만, 다차원의 함수 모양을 알 수 없기 때문에 이를 해결하기 위한 다양한 최적화 기법을 다뤄보도록 한다. \[ 𝐽(𝜽) = \frac{1}{n} \sum \sideset{_{}^{}}{_{(x_i,y_i) ∈ D}}{} \, {L(y_i, f(x_i; 𝜽))} \] How to Optimize a given Cost Function? 먼저, 전통적인 최적화에 대한 개념과 머신 러닝에서의 최적화 개념..
[3주차] 딥 러닝 구조 (다층구조 활용) 딥 러닝을 활용한 다중 클래스 분류 딥 러닝(Deep Learning) 기초 개념인 MLP(Multi Layer Perceptron) 내용에 대해 학습하였다. 이제부터는 Hidden Layer 개수를 추가(L ≥ 2)하여 비선형 문제를 포함한 복잡한 함수를 표현할 수 있게 되었다. 이에 따라, 발생될 수 있는 오버 피팅을 정규화로 제어하고, 딥 러닝을 활용한 다중 클래스 분류(Multiclass Classification) 2 가지를 보도록 한다. ① Structure of MLP, (L=2) 본격적으로 머신 러닝의 한 부분인 딥 러닝 구조에 대해서 학습하고, 최적 파라미터에 접근하는 방법에 대해 알아보도록 한다. • Structure of Layers (input → hidden 1 → hidden 2..
[3주차] Deep Neural Networks Learning a Neural Networks 인간의 신경망 구조를 모사하여 학습하는 방법이다. Depth 가 깊어질수록 복잡한 모델을 표현 가능하게 하는 유연성을 지니고 있으나, 계산 비용이 비싸지고 복잡도가 커진다는 단점도 지니고 있다. 최근 한계점을 극복하는 방법론이 많이 등장하여 다시금 각광받게 된 Neural Networks(NN) 학습 방법에 대해 이야기하도록 한다. What is different from Machine Learning? NN 또는 DNN 으로도 불리는 통칭 딥 러닝은 기존 머신 러닝과 무엇이 다른가? 결론부터 이야기하면, 여러 층의 Hidden Layer 존재 유무로 딥 러닝이다, 아니다를 구분지을 수 있다. Hidden Layer 가 없다면, 정통 머신 러닝이라고 보아도..
[2주차] Machine Learning Basics Basic Concepts of “Learning” 지도 학습을 중심으로 머신 러닝에서의 데이터 학습에 대한 기본 개념들 및 학습한 모델에 대한 최적화(Optimization), 일반화(Generalization), 정규화(Regularization) 그리고 여러가지 알고리즘에 대해서 이야기하도록 한다. What is the Machine Learning? 지도 학습(Classification, Regression) 중심으로 머신 러닝에 대한 기초 개념 및 용어들을 나열하고 설명하도록 한다. - 기계 학습에 대한 정의 “A computer program is said to learn from experience E with respect to some class of task T and performan..
[1주차] Introduction to Deep Learning From AI to ML, DL: A Brief History 인공 지능(Artificial Intelligence, A.I.) 분야에서의 기계 학습(Machine Learning, M.L.) 기초 개념을 설명하고, 딥 러닝(Deep Learning, D.L.) 역사에 대해서 이야기하도록 한다. Machine Learning? Deep Learning? 대부분의 사람들은 해당 질문을 한다. 머신 러닝과 딥 러닝의 차이는 무엇인가? 최근 핫 키워드는 다음과 같다. #인공 지능, #기계 학습, #데이터 마이닝, #데이터 과학, #비즈니스 분석, #빅 데이터, #딥 러닝,… • 기존 개념의 부분 집합 또는 혼합된 용어 - 딥 러닝은 학습 데이터를 기반으로 한 광범위한 기계 학습 방법 제품군의 일부를 표현한 것..
[2주차] 대규모 기계학습 (최적화 방법론) 최적화 방법론 (Optimization) 볼록 최적화(Convex Optimization) 방법론이며, 다차원 공간에서의 대규모 기계학습을 위한 컨벡스 프로그래밍(Convex Programming for large-scale Machine Learning) 내용과 딥 러닝(Deep Learning) 기초 개념인 MLP(Multi Layer Perceptron) 내용에 대해 다룬다. ① 컨벡스 프로그래밍 - 예제 (SVM, multiclass SVM) 이제부터 최적화에 대해 조금 더 집중적으로 공부하도록 한다. 이에 앞서 데이터마이닝연구세미나 과목에서 다루었던 최적화의 개념과 KKT 조건, 라그랑주 승수법을 복습하고 컨벡스 프로그래밍 문제를 살펴보도록 한다. • 최적화 (Optimization) - SLT..
[선형대수] 벡터, 행렬, n 차원 구조 벡터, 행렬, n차원 구조 (선형대수) 데이터마이닝연구세미나 과목에서는 선형대수학(Linear Algebra) 및 벡터(Vectors) 학습을 통해 머신러닝에 필요한 볼록해석학(Convex Analysis) 및 최적화 이론(Nonlinear Programming)에 대해 다룬다. ① 선형대수학(Linear Algebra) for Machine Learning 머신러닝을 이해하기에 앞서 선형대수학의 연립방정식, 선형생성, 선형독립과 관련 된 내용을 학습한다. · 선형연립방정식 풀이(System of Linear Equations) - Tableau Form 1) A𝑥 = b (𝑛-columns, 𝑚-rows) 선형연립방정식의 해는 총 3가지의 형태가 나온다. (유일 해, 부정_일반해-해가무수히많다, 불능-..
반응형