본문 바로가기

반응형

학습공간

(76)

[4주차] Optimization Optimization 최적화란 말 그대로 최적의 해를 찾도록 하는 것이다. 어떠한 목적 함수에 대한 parameter(𝜽) 를 추정하는 Cost Function 𝐽(𝜽) 가 있다고 가정해보자. 우리가 이 비용 함수의 모양을 알 수 있다면, 초기 값을 어디로 잡을지와 어떤 방향으로 개선할지 알 수가 있다. 하지만, 다차원의 함수 모양을 알 수 없기 때문에 이를 해결하기 위한 다양한 최적화 기법을 다뤄보도록 한다. \[ 𝐽(𝜽) = \frac{1}{n} \sum \sideset{_{}^{}}{_{(x_i,y_i) ∈ D}}{} \, {L(y_i, f(x_i; 𝜽))} \] How to Optimize a given Cost Function? 먼저, 전통적인 최적화에 대한 개념과 머신 러닝에서의 최적화 개념..
[3주차] 딥 러닝 구조 (다층구조 활용) 딥 러닝을 활용한 다중 클래스 분류 딥 러닝(Deep Learning) 기초 개념인 MLP(Multi Layer Perceptron) 내용에 대해 학습하였다. 이제부터는 Hidden Layer 개수를 추가(L ≥ 2)하여 비선형 문제를 포함한 복잡한 함수를 표현할 수 있게 되었다. 이에 따라, 발생될 수 있는 오버 피팅을 정규화로 제어하고, 딥 러닝을 활용한 다중 클래스 분류(Multiclass Classification) 2 가지를 보도록 한다. ① Structure of MLP, (L=2) 본격적으로 머신 러닝의 한 부분인 딥 러닝 구조에 대해서 학습하고, 최적 파라미터에 접근하는 방법에 대해 알아보도록 한다. • Structure of Layers (input → hidden 1 → hidden 2..
[3주차] Deep Neural Networks Learning a Neural Networks 인간의 신경망 구조를 모사하여 학습하는 방법이다. Depth 가 깊어질수록 복잡한 모델을 표현 가능하게 하는 유연성을 지니고 있으나, 계산 비용이 비싸지고 복잡도가 커진다는 단점도 지니고 있다. 최근 한계점을 극복하는 방법론이 많이 등장하여 다시금 각광받게 된 Neural Networks(NN) 학습 방법에 대해 이야기하도록 한다. What is different from Machine Learning? NN 또는 DNN 으로도 불리는 통칭 딥 러닝은 기존 머신 러닝과 무엇이 다른가? 결론부터 이야기하면, 여러 층의 Hidden Layer 존재 유무로 딥 러닝이다, 아니다를 구분지을 수 있다. Hidden Layer 가 없다면, 정통 머신 러닝이라고 보아도..
[2주차] Machine Learning Basics Basic Concepts of “Learning” 지도 학습을 중심으로 머신 러닝에서의 데이터 학습에 대한 기본 개념들 및 학습한 모델에 대한 최적화(Optimization), 일반화(Generalization), 정규화(Regularization) 그리고 여러가지 알고리즘에 대해서 이야기하도록 한다. What is the Machine Learning? 지도 학습(Classification, Regression) 중심으로 머신 러닝에 대한 기초 개념 및 용어들을 나열하고 설명하도록 한다. - 기계 학습에 대한 정의 “A computer program is said to learn from experience E with respect to some class of task T and performan..
[1주차] Introduction to Deep Learning From AI to ML, DL: A Brief History 인공 지능(Artificial Intelligence, A.I.) 분야에서의 기계 학습(Machine Learning, M.L.) 기초 개념을 설명하고, 딥 러닝(Deep Learning, D.L.) 역사에 대해서 이야기하도록 한다. Machine Learning? Deep Learning? 대부분의 사람들은 해당 질문을 한다. 머신 러닝과 딥 러닝의 차이는 무엇인가? 최근 핫 키워드는 다음과 같다. #인공 지능, #기계 학습, #데이터 마이닝, #데이터 과학, #비즈니스 분석, #빅 데이터, #딥 러닝,… • 기존 개념의 부분 집합 또는 혼합된 용어 - 딥 러닝은 학습 데이터를 기반으로 한 광범위한 기계 학습 방법 제품군의 일부를 표현한 것..
[2주차] 대규모 기계학습 (최적화 방법론) 최적화 방법론 (Optimization) 볼록 최적화(Convex Optimization) 방법론이며, 다차원 공간에서의 대규모 기계학습을 위한 컨벡스 프로그래밍(Convex Programming for large-scale Machine Learning) 내용과 딥 러닝(Deep Learning) 기초 개념인 MLP(Multi Layer Perceptron) 내용에 대해 다룬다. ① 컨벡스 프로그래밍 - 예제 (SVM, multiclass SVM) 이제부터 최적화에 대해 조금 더 집중적으로 공부하도록 한다. 이에 앞서 데이터마이닝연구세미나 과목에서 다루었던 최적화의 개념과 KKT 조건, 라그랑주 승수법을 복습하고 컨벡스 프로그래밍 문제를 살펴보도록 한다. • 최적화 (Optimization) - SLT..
[선형대수] 벡터, 행렬, n 차원 구조 벡터, 행렬, n차원 구조 (선형대수) 데이터마이닝연구세미나 과목에서는 선형대수학(Linear Algebra) 및 벡터(Vectors) 학습을 통해 머신러닝에 필요한 볼록해석학(Convex Analysis) 및 최적화 이론(Nonlinear Programming)에 대해 다룬다. ① 선형대수학(Linear Algebra) for Machine Learning 머신러닝을 이해하기에 앞서 선형대수학의 연립방정식, 선형생성, 선형독립과 관련 된 내용을 학습한다. · 선형연립방정식 풀이(System of Linear Equations) - Tableau Form 1) A𝑥 = b (𝑛-columns, 𝑚-rows) 선형연립방정식의 해는 총 3가지의 형태가 나온다. (유일 해, 부정_일반해-해가무수히많다, 불능-..
[Intro] 데이터마이닝연구세미나 성균관대학교 산업공학과 석박사과정에서 다루는 데이터마이닝방법론이다. 데이터마이닝연구세미나 → 데이터마이닝방법론1 → 데이터마이닝방법론2 학습 순서의 1번째 단계에 해당된다. 1960년대 이후부터 컴퓨터가 발달하고 수집된 빅데이터 분석을 보면 기존 노말 분포는 잘 맞지 않으며 MLE 방법이 최선이 아님을 알게 되었다. 이에따라 데이터 분석에 대한 새로운 이론이 필요히게 되었으며 SLT 이론이 등장하게 되었다. 1. 데이터마이닝연구세미나 : 머신러닝 관련 기본수학인 선형대수학(Convex Analysis)과 최적화이론(Non-linear Programming)에 대해 다룬다. 여기서 선형대수학은 일반 수학과는 달리 n차원 공간에 대한 기하학적 구조에 대해 공부하며 그 이해도를 높이는데 초점이 있다. 데이터마..
반응형