[Intro] 데이터마이닝방법론2 학습공간

성균관대학교 산업공학과 석박사과정에서 다루는 데이터마이닝방법론이다.

 

데이터마이닝연구세미나 → 데이터마이닝방법론1 → 데이터마이닝방법론2 학습 순서의 3번째 단계에 해당된다.

 

1960년대 이후부터 컴퓨터가 발달하고 수집된 빅데이터 분석을 보면 기존 노말 분포는 잘 맞지 않으며 MLE 방법이 최선이 아님을 알게 되었다. 이에따라 데이터 분석에 대한 새로운 이론이 필요하게 되었으며 SLT 이론이 등장하게 되었다.

 

1. 데이터마이닝연구세미나 : 머신러닝 관련 기본수학인 선형대수학(Convex Analysis)과 최적화이론(Non-linear Programming)에 대해 다룬다. 여기서 선형대수학은 일반 수학과는 달리 n차원 공간에 대한 기하학적 구조에 대해 공부하며 그 이해도를 높이는데 초점이 있다.

 

※ n차원 공간에 대한 기하학적 구조 학습

   1) 선형대수학(Linear Algebra)

   2) 볼록해석학(Convex Analysis)

   3) 비선형 프로그래밍(Nonlinear Programming)

 

2. 데이터마이닝방법론1 : 통계적 학습 이론(Statistical Learning Theory, 이하 SLT)에 대해 다룬다. 빅데이터를 처리하기위한 고등 수리통계이론이다. 머신러닝 개발을 위한 통계이론으로 머신러닝 모형의 기초이론을 제공한다. 100년 이상을 지배해온 일반 수리통계이론은 맞지 않으며, 향후 수리통계이론은 SLT 중심으로 재편되었다.

 

※ 일반 수리통계이론(CLT, LLN, MLE)

   1) 중심 극한 정리(Central Limit Theorem)

   2) 대수의 법칙(Law of Large Numbers)

   3) 최대 우도 추정법(Maximum Likelihood Estimator)

 

3. 데이터마이닝방법론2 : 머신러닝 모델을 푸는 최적화 알고리즘(Optimization of M/L 모델)에 대해 다룬다.

 

 • 기계학습(Machine Learning) 학문이란?

 ① 선형대수학(Linear Algebra) + ② 수리통계학(Mathematical Statistics) + ③ 최적화(Optimization)

 • 위 내용은 각각 아래의 수업에서 다루고 있으며, 해당 과목에서는 최적화 알고리즘 기법에 대해 다룰 예정이다.

 ① 데이터마이닝연구세미나 + ② 데이터마이닝방법론1 + ③ 데이터마이닝방법론2

 

데이터마이닝방법론2 목차는 다음과 같다.

 

- 과목명: 데이터마이닝방법론2

1주차) 기계학습 기초 [수리통계 복습]

2주차) 대규모 기계학습 [최적화 방법론]

3주차) Deep Learning 구조 [다층구조 활용]

4주차) Deep Learning 구조 [데이터 전처리]

5주차) Backpropagation [역전파, Error Fix]

6주차) Gradient Descent Method [경사/기울기 하강법, 편미분(임의의학습률)]

7주차) Newton Type Methods, Quasi-Newton Methods [1차:gradient, 2차:hessian 미분 (뉴턴/준뉴턴)] - Using All Data

8주차) - Midterms (30%) -

9주차) Stochastic Gradient Methods [SGD, 확률적 경사하강법] - Using Sub Data

10주차) Stochastic Quasi-Newton Methods [스토캐스틱 준뉴턴]

11주차) Mini-Batch Methods [미니배치]

12주차) Noise-Reduction Methods [노이즈 저감법]

13주차) Proximal Gradient Methods [근위 기울기 방법]

14주차) Proximal Newton Methods [세컨드 오더 방법]

15주차) - Finals (40%) -

 

최근에 나온 논문(Optimization Methods for Large-Scale Machine Learning - Bottou et al 2018) 중심으로 Deep Learning 모델(CNNs, RNNs, etc.)을 살펴보면서, Large Scale Machine Learning Optimization 기법 학습을 목표로 한다.

 

Contents - OPT ML 2018

1. Introduction - 기계학습 응용프로그램에 대한 최적화 알고리즘의 과거/현재/미래

2. Machine Learning Case Studies - 기계학습 최적화 기초

 2.1 Text Classification via Convex Optimization

 2.2 Perceptual Tasks via Deep Neural Networks

 2.3 Formal Machine Learning Procedure

3. Overview of Optimization Method - 최적화 방법론

 3.1 Formal Optimization Problem Statements

 3.2 Stochastic vs. Batch Optimization Methods

 3.3 Motivation for Stochastic Methods

 3.4 Beyond SG: Noise Reduction and Second-Order Methods

4. Analysis of Stochastic gradient Methods - SGD 방법론 분석

 4.1 Two Fundamental Lemmas

 4.2 SG for Strongly Convex Objectives

 4.3 SG for General Objectives

 4.4 Work Complexity for Large-Scale Learning

 4.5 Commentary

5. Noise Reduction Methods - 노이즈 저감법

 5.1 Reducing Noise at a Geometric Rate

 5.2 Dynamic Sample Size Methods

      5.2.1 Practical Implementation

 5.3 Gradient Aggregation

      5.3.1 SVRG

      5.3.2 SAGA

      5.3.3 Commentary

 5.4 Iterate Averaging Methods

6. Second-Order Methods - 세컨드 오더 방법

 6.1 Hessian-Free Inexact Newton Methods

      6.1.1 Subsampled Hessian-Free Newton Methods

      6.1.2 Dealing with Nonconvexity

 6.2 Stochastic Quasi-Newton Methods

      6.2.1 Deterministic to Stochastic

      6.2.2 Algorithms

 6.3 Gauss-Newton Methods

 6.4 Natural Gradient Method

 6.5 Methods that Employ Diagonal Scalings

7. Other Popular Methods - 기타 인기있는 방법론

 7.1 Gradient Methods with Momentum

 7.2 Accelerated Gradient Methods

 7.3 Coordinate Descent Methods

8. Methods for Regularized Models - 정규화된 모델의 방법론

 8.1 First-Order Methods for Generic Convex Regularizers

      8.1.1 Iterative Soft-Thresholding Algorithm (ISTA)

      8.1.2 Bound-Constrained Methods for ℓ₁-norm Regularized Problems

 8.2 Second-Order Methods

      8.2.1 Proximal Newton Methods

      8.2.2 Orthant-Based Methods

9. Summary and Perspectives - 요약 및 관점

A. Convexity and Analyses of SG - 볼록성과 SGD 분석

B. Proofs - 증명

 

 

산업인공지능과 제조빅데이터 분석의 알고리즘으로 활용할 수 있기를 기대해본다.

 

관련자료: Linear Algebra (Murty), Nonlinear Programming (Bazarra)

참고문헌: Optimization Methods for Large-Scale Machine Learning (Léon Bottou et al, 2018)