Module3. Machine Learning개론

Part1.  Introduction to Machine Learning

(1) What is Machine Learning?

• Improve on task T (classification, regression, detection...)
• with respect to performance metric P (error rate, accuracy, likelihood)
• based on experience E (data)

 

• Traditional programming

• Machine learning 

-> 학습된 알고리즘 사용

 

(2) Generalization 

• 기계학습의 가장 큰 목표 
• To build a statistical model of the process that generates the data
• 모든 경우에 대해 better한 machine learning algorithm은 없음, task에 따라 다름
• ML모델의 능력은 new unseen data에 대해 잘 작동하느냐에 달림 -> generalization 중요
• Universal set -> sampling (Training set-observed, Test set-unobserved)
• overfitting = poor generalization 
  • Underfitting : Generalization error < Training error
    -> 기본적으로 일어나지 않아야하는 현상 
  • Overfitting : Generalization error > Training error
    -> taining and test error 갭이 너무 클 때
    => 1. 기본적으로 training error 작게 만들기 2. training, test error gap 줄이기

 

(3) Types of Learning 

1. Supervised learning 
   : Training data includes desired outputs
2. Unsupervised learning  
   : Training data does not include desired outputs
   ex) clustering, anomaly detection, density estimation
3. Semi-supervised learning
   : Some of training data includes desired outputs
   ex) LU learning - learning with a small set of Labeled examples and a large set of Unlabeled examples)
   PU learning - learning with Positive and Unlabeled examples (특정 클래스에 대해서만 labeling)
   -> supervised, unsupervised 보다 더 정확한 boundary를 얻을 수 있음 
4. Reinforcement learning
   : No fixed dataset but an environment, Rewards from sequence of actions
   ex) action (바둑두기) -> environment -> reward, state -> 반복하며 알고리즘이 디테일 학습
   -> reward가 바로 이어지지 않으면 학습하기 어려움 => 학습방식 중 가장 어려움

---

Part2.  Bias and Variance

(1) Generalization Error

• Underfitting : Generalization error < Training error
  -> 기본적으로 일어나지 않아야하는 현상 
• Overfitting : Generalization error > Training error
  -> taining and test error 갭이 너무 클 때
  => 1. 기본적으로 training error 작게 만들기 2. training, test error gap 줄이기

 

(2) Model's capacity

-> overfitting의 경우보다 데이터가 간단할 확률이 더 높음 => 적절한 capacity를 찾아야 함

 

(3) Regularization 정규화 

• 목적 : to reduce its generalizatio error but not its training error
  -> traininge error 희생하고 원하는 pharameter 얻는 것
• 예시)

= > 적당한 모델 복잡도 

 

(4) Bias/Variance Decomposition 

• Bias : 예측의 평균값과 true값의 차이
• Variance : 예측값들의 거리 제곱 평균

http://scott.fortmann-roe.com/docs/BiasVariance.html

• Trade-off 관계 - Bias and Variance
  • Test error = Bias + Variance
  • 모델 복잡도 ↑ -> variance ↑, bias ↓
  • 보통 앙상블로 해결

 

(5) Overfitting vs Underfitting

• Overfitting
  • high variance
  • model calss unstable
  • model complexity↑
  • more training data -> variance↓
• Underfitting
  • high bias 
  • model calss has high error
  • low variance
  • model complexity↓
  • independent of training data size

---

Part3.  Recent Progress and Large Langauge Models

• GPT3 -> InstructGPT (GPT3.5) -> ChatGPT -> GPT4 
  
  • InstructGPT 핵심 : Reinforcement learning from human feedback (RLHF) -> LLM핵심기술
    => 지시 이해하고 응답 가능해짐
  • ChatGPT = InstructGPT + convesational UI
  • GPT4 - multimodal (image, text inputs), test on benchmarks
• Meta - LLaMA 
  • opne source로 저렴하게 다양한 언어모델 연구 가능해짐 
  •  GPT응답 공유 사이트 sample 학습 -> LLaMa 모델 fine tuning (Self instruct Tuning on LLaMA)

 

---

강의 내용 정리 : LG Aimers AI Essential Course - Module3. Machine Learning개론 by 서울대 김건희 교수님