코딩복습장

모델 분류와 회귀분석을 위해 사용하는 머신이다. 두 카테고리 중 어느 하나에 속한 데이터 집합이 주어졌을 때, 주어진 데이터 집합을 바탕으로 새로운 데이터가 어느 카테고리에 속하는지 판단하는 비확률적 이진 선형 분류모델을 만드는 것을 말한다. SVM의 목표는 만들어진 분류모델이 데이터가 있는 공간에서 가장 큰 폭을 가진 경계를 찾도록 하는 것이다. 그림으로 봐야 이해할 수 있을 것 같다. 국물이 많고 고춧가루의 양이 많으면 짬뽕 , 반대면 짜장면이라고 하자. 어떤 이는 그 짜장면과 짬뽕사이의 여백이 가장 넓어지면(둘이 가장 떨어져 있으면(=margin최대화)) 그 둘을 가장 잘 분류했다고 생각할 것이다. 이러한 철학을 따라서 SVM은 "여백이 가장 넓어지는 저 빨간 선을 찾는 것"을 목표로 한..

오늘은 분류 모델 catBoost 알고리즘에 대해 간단하게 리뷰해보려고 한다. CatBoost는 범주형 변수로 이루어진 데이터셋에서 예측성능이 우수한 것으로 알려져있다. CatBoost는 이름에서 알 수 있듯 Boosting방식에 기반한 알고리즘이다. Boosting방식은 약한 분류기를 결합하여 강한 분류기를 만드는 알고리즘 인데, boosting알고리즘은 bias를 작게 만드는장점을 가지고 있다. 하지만 머신러닝에서는 bias-variance Tradeoff가 존재하기 때문에 bias를 작게 하면 그만큼 variance가 커지게 되어 오버피팅이 발생하게 된다. 그렇다면 catboost는 어떻게 boosting의 장점을 가져가면서 오버피팅을 방지할까? 살펴보자! CatBoost 알고리즘의 특징..

Lightgbm의 특징은 다음과 같다. 큰 특징은 빠르고 가볍게 동작을 하며 정확도도 높다는 것이다.대규모 데이터셋에서도 잘 작동한다는 특징이 있다. Lightgbm은 GOSS, EFB의 알고리즘을 사용하는 방식이다. 하나씩 살펴보자! Gradient-based One-Side Sampling (GOSS) GOSS는 데이터셋의 샘플 수를 줄이는 알고리즘이다. 기본 가정은 instance의 gradient가 클 수록 영향력이 크고 덜 학습된instance라는 것이다. instance의 gradient가 크다는 것은, 해당 instance를 구성하는 값들의 변화가 손실함수의 큰 변화를 가져올 수 있다는 것이다. Lightgbm은 이런 instance를 모델이 충분히 학습하지 못한 instance라고 보고 있..

xgboost는 Extreme Gradient Boost의 준말이며 그 정의는 다음과 같다. xgboost는 기존 gradient tree boosting 알고리즘에 과적합 방지를 위한 기법이 추가된 지도학습 알고리즘이다. xgboost는 base learner를 decision tree로 하며 gbm과 같이 residual을 이용하여 이전 모형의 약점을보완하는 방식으로 학습한다. xgboost는 과적합 방지를 위한 파라미터가 추가되어 있다. XGBoost 알고리즘 먼저 데이터 $(x_i, y_i)$가 있다고 해보자. 그리고 2차 미분이 가능한 손실함수 L이 있다고 하자. 개별 모형의 최대 개수를 M, 학습률 l, 그리고 파라미터 $/gamma, /lambda$를 설정한다. XGBoost 알고리..