코딩복습장

이번 포스팅에서는 Dropout과 Batch Normalization에 대해서 소개하려고 한다.  포스팅 시작~! 🔹 Dropout  Dropout은 Overfitting을 막는 방식 중에 하나이다.  Dropout은 일정확률 (0~1)에 따라 노드간의 연결을 끊는 방법이다.  왜 끊을까?  학습시에 연결을 random하게 끊음으로써, 하나의 node에 의존하여 학습하는 것을 방지하여 모든 node를 사용하여 추론하도록 유도하는 것이다.  그런데 이게 왜 Overfitting에 도움이 되는지 근본적인 이해가 되지 않았다.  그래서 나의 생각을 정리해보았다. 이렇게 하나의 node에 의존하지 않고 잘 학습된 node들을 모두 연결하여 사용한다면, 이는 같은 데이터를 여러 모델에 넣어서 나온 결과값을 평균..

이번 시간에는 Underfitting과 Overfitting 그리고 대응방안에 대해 알아볼 것이다.   우선 우리는 국경을 그리는 문제를 생각해볼 것이다.  case 1을 살펴보자  우리는 간단하게 직선으로 국경을 나누는 방식을 생각해볼 수 있다.  하지만 국경이 잘 나뉘어졌다고는 볼 수 없을 것이다.  case2 이번에는 나라들이 완벽하게 분리되도록 선을 그었다.  물론 분류는 완벽하게 되었지만 과연 잘 분류했다고 볼 수 있을까?  아닐 것이다.  몇개의 다른 좌표를 지정했을때 분류가 틀릴 가능성이 높을 것이다. -> 일반화 실패 case 3 이번에는 어느정도 국경을 잘 분리함과 동시에 일반화를 챙겼다.  다른 데이터가 들어와도 대부분 맞출 것이다. 이때 case1을 underfitting되었다고 하고..

자 샤논 엔트로피를 검색해보자 일반적으로 엔트로피는 무질서도 또는 불확실성을 가리킨다. 섀넌 엔트로피의 개념은 클로드 섀넌이 자신의 1948년 논문 "수학적 통신 이론"에서 도입하였다.[1] 섀넌 엔트로피는 정보 소스(source)를 무손실 인코딩 또는 압축할 때 가능한 최상의 평균 길이의 절대적 한계치를 제공해준다 출처는 나무위키다. 정말 무슨 소리인지 하나도 모르겠다. 그래서 정리를 시작했다... 샤논은 정보를 bits라는 것으로 표현했는데 이는 0, 1로 표시한다는 뜻이다. 위의 가능한 최상의 평균 길이의 절대적 한계치란 가장 효율적으로 즉 가장 짧은 길이의 bits로 정보를 무손실 인코딩 (압축)한 경우를 말하는 것이다. 예를 들어보자! 내가 교수님께 하트를 보낼 확률을 p(x1)라고 하자 내가 ..

이번에는 lstm을 사용해서 스팸메일을 분류해보려고 한다. 데이터의 정보를 불러오자 dataframe의 shape는 (5572, 5)라는 것을 알 수 있다. 여기서 Unnamed: 2, Unnamed: 3, Unnamed: 4 는 모두 삭제해야될 column들이다. v1의 ham은 스펨메일이 아님 spam은 스팸메일이라는 뜻이다. 우선 lstm에 데이터를 넣기 전에 data를 분류해야 된다. 나는 train_data, val_data, test_data(훈련 데이터, 검증 데이터, 테스트 데이터) 이렇게 3가지로 데이터를 나눌 것이다. import pandas as pd import numpy as np import torch from torch.utils.data import Dataset, DataL..