코딩복습장

DDPM을 리뷰해보려고 한다. 과정 자체는 정말 단순하다. 그런데 그 과정에 어떤 의미가 내포되어있는지 공부하는게 중요하다고 생각했다. forward과정은 $x_0$부터 시작하여 $x_T$까지 gaussian noise를 조금씩 더해가는 과정이다.T 시점에는 각 pixel이 가우시안 노이즈 분포를 따르게 된다. 각 분포는 평균이 이전 분포의 $1-\beta$의 제곱근 평태를 띄고 있는 것을 확인할 수 있는데, 이런 식으로 scaling한 이유는T시점에서 variance가 발산하지 않도록 만들기 위함이다. backward 과정은 이전에 추가했던 noise를 model을 통해 예측하여 걷어내는 과정이다. 따라서 $x_t$ 와 $t$가 주어졌을 때, 이전의 분포를 예측하는 과정이라고 볼 수 ..

오늘은 VAE에 대해서 리뷰해보려고 한다. variation auto encoder란, 압축된 이미지의 특징인 latent space에서 원본이미지를 복원할 수 있는 시스템이다. 기존에도 이미지를 압축했다가 원본으로 복원시키는 시스템인 Auto Encoder가 존재했다. 하지만 AE는 문제점을 가지고 있었는데, 너무 단순한 loss만을 사용했다는 문제점이 있었다. 보통 cross entropy나 MSE를 사용했다고 한다. -> reconstruction error만 사용한 것! 따라서 압축된 latent vector에 대해서 loss는 아무 영향을 끼치지 않는 것이다. 따라서 latent vector는 아무 가정도 없고 loss에 의해 어떤 분포로 변하게 될 지, 예상할 수 없다. 이를 irre..

You are given an integer array height of length n. There are n vertical lines drawn such that the two endpoints of the ith line are (i, 0) and (i, height[i]).Find two lines that together with the x-axis form a container, such that the container contains the most water.Return the maximum amount of water a container can store.Notice that you may not slant the container. Example 1:Input: height = [..

이번 과제는 Constrastive learning 중SimCLR을 구현해보는 과제이다. 이 형태에서 x에 대해 데이터 증강을 한 후, 같은 데이터이지만 서로 다른 augmentation을 한 데이터들의 similarity를 최소화하고 다른 데이터와의 거리를 최대화 하는 것이다. g는 projection을 하는 network이다. ef compute_train_transform(seed=123456): """ This function returns a composition of data augmentations to a single training image. Complete the following lines. Hint: look at available functions in to..