[pytorch, 파이토치] 모델의 parameter 학습 안하기

import torch import torch.nn as nn import torch.optim as optim model = … # 모델 정의 for param in model.parameters(): #모델의 모든 parameter 에 대한 gradient 추적 안하게함 param.requires_grad = False 위에 처럼 하면, 모델의 모든 parameter가 학습되지 않는다. 모델의 특정 모듈의 parameter만 업데이트 하고 싶지 않다면 아래와 같은 코드를 사용하자. for param in model.submodule.parameters(): … Read more

[pytorch] softmax(소프트맥스)에 temperature scaling 사용코드 구현

안녕하세요. 이번에는 softmax(소프트맥스)에 temperature scaling을 적용하는 것의 의미를 알려드리고 적용해보겠습니다.그리고 temperature scaling을 위한 softmax 함수를 구현해서 공유하겠습니다. softmax에 대해서는 이미 아신다는 것을 가정하고 설명을 드리겠습니다. 몰라도 이해는 가능할 것이에요. 그러면 temperature scaling을 이용한 softmax에 대해 알아보고 구현해 보도록 하겠습니다. [pytorch] softmax(소프트맥스)에 temperature scaling 사용코드 구현 이번글에서 다루게 될 내용은 아래와 같습니다. 차분히 알아보도록 하죠. 목차 softmax(소프트 맥스)란? softmax에서 temperature란? temperature … Read more

[Pytorch]파이토치, 파인튜닝 (Fine tuning)

딥러닝 모델 학습을 하다보면 이미 성능이 입증된 모델의 부분부분을 따와서 학습하고 싶을 때가 있다. 실제로도 이런 방식을 많이 사용한다. 성능 좋은 모델의 일부를 따와서 그곳의 일부 혹은 전체를 Freezing (동결)한담에 다른 task를 위한 layer 붙히고 학습하는 방법이 있다. 원리자체는 간단한데 이것을 코드로 실현하자고 하니 골치가 아팠다. 그렇지만 검색을 하다보니 파이토치를 이용해 파인튜닝을 하는 방법에 대해 … Read more