파이토치 (pytorch)

안녕하세요. 이번에는 softmax(소프트맥스)에 temperature scaling을 적용하는 것의 의미를 알려드리고 적용해보겠습니다.그리고 temperature scaling을 위한 softmax 함수를 구현해서 공유하겠습니다. softmax에 대해서는 이미 아신다는 것을 가정하고 설명을 드리겠습니다. 몰라도 이해는 가능할 것이에요. 그러면 temperature scaling을 이용한 softmax에 대해 알아보고 구현해 보도록 하겠습니다. [pytorch] softmax(소프트맥스)에 temperature scaling 사용코드 구현 이번글에서 다루게 될 내용은 아래와 같습니다. 차분히 알아보도록 하죠. 목차 softmax(소프트 맥스)란? softmax에서 temperature란? temperature … Read more

딥러닝 모델 학습을 하다보면 이미 성능이 입증된 모델의 부분부분을 따와서 학습하고 싶을 때가 있다. 실제로도 이런 방식을 많이 사용한다. 성능 좋은 모델의 일부를 따와서 그곳의 일부 혹은 전체를 Freezing (동결)한담에 다른 task를 위한 layer 붙히고 학습하는 방법이 있다. 원리자체는 간단한데 이것을 코드로 실현하자고 하니 골치가 아팠다. 그렇지만 검색을 하다보니 파이토치를 이용해 파인튜닝을 하는 방법에 대해 … Read more