ICML 2018에서 발표된 Conditional Neural Processes에 대해 알아보자.
배경
딥러닝으로 인해 많은 성능향상이 있었다. 성능향상을 위해서 많은 양의 데이터가 필요하다. 이 많은 양의 데이터가 필요로 한다는 것이 때론 문제가 된다. 데이터가 적은 경우도 많기 때문이다. 딥러닝 모델학습을 위해 많은 계산이 필요로 하는 경우도 많다. 딥러닝은 $f:X \to Y$를 근사화 하는 $g$를 찾는 문제인데, $g$를 찾는 과정에 있어서 태스크에 따라 $g$를 따로 학습을 해야 되는데 이과정에서 많은양의 계산을 필요로 한다.
$f$는 Stochastic process
위와 같은 방법도 있지만 $f$를 stochastic process로써 생각을 한다. 데이터 $(x,y)$가 있다면 $f(x)$는 확률적으로 결정이 되서 $y$라는 값이 나오는 것으로 바라본다. 위와 같은 개념은 Gaussian process regression 등에서 나온 방법이기도 하다.Gaussian process regression 의 경우는 계산량도 많고 차원에 따라 계산량이 많이 늘어난다는 단점이 있다.
논문에서 하고자하는것은 Gaussian process와 Neural network 의 조합
논문에서는 인공신경망과 stochastic process를 조합하려고 한다. 인공신경망을 이용하여 stochastic process를 학습하려고 한다. gaussian process의 경우에는 계산량을 $O(n+m)$가량으로 줄이려고 한다. (가우시안 프로세스 회귀는 계산량이 $O(n+m)$정도 든다).