전문반 숙제) 논문을 읽고 난 후

논문) PaLM: Scaling Language Modeling with Pathways

 

아직은 영어실력이 부족하여 영문으로만 된 논문을 읽기는 힘들어 구글의 도움을 받아 해당 부분의 초록과 서론을 읽어 보았다.

 

그런데 읽던 도중 많이 등장하는 few shot라는 용어가 많이 보였다. AI아니 ML자체가 이번이 처음이다 보니 해당 용어가 무엇지조차 파악이 어려워 검색을 해보았다

 

찾아 보니 few shot는 결국 학습을 어떤식으로 시키는지에 대한 방법론 같은거였다.

 

기존에는 support-set 이라는 학습 내용을 토대로 query 이라는 질문이 주어졌을 때 해당 query를 학습한 부분인 support -set에 대조하여 찾는 방식이였다면 few shot는 suport-set으로 학습은 하지만 인간이 구분법을 배우는 식으로 배워 query가 주어지면 그와 유사한 것들로 구분지어 찾는다

 

즉 기존의 방식은 query가 support-set에 있어야지만 결과가 나왔다면 few shot는 support-set에 있는 값중 유사한 부분을 찾아 결정을 하는 방식즉 추론을 하는 방식인것이다

 

기존에 사전지식이 없는 상태에서 해당 논문의 초록을 읽어 보았을 때에는 이해가 잘 안되던 부분이 이제는 조금 이해가 되었다

 

논문에서 제시하는 새로운 ML 시스템인 Pathways를 사용할 경우 최근에 취시된 BIG-bench(대규모 언어 모델을 조사하고 미래 역량을 외삽하기 위한 협업 벤치마크, https://github.com/google/BIG-bench)에서 높은 성능을 수행 할 수 있다고 제시하며 다국어 작업과 소스코드 생성에 강력한 기능가지고 있고 이는 방범위한 번치마크에서 입증이 되었다라고 구술을 하였다.

 

아직까지 해당 부분이 어디에 적용하면 좋고 왜 써야하는지 잘 모르겠으나 캠프가 끝날 때 쯤에는 그래도 왜는 모르겠지만 어디에 적용하는지는 알 수 있지 않을까?

 

아직 논문을 완전 분석이 안되 었고 이는 후에 다시 한번 읽어봐야 할 거같다. 초록만으로는 아직 AI, ML,DL 등에는 입문도 못한 상태이기에 이해보다는 용어부터 찾아봐야할 같다.