[Clova Studio] 플레이그라운드 - 2 [파라미터]

플레이그라운드에는 총 11 개의 파라미터가 존재 한다.

 

플레이그라운드에는 2개의 모드가 존재하는데, 하나는 챗 모드, 다른 하나는 일반 모드이며 이 두개를 함께 포함하는 파라미터과 별도로 지원하는 파라미터를 모두 합치면 11개가 된다.

 

이 파라미터라 함은 LLM 을 통해서 텍스트 생성시에 사용하는 설정 값이다.

 

이 설정값에 따라 텍스트 생성에 영향을 준다.

 

아래의 네이버클라우드의 소개를 통해서 각 파라미터의 설정 내용을 확인해 볼 수 있다.

(https://guide.ncloud-docs.com/docs/clovastudio-info#파라미터)

 

그 중 몇 가지만 좀더 이야기를 하고 싶다.

 

LLM은 결국에는 단어를 "예측"하는 것이다.

 

이러한 예측하는 확률을 어떻게 사용할 것인가를 설정하는 것이 일부 파라미터 설정을 통해서 가능하다

(Top K, Top P, Temperature, Repetition penalty)

 

이를 통해 창의적인 대답 또는 일관성 있는 대답을 얻게 되는데 역할을 한다.

 

창의적인 대답을 얻기 위해서는

 

Top P 가 높게되면 예측된 단어들에 대해서 확률 값이 높지 않은 단어라 할지라도 사용할 수 있는 후보군에 들어가게된다.

 

확률이 낮은 단어들이 Top P에 의해서 후보군에 들더라도 Top K 로 후보군을 낮추게되면 궁극적으로는 단어 제한이 생기게 된다.

 

추가로 Temperature가 높을 때 통해 예측된 확률 값이 특정 단어에 치우쳐서 높은 값을 주게되면 해당 단어가 재선택될 가능성이 높아지는데 예측된 확률 값이 크게 차이가 안나게 된다면 보다 창의적인 대답을 얻을 수 있게 된다.

 

openai 사에서 제공하는 플레이그라운드의 경우 Temperature가 최대 2까지 사용할 수 있게 되는데 사실 이 파라미터의 권장 값은 1이하로 설정이다.

 

openai 의 플레이그라운드에서 해당 기능이 2까지 가능하다고 하더라도 너무나 자유로운 단어들로 채워질 수 있기 때문에 클로바스튜디오에서는 Temperature를 최대 1까지만 사용할 수 있도록 제한하였다.

 

일관성 있는 대답을 원한다면 앞서 설명한 파라미터를 높이는 것이 아닌 낮게 함으로써 창의성은 떨어지지만 일관된 대답을 얻을 수 있게 된다.