[Clova Studio] 스킬트레이너에 대한 간략 요약

LLM은 학습한 데이터에 한계가 존재한다는 포스트를 지난 시간에 남겼다.

2024.06.22 - [IT/NCP[Naver Cloud Platform]] - LLM의 훈련 데이터의 한계

LLM의 훈련 데이터의 한계

 

LLM chat 서비스에서 최신의 데이터를 옳바르게 제공 받고 싶을 수도 있고, 회사 고유의 특화된 정보를 LLM chat 을 통해서 제공 받고자 하는 필요사항이 발생할 수 있다.

 

이러한 경우 모델에 파인 튜닝을 하여 보다 최신의 데이터 또는 고유의 특화된 정보를 제공 받을 수 있게 된다.

 

그런데 이런 파인 튜닝을 매번 새로운 정보가 있을 때마다 하기에는 적지 않은 비용이 발생하게 될 것 이다.

 

예를 들어 "오늘 서울의 날씨 어때?" 라는 질문에 어제까지의 날씨 데이터로 학습한 모델이라면 오늘의 서울 날씨는 추정하거나 환각에 빠지거나 하는 등 옳바른 답변을 할 수 없게 된다. 

 

고맙게도 네이버 클라우드의 Clova Studio 에는 스킬트레이너 라는 기능이 있고 이를 통해 최신의 데이터를 파인 튜닝 없이 빠르게 처리할 수 있게 도와준다.

 

스킬트레이너는 쉽게 접근하면 이렇게 설명할 수 있겠다.

 

"외부 API를 호출한 값을 HCX(하이퍼클로바X 모델명)을 사용하여 활용한다"

 

외부 API를 "스킬"이라고 정의하고 여러 스킬이 모인 공간을 "스킬셋" 이라고 한다.

 

예를 들어 공공데이터포털에서 (기상청이 제공하는) 단기 일기 예보 API가 있다.

(https://www.data.go.kr/data/15084084/openapi.do)

 

이 단기 일기 예보 API 를 하나의 스킬이라고 볼 수 있다. 이를 "단기예보스킬" 이라고 정의 할 수 있다.

 

공공데이터포털에서는 기상 특보 API도 있다.

(https://www.data.go.kr/data/15000415/openapi.do)

 

이 기상 특보 API를 또 다른 하나의 스킬이라고 볼 수 있고, 이를 "기상특보스킬" 이라고 정의 할 수 있다.

 

이렇게 서로 다른 두개의 스킬을 모아 "기상스킬셋" 이라고 정의 할 수 있다.

 

이렇게 정의한 스킬 셋은 사용자의 발화 즉 사용자의 질문에 스킬셋 안에 있는 스킬 중 가장 적합한 것을 선택하여 해당 스킬이 진행하고자 하는 액션에 따라 요청하고 그에 대한 응답을 준다.

 

사용자의

1. "내일 폭우가 예상되는 지역은?" 이라는 질문에

2. 스킬셋 안에 있는 스킬에 정의 되어 있는 정보를 토대로 "기상특보스킬"을 선택하게 되고

3. 기상특보 API를 호출 한후

4. 호출 값을 LLM을 통해 재가공하여

5. 결과값을 사용자에게 보여주게 된다.

 

이러한 과정 안에서 LLM은 답변의 형태나 페르소나 등을 사용하여 원하는 답변이 나오도록 답변을 학습하기 까지 한다.

 

스킬트레이너는 보통의 LLM 보다는 좀 더 구체적인 일을 처리할 수 있는 기회를 주는 아주 재미난 녀석이다.