LLM의 훈련 데이터의 한계

고맙게도 큰 기업에서 공개한 LLM 모델을 사용하면 우리들은 손쉽게 채팅 기능이 있는 LLM을 사용할 수 있게 된다.

 

대표적으로 Lama와 같은 모델이다.

 

그 외에도 모델 자체가 공개되지 않은 경우도 많고 그에 대응하는 채팅 서비스들이 많이 존재한다.

 

chatgpt, gemini, copilot, claude 등등 다양하다.

 

공개가 되었던 공개가 되지 않았던 LLM 모델은 훈련이라는 과정을 통해서 LLM 모델이 진화할 수 있게 된다.

 

그중에서도 훈련된 데이터의 시점에 대한 한계를 이야기 하고 싶다.

 

Lama1 -> Lama2 -> Lama3 로 가는 행보와 chatgpt 3.5 turbo -> chatgpt 4.0  turbo 으로 가는 행보에는

 

언제까지의 데이터로 훈련하였어? 라는 것에 대한 한계라는 것이 존재 한다.

 

 

 

chatgpt 3.5 turbo 의 결과

chatgpt 4o 의 결과

 

chatgpt 3.5 turbo 는 2021년 9월까지의 데이터로 훈련하였고 chatgpt 4o는 까지의 데이터로 훈련 하였다.

https://platform.openai.com/docs/models/gpt-4o

 

스크린샷에서 볼 수 있듯이 "23년도에 있었던 하마스 이스라엘 전쟁 시기가 언제고 어떻게 끝났는지 알려줘" 라는 질문에 

chatgpt 3.5 는 환각(hallucination)현상을 만들지 않고 자신이 모르는 최신 정보에 대해서 모른다고 답변하는 반면에

chatgpt 4o 는 전쟁이 발생한 시기와 실제 진행되고 있는 이야기를 참조한 곳을 토대로 알려준다.

 

chatgpt 3.5 turbo 의 결과

 

위와 유사한 이유로 chatgpt 3.5 turbo는 "서울의 오늘 날씨를" 알려 줄 수 없다. 

chatgpt 4o 의 결과

그런데 chatgpt 4o 는 조금 다른 결과가 나온다.

 

6개의 날씨 관련 사이트를 참조하여 서울의 오늘 날씨를 알려준다.

 

이는 gpt4 에서 부터 시작한 기능으로 여러 출처를 이용해서 정보를 제공하기 시작했다.

 

서는 무료로 사용했었던 chatgpt 3.5 turbo 보다 무료로 사용가능했던 MS의 copilot에서 참조 기능을 제공했던 이유는 copilot 은 무료로 사용할 수 있는 gpt4 였기 때문이다.

 

LLM을 사용하여 채팅을 할 때 그것이 만능이 아니라는 점을 우리는 간과해서는 안된다.