LLM의 첫 단계는 LM(언어모델)이다. 언어모델의 크기가 크면 Large 를 붙여셔 LLM 이고, 언어모델이 크기가 작으면 SLM 이다. 인공신경망을 공부하면 문자와 관련해서 문제를 해결하려고 할 때 (물론 CNN 도 사용가능하지만..) RNN 을 사용하게 된다. RNN 의 R 이 Recursive 순환(재귀) 한다는 의미이고 앞에서 처리한 데이터를 다시 순환해서 사용(기억)할 수 있는 장점을 갖고 있다. 우리가 사용하는 언어는 여러 단어의 조합으로 이루어 진다. "배고프다" 라는 단어에 "나는 배고프다", "너는 배고프다", "우리는 배고프다", "배고프다고 말했다" 등등 바로 앞 또는 뒤의 단어에 따라 내용이 달라진다. 앞에 나는 이라는 단어를 기억하고 있어야 또는 배고프다고 를 기억하고 있어야만 ..