1. 생성형 AI(LLM)는 어떻게 동작하나?

출처: 원본 PDF 02차시_생성형AI와RAG의관계.pdf 2쪽 · 쪽 그림 2쪽

💭 생성형 AI의 기본 원리
생성형 AI는 "다음에 올 글자를 예측하는 기계"입니다.
학습 과정에서 수십억 개의 문장을 봤기 때문에, 주어진 문장 뒤에 올 가장 가능성 높은 글자를 계산해서 답변합니다.

1-1) 예시 — "안녕하세요, 저는 AI" 다음에 올 글자는?

학습 데이터에서 이 문장 앞뒤로 나타나는 패턴을 분석합니다. 가장 자주 나타나는 표현은 "입니다" 또는 "라고 합니다" 같은 것들입니다. 따라서 AI는 "안녕하세요, 저는 AI입니다"라고 답변하게 됩니다.

1-2) 이 과정이 반복된다

"안녕하세요, 저는 AI입니다"  다음에 올 글자는?  →  " " (공백)
"안녕하세요, 저는 AI입니다 " 다음에 올 글자는?  →  "뭔가"

이렇게 한 글자씩, 또는 한 토큰씩 생성하다 보면 전체 답변이 완성됩니다.