2차시. 생성형 AI와 RAG의 관계

퀴즈 2 — 글자 수를 토큰 수로 단정하지 않기

한글 글자 수와 토큰 수를 같다고 보면 안 됩니다. 글자 수를 토큰으로 단정하지 않고 그대로 둘 함수를 작성하세요.

빈칸 코드에서 시작합니다.

Python

def same_as_tokens(char_count):
    # 글자 수를 토큰 수라고 반환하면 오답
    pass

결과 보기 (예시 풀이)

Python

def same_as_tokens(char_count):
    # 한글은 글자 수와 토큰 수가 같지 않습니다.
    # 글자 수만 보고 "토큰도 이만큼"이라고 단정하지 않도록 항상 False를 돌려줍니다.
    return False

# 길이가 다른 문장 세 개로 호출해 봅니다. 모두 False가 나와야 합니다.
for text in ["안녕하세요", "우리 회사의 2024년 매출은?", "환불"]:
    n = len(text)  # len()이 세는 것은 글자 수이지 토큰 수가 아닙니다.
    print(f"{text!r}: 글자 {n}개 → 토큰 수와 같다고 볼까? {same_as_tokens(n)}")

실행 결과

출력

'안녕하세요': 글자 5개 → 토큰 수와 같다고 볼까? False
'우리 회사의 2024년 매출은?': 글자 17개 → 토큰 수와 같다고 볼까? False
'환불': 글자 2개 → 토큰 수와 같다고 볼까? False

채점 기준: 항상 False. 한글은 글자 수와 토큰 수가 같지 않다.