9차시. 임베딩 이해
정리
- 키워드 검색은 글자가 겹쳐야만 찾습니다. 사용자는 문서와 같은 단어를 쓰지 않으므로 의미로 검색해야 합니다. (9차시 「1. 8차시에서 놓친 질문 하나」 › 1-1) 키워드 검색의 한계)
- 임베딩은 문장에 좌표를 붙이는 일입니다. 뜻을 여러 축으로 담으려고 1536개 숫자를 씁니다. (9차시 「2. 임베딩이란 무엇인가」)
- 코사인 유사도는 거리 대신 방향을 봅니다. 1에 가까울수록 같은 뜻이고, 점수 해석 기준은 모델과 문서마다 다릅니다. (9차시 「3. 코사인 유사도 — 가까움을 재는 자」)
- 관련 질문의 최저 점수와 무관 질문의 최고 점수 사이 중간값을 내 임계값 후보로 씁니다. (9차시 「6. 실습 ③ — 내 기준선 찾기」)
- 모델마다 좌표계가 다르므로 인덱싱과 검색에는 반드시 같은 모델을 쓰고, 모델을 바꾸면 인덱스를 다시 만듭니다. (9차시 「7. 임베딩 모델 고르기」)
- 임베딩은 고유명사·숫자·부정문에 약합니다. 그래서 키워드 검색과 함께 쓰기도 합니다. (9차시 「9. 자주 하는 오해」 › 9-1) 임베딩이 잘 못하는 것)