definition • 2025. 12. 10. 01:11

SLM (Statistical language models) 통계적 언어 모델

SLM (Statistical language models) 통계적 언어 모델SLM은 1990년대에 등장한 통계 학습 방법을 기반으로 개발기본 아이디어는 Markov 가정을 이용해 가장 최근의 문맥을 기반으로 다음 단어를 예측하는 것입니다.Markov 가정 : 과거의 모든 역사를 다 기억할 수 없으니, 가장 최근의 기억만 가지고 판단하자n‑gram 언어 모델고정된 문맥 길이 n을 갖는 모델몇개의 상태 값에 의존하느냐에 따라 바이그램, 트라이그램 모델 구분한계점문맥 길이 n이 늘어나면 늘어날 수록 차원의 저주(curse of dimensionality) 문제에 직면함.문맥이 늘어나면 늘어날 수록 계산해야 하는 단어의 개수도 기하급수적으로 늘어나기에 고차원의 언어를 추정하기 어려움.예시. 한국의 수도는 아름..

definition • 2025. 12. 9. 23:35

NLP, 자연어 처리 기술

00-1. NLP, 자연어 처리 기술llm 에 대해 정리하기에 앞서,llm이 대중화 되기 이전 컴퓨터는 어떻게 사람의 말을 이해하고 처리하였는지 간단하게 정리하고 가려고 한다.NLP ( Natural Language Processing ), 자연어 처리는 컴퓨터가 사람의 말과 언어를 이해하고 처리할 수 있도록 연구하는 기술 분야를 뜻함.NLP는 크게 '이해하는 능력' 과 '표현하는 능력으로 나누어짐.NLU (Natural Language Understanding, 자연어 이해)사람의 말이 무슨 뜻인지 파악하는 기술입니다.예: "배 고파"라는 말을 들었을 때, '배(Stomach)'인지 '배(Ship)'인지 문맥을 통해 구분하고, '음식을 원한다'는 의도를 파악하는 것.NLG (Natural Languag..