[NLP] 워드 임베딩 (1) - Word2Vec 원리와 사용방법 이해하기

728x90

자연어 처리는 인공지능과 기계학습 분야에서 중요한 영역이다. 특히, 텍스트 데이터를 벡터로 변환하는 임베딩(Embedding) 기법은 필수적이다. 인공지능 모델은 흔히 자연어라고 불리는 사람의 언어를 이해할 수 없기 때문에, 이를 컴퓨터의 언어로 변환해서 Mapping해줘야 하기 때문이다. 이 때, 인간의 언어를 숫자로 구성된 컴퓨터의 언어로 변환해주는 것을 임베딩이라고 이해하고 넘어가자

여기서 Word2Vec은 가장 유명하고 널리 사용되는 임베딩 알고리즘 중 하나로, 오늘은 Word2Vec에 대해서 자세히 알아보고자 한다.

Word2Vec의 역할

Word2Vec은 단어를 고차원 벡터로 변환하는 모델이다. 단순히 단어에 번호를 매기는 것만으로는 그 의미를 효과적으로 표현할 수 없기 때문에, Word2Vec은 단어의 의미를 포함한 벡터 표현을 제공하여 이 문제를 해결한다. 이 벡터를 Embedding Vector라고 한다.

Word2Vec은 단어 간의 의미적 유사성을 벡터 간의 거리로 표현할 수 있다.
예를 들어, '왕(King)'과 '여왕(Queen)'의 관계와 '남자(Man)'와 '여자(Woman)'의 관계가 유사하다는 것을 벡터 연산으로 파악할 수 있다. 이러한 벡터는 단어 사이의 의미적 관계를 기하학적 공간에서 유지하므로 자연어 처리의 다양한 작업에 유용하다.

Word2Vec의 원리

https://kavita-ganesan.com/comparison-between-cbow-skipgram-subword/

Word2Vec은 크게 두 가지 모델로 나뉜다: CBOW (Continuous Bag of Words)와 Skip-gram 모델이다.

CBOW 모델은 주어진 문맥(Context) 단어들로부터 목표 단어(Target)를 예측하는 방식이다. 이 모델은 학습 속도가 빠르고, 데이터 양이 많은 경우에 적합하다. CBOW는 각 문맥 단어의 기여도를 합산해 목표 단어를 예측하며, 주어진 문맥이 있을 때 가장 가능성 높은 단어를 학습하는 방식이다. 이를 통해 단어의 위치 관계를 학습하고, 더 빠른 학습 속도를 가지는 것이 특징이다.
Skip-gram 모델은 주어진 목표 단어로부터 주변 단어들을 예측하는 방식이다. 목표 단어가 주어졌을 때, 그 단어 주변에 있는 문맥 단어들을 예측하는 과정으로 학습한다. 이 방법은 희귀한 단어의 학습에 유리하며, 문맥이 적거나 단어의 다양한 의미를 더 잘 반영할 수 있다. Skip-gram은 각 단어가 개별적으로 다른 단어와 관계를 맺는 방식을 학습하여, 상대적으로 더 깊은 의미 관계를 파악할 수 있는 장점이 있다.

이 두 모델은 모두 신경망을 이용해 단어의 임베딩 벡터를 학습하며, 각 단어는 고정된 차원의 벡터로 표현된다. 이 벡터는 단어의 의미를 숫자로 표현한 것이다.

Word2Vec 사용법 단계별 설명

Word2Vec을 사용하는 일반적인 방법은 Python의 gensim 라이브러리를 활용하는 것이다. gensim은 Word2Vec 모델을 쉽게 구축하고 사용할 수 있는 기능을 제공한다. 아래 단계별로 Word2Vec 모델을 학습시키고 사용하는 방법을 설명한다.

1. gensim 설치

Word2Vec을 사용하려면 먼저 gensim 라이브러리를 설치해야 한다. 터미널에서 아래의 명령어를 실행하면 된다.

pip install gensim

이렇게 하면 gensim 라이브러리를 설치할 수 있으며, Word2Vec의 모듈을 사용할 수 있다.

2. Word2Vec 모델 학습

from gensim.models import Word2Vec

# 예제 문장 리스트
sentences = [['나', '는', '자연어', '처리', '를', '공부', '한다'],
             ['워드투벡', '은', '단어', '를', '벡터', '로', '변환', '한다']]

# Word2Vec 모델 학습 (벡터 차원: 100, 윈도우 크기: 5, 최소 단어 수: 1)
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)

이 단계에서는 주어진 문장 리스트를 사용하여 Word2Vec 모델을 학습시킨다. 주요 하이퍼파라미터는 아래와 같다.

vector_size(벡터 차원)
window(문맥을 고려할 단어 개수)
min_count(최소 등장 빈도)가 있다.

3. 단어 벡터 추출

# 단어 '자연어'의 벡터 출력
vector = model.wv['자연어']
print(vector)

이 코드에서는 학습된 모델에서 특정 단어('자연어')의 벡터를 추출한다. 단어를 벡터로 변환하여 숫자 배열로 제공하며, 이를 통해 단어의 의미를 수치적으로 표현할 수 있다.

4. 두 단어 간의 유사도 계산

# 두 단어의 유사도 계산
def calculate_similarity(word1, word2):
    return model.wv.similarity(word1, word2)

similarity = calculate_similarity('자연어', '처리')
print(f"유사도: {similarity}")

calculate_similarity() 함수는 두 단어 간의 유사도를 계산한다. gensim의 similarity() 함수를 사용하며, 단어 벡터 간의 코사인 유사도를 계산한다. 코사인 유사도는 두 벡터 사이의 각도를 이용해 벡터의 유사성을 측정하는 방법으로, 벡터가 가까울수록 유사도가 높아진다.

이는 두 벡터의 내적을 활용하는 수식으로, COS 함수의 특성에 맞게 두 벡터의 사잇각이 0에 가까울수록 (즉, 두 벡터의 방향이 같을 수록) 1에 가까우며, 1의 경우, 벡터의 방향이 같다고 판단할 수 있다.

5. 가장 유사한 단어 찾기

# 가장 유사한 단어 찾기
def find_similar_words(word, topn=5):
    return model.wv.most_similar(word, topn=topn)

similar_words = find_similar_words('공부')
print(similar_words)

find_similar_words() 함수는 주어진 단어와 가장 유사한 단어들을 찾는다. gensim의 most_similar() 함수를 이용하여 입력한 단어와 유사한 단어를 순서대로 반환한다. 벡터 공간에서 가까운 위치에 있는 단어를 찾는 방식으로, 단어 의미의 유사성을 파악할 수 있다.

Word2Vec의 활용

Word2Vec은 여러 자연어 처리 작업에서 활용될 수 있다. 대표적으로 텍스트 분류, 감성 분석, 유사 문서 검색 등이 있다. 예를 들어, Word2Vec으로 문서 내 모든 단어를 벡터화한 후 평균을 내어 문서 전체의 벡터 표현을 생성하고, 이를 이용해 문서 간의 유사도를 비교하는 식으로 사용할 수 있다.

또한, Word2Vec은 추천 시스템에서도 활용 가능하다. 사용자가 관심을 가질 만한 아이템을 추천할 때, 아이템을 단어로 보고 Word2Vec으로 벡터화하여 유사 아이템을 찾는 방식으로 응용할 수 있다.

Word2Vec의 한계와 대안

Word2Vec은 단어의 다의성을 처리하지 못하며, 문맥 정보를 충분히 반영하지 못하는 한계가 있다. 이를 보완하기 위해 등장한 기법으로는 FastText와 BERT가 있다. FastText는 단어 내부의 형태를 고려하여 학습하며, BERT는 문맥을 양방향으로 이해할 수 있는 트랜스포머 기반 모델이다. 이들은 Word2Vec보다 더 정교한 표현을 생성할 수 있지만, 학습과 사용이 복잡하다.

결론

Word2Vec은 자연어 처리에서 단어를 의미적으로 벡터화하는 강력한 도구이다. CBOW와 Skip-gram을 통해 단어의 의미를 반영하는 벡터를 학습하며, 이를 활용해 다양한 자연어 처리 작업에 응용할 수 있다. 단어의 다의성이나 문맥 반영의 한계가 존재하지만, 여전히 많은 프로젝트에서 효과적으로 사용되고 있다.

다음에는 Word2Vec의 대안인 BERT나 FastText와 같은 개선된 버전의 모델을 더욱 알아봐야겠다.