자연어 이해(Natural Language Understanding, NLU)

자연어 이해 , NLU

 NLU란 자연어 표현을 기계가 이해할 수 있는 다른 표현으로 변환시키는 것을 뜻한다. 형태소 분석이나 구문 분석과 같은 자연어 처리 (NLP)와 혼용해서 사용되는 경우가 많으나 자연어 이해 (NLU)가 더 큰 개념으로 단순히 단어나 문장의 형태를 기계가 인식하도록 하는 것이 아닌, 의미를 인식하도록 하는 것을 의미한다. 자연어 이해 (NLU) 기능의 예를 들자면 "문장의 의도 분류" , "서로 다른 언어간 번역 문장 생성", 자연어 질문에 대한 답변 추출 등이 있다.

딥러닝 (Deep Learning)기술의 발전 덕분에 전통적인 통계 및 룰 기반의 자연어 이해 (NLU)기법이나 머신러닝(Machine Learning)방식의 자연어 이해 (NLU) 기법의 한계를 해결할 수 있게 됐다. 지난 수십년 간의 전통적인 자연어 이해 (NLU)방식은 사람이 직접 추출한 특징에 강하게 의존했다고 볼 수 있다. 이러한 특징들은 추출하는 데 시간이 많이 소요되고, 여러 다양한 경우에서 불완전하다는 것에 있었다. 그러나 최근 수십년 밀집된 벡터 표상에 기반한 인공신경망(ANN)이 다양한 자연어처리(NLP)에서 우수한 성능을 보여준 바 있다. 이러한 트랜드는 '워드 임베딩'과 '딥러닝 기술'의 성공에 힘입은 것이라 할 수 있다. 딥러닝 특징들을 자동으로 추출하고 표현할 수 있게 하는데 이러한 장점으로 인해 딥러닝 기반의 자연어 이해(NLU)기법 연구가 활발해졌다.

 

NLU를 사용하는 기술

 

(1) 워드 임베딩 기술
워드 임베딩 기술은 단어나 형태소를 벡터화하는 기술이다. 단어를 벡터로 만들었다면 문장이나 문서를 매트릭스로 변환하는 작업이 가능해진다. 이렇게 되면 비로소 문장 감성 분류나, 기계 번역 등과 같은 task를 딥러닝 모델로 학습할 수 있게 된다. 기계가 단순히 문장을 몇 개의 카테고리로 분류하는 데에 그치는 것이 아니라 기계가 문장의 흐름(Sequence)를 확장해나가고 이해하는 이러한 기술로도 이어진다.

(2) MRC 기술 및 대화 모델
기계를 조금 더 사람답게 만드는 기술이다. MRC는 질의 응답 기술로, 사용자가 어떤 질문을 했을 때 기계는 자신이 학습했던 내용 중에서 적절한 답변을 알아서 찾아 제공해주는 것이다(앞의 항목 참조). 이 기술을 잘 연마한 로봇은 퀴즈쇼에서 우승할 수도 있다고 한다. 대화 모델은 위와 같은 기술들을 사람처럼 자연스러운 대화가 이어질 수 있도록 하는 기술이다.

 

NLP = NLU + NLG

흔히 많이들 비교되는 세 용어는 엄밀히 따지면 위와 같은 관계이다. 자연어 생성과 자연어 이해를 합쳐 자연어 처리라고 한다. 자연어 처리(NLP)는 기계가 인간의 언어 자체를 습득하는 과정이라고 표현한다면 자연어 이해(NLU)는 앞서 말한 바와 같이 인간의 언어를 기계가 이해하기 쉽도록 처리하는 것이고 자연어 생성(NLG)는 기계가 언어를 조합해 인간의 언어를 생성해내는 것이다.  

 

출처: SD아카데미 블로그, TowardDataScience