NLP(Natural Language Processing) 그것이 무엇이고 왜 그것이 중요한가

NLP(Natural Language Processing) 그것이 무엇이고 왜 그것이 중요한가

자연어 처리(NLP)는 컴퓨터가 인간의 언어를 이해하고 해석하고 조작할 수 있도록 돕는 인공지능의 한 분야다. NLP는 인간의 의사소통과 컴퓨터 이해 사이의 격차를 메우기 위해 컴퓨터 과학과 컴퓨터 언어학을 포함한 많은 분야에서 끌어온다.

 

what-is-natural-language-processing-nlp'

 

자연어 처리의 진화

자연 언어 처리가 새로운 과학은 아니지만, 이 기술은 사람과 기계 간 통신에 대한 관심 증가와 더불어 빅데이터, 강력한 컴퓨팅 및 향상된 알고리즘의 가용성 덕분에 빠르게 발전하고 있다. 

인간으로서 당신은 영어, 스페인어 또는 중국어로 말하고 쓸 수 있다. 그러나 컴퓨터의 모국어(기계 코드 또는 기계 언어)는 대부분의 사람들이 이해할 수 없는 말이다. 단말기의 가장 낮은 수준에서, 통신은 단어가 아닌 수백만 개의 0과 논리적인 동작을 생성하는 0을 통해 이루어진다. 

실제로 프로그래머들은 70년 전 최초의 컴퓨터와 통신하기 위해 펀치 카드를 사용했다. 이 매뉴얼과 고된 과정은 비교적 적은 수의 사람들이 이해했다. 이제 여러분은 "알렉사, 이 노래가 좋아"라고 말할 수 있고, 집에서 음악을 연주하는 장치는 볼륨을 낮추고 "OK. Rating saved"라고 인간다운 목소리로 대답할 것이다. 그런 다음 다음에 그 음악 방송국을 들을 때 그 노래를 연주하도록 알고리즘을 조정한다. 

그 상호작용을 좀 더 자세히 살펴보자. 당신의 장치는 당신이 말하는 것을 듣고, 코멘트에 있는 무언의 의도를 이해하고, 행동을 실행하며, 피드백을 잘 구성된 영어 문장으로 제공했을 때 작동했다. 모두 약 5초간의 공간이었다. 기계학습, 딥러닝 등 다른 AI 요소와 함께 NLP에 의해 완전한 상호작용이 가능해졌다.

 

NLP를 통한 고객 불만 감소 스코틀랜드 왕립은행은 NLP 기법인 텍스트 분석을 사용하여 고객 피드백에서 중요한 경향을 다양한 형태로 추출한다. 이 회사는 이메일, 설문 조사, 콜센터 대화에서 얻은 데이터를 분석하여 고객 불만의 근본 원인을 파악하고 개선을 구현한다. 비디오를 보고 고객 관계를 혁신하는 분석에 대해 자세히 알아보십시오. https://www.sas.com/en_gb/insights/analytics/what-is-natural-language-processing-nlp.html#howitworks

왜 NLP가 중요한가?

대량의 텍스트 데이터

자연 언어 처리는 컴퓨터가 자신의 언어로 인간과 의사소통할 수 있도록 돕고 다른 언어 관련 업무를 확장한다. 예를 들어, NLP는 컴퓨터가 텍스트를 읽고, 연설을 듣고, 해석하고, 감정을 측정하고, 어떤 부분이 중요한지 결정하는 것을 가능하게 한다. 

오늘날의 기계는 인간보다 더 많은 언어 기반 데이터를 피로 없이 일관되고 편견 없이 분석할 수 있다. 의료 기록에서 소셜 미디어에 이르기까지 매일 생성되는 엄청난 양의 비정형 데이터를 고려하면, 텍스트와 음성 데이터를 효율적으로 완전히 분석하는 데 자동화가 매우 중요할 것이다.

고도로 구조화되지 않은 데이터 소스 구조화

인간의 언어는 놀라울 정도로 복잡하고 다양하다. 우리는 말로나 글로나 무한한 방법으로 우리 자신을 표현한다. 수백 개의 언어와 방언이 있을 뿐만 아니라, 각 언어 내에는 문법과 구문 규칙, 용어와 속어의 독특한 집합이 있다. 우리가 글을 쓸 때 우리는 종종 단어의 철자를 잘못 쓰거나 줄여서 쓰거나 구두점을 생략한다. 우리가 말할 때, 우리는 지역 억양을 가지고 있고, 웅얼거리고, 더듬고, 다른 언어로부터 용어를 빌린다. 

감독되고 감독되지 않은 학습, 특히 심층 학습이 현재 인간의 언어를 모델링하는 데 널리 사용되고 있지만, 이러한 기계 학습 접근법에는 반드시 존재하지 않는 통사적, 의미적 이해와 영역 전문지식이 또한 필요하다. NLP는 언어의 모호성을 해소하고 음성 인식이나 텍스트 분석과 같은 많은 다운스트림 애플리케이션의 데이터에 유용한 숫자 구조를 추가하기 때문에 중요하다. 

 

NLP는 어떻게 작동하는가?

원소 언어의 조각들을 분해하는 것

 

자연 언어 처리에는 통계적, 기계적인 학습 방법에서부터 규칙 기반 및 알고리즘적 접근법에 이르기까지 인간의 언어를 해석하기 위한 많은 다양한 기법이 포함된다. 실제 적용과 마찬가지로 텍스트 및 음성 기반 데이터가 매우 다양하기 때문에 우리는 광범위한 접근법이 필요하다. 

기본 NLP 업무에는 토큰화 및 구문 분석, 리밀화/스템화, 음성 태그 부분화, 언어 탐지 및 의미 관계 식별 등이 포함된다. 만약 여러분이 초등학교에서 문장의 도표를 그려본 적이 있다면, 여러분은 이러한 과제를 수동으로 해 본 적이 있다. 

일반적으로, NLP 작업은 언어를 더 짧고 원소적인 조각으로 분해하고, 조각들 사이의 관계를 이해하려고 노력하며, 그 조각들이 의미를 창조하기 위해 어떻게 함께 작용하는지 탐구한다.

이러한 기본 업무는 다음과 같은 더 높은 수준의 NLP 기능에서 종종 사용된다.

• 내용 분류. 검색 및 색인, 내용 경고 및 중복 탐지를 포함한 언어 기반 문서 요약.
• 주제 검색 및 모델링. 텍스트 모음에서 의미와 주제를 정확하게 캡처하고, 최적화 및 예측과 같은 고급 분석 기능을 텍스트에 적용하십시오.
• 상황별 추출. 텍스트 기반 소스에서 구조화된 정보를 자동으로 가져오기
• 감정 분석. 평균적인 감정과 의견 채굴을 포함한 대량의 텍스트 내에서 분위기나 주관적인 의견을 파악한다. 
• 음성 대 텍스트 및 텍스트 대 음성 변환. 음성 명령을 텍스트로 변환하거나, 그 반대로 변환한다. 
• 문서 요약. 많은 텍스트 본문의 개요 자동 생성.
• 기계 번역. 텍스트 또는 언어를 한 언어에서 다른 언어로 자동 변환

이 모든 경우에, 가장 중요한 목표는 원언어 입력을 취하고 언어학과 알고리즘을 사용하여 더 큰 가치를 전달하도록 텍스트를 변형하거나 풍부하게 하는 것이다. 

NLP 방법 및 응용 프로그램

컴퓨터가 텍스트 데이터를 이해하는 방법

NLP 및 텍스트 분석

자연어 처리는 많은 양의 콘텐츠에서 구조와 의미를 추출하기 위해 단어를 세고 그룹화하고 분류하는 텍스트 분석과 연계된다. 텍스트 분석은 텍스트 내용을 탐구하고 시각화, 필터링 또는 입력으로 사용될 수 있는 원시 텍스트에서 예측 모델 또는 기타 통계적 방법에 대한 새로운 변수를 도출하는 데 사용된다.

NLP와 텍스트 분석은 다음을 포함한 많은 애플리케이션에 함께 사용된다.

• 수사적 발견. 이메일이나 서면보고에서 범죄의 발견과 해결에 도움이 되는 패턴과 단서를 찾아라.
• 주제별 전문 지식. 콘텐츠를 의미 있는 주제로 분류하여 액션을 수행하고 동향을 검색할 수 있도록 하십시오.
• 소셜 미디어 분석. 특정 주제에 대한 인지도와 정서를 추적하고 주요 영향력 행사자를 파악하십시오. 

일상적인 NLP 예 

우리의 일상 생활에는 NLP의 공통적이고 실용적인 적용이 많이 있다. 알렉사나 시리 같은 가상 조수들과 대화하는 것 외에도 몇 가지 예를 더 들어보자. 

• 스팸 폴더에 있는 전자 메일을 보고 제목 줄의 유사성을 발견한 적이 있는가? 여러분은 스팸의 단어를 정크 메일을 식별하기 위해 유효한 이메일과 비교하는 통계 NLP 기술인 베이시안 스팸 필터링이 보이시죠.
• 전화 통화를 놓치고 이메일 받은 편지함이나 스마트폰 앱에서 음성 메일의 자동 대본을 읽어 본 적이 있는가? 그것은 음성-문자 변환, NLP 기능이다.
• 기본 제공 검색 표시줄을 사용하거나 제안된 주제, 엔티티 또는 범주 태그를 선택하여 웹 사이트를 탐색해 본 적이 있는가? 그런 다음 검색, 주제 모델링, 엔티티 추출 및 내용 분류에 NLP 방법을 사용하셨습니다.

 

자연어 이해(NLU)라고 불리는 NLP의 하위 분야는 인지 및 AI 응용 분야에서의 잠재력 때문에 인기가 상승하기 시작했다. NLU는 언어의 구조적 이해를 넘어 의도를 해석하고, 문맥과 단어 모호성을 해결하며, 심지어 스스로 잘 형성된 인간 언어까지 만들어 낸다. NLU 알고리즘은 의미 해석의 극히 복잡한 문제, 즉 우리 인간이 이해할 수 있는 모든 미묘함, 맥락, 추론을 가지고 구어 또는 문자 언어의 의도된 의미를 이해하는 문제를 다루어야 한다.

NLP의 NLU로의 진화는 기업과 소비자 모두에게 많은 중요한 시사점을 가지고 있다. 의학에서 법률에 이르기까지 여러 맥락에서 인간 언어의 의미와 뉘앙스를 이해할 수 있는 알고리즘의 힘을 상상해 보라. 구조화되지 않은 정보의 양이 계속해서 기하급수적으로 증가함에 따라, 우리는 컴퓨터들의 지칠 줄 모르는 능력으로부터 이익을 얻을 것이다. 

 

 

원본출처 : sas.com ' what-is-natural-language-processing-nlp'

 

더 많은 에피소드를 원하시면 아래 link로 방문해 보셔도 좋을꺼 같습니다.

Bb7942의 쉽터_함께 성장합시다.

 

위 아티클은 아래 카뷰에서도 확인하실수 있습니다.

http://pf.kakao.com/_adcxnb

​* 카뷰 친추 하신분 댓글에 친추 번호랑 링크 남겨주시면 맞추할께요