[알쓸패잡] 김은희 l 한국오라클 컨설턴트
자연어 처리(NLP)와 AI 언어 서비스

스타워즈에 나오는 금색 로봇 C-3PO는 인간처럼 대화를 하고 600만 종류의 언어를 이해했다. 과거에는 말하는 로봇은 먼 미래 우주 세계에 대한 영화적 상상력이었지만, 현재는 챗GPT의 등장으로 기계가 인간의 언어를 읽고 소통하는 것이 현실이 됐다.

챗GPT에 대한 관심이 갈수록 뜨거워지는 만큼, 클라우드 벤더사들도 발 빠르게 AI 언어 서비스를 신규 출시하고 있다. 인공지능의 대표적인 서비스로 비전, 이상탐지, 포케스팅을 위한 모델 코드(API)가 스포트라이트를 받았다면 최근에는 자연어 처리(NLP, Natural Language Processing), 음성-텍스트(Speech to Text)나 텍스트 음성 전환, 언어 서비스의 인공지능 서비스(API)가 조명을 받고 있다.

자연어 처리(NLP)와 AI 언어 서비스가 무엇인지 간략히 알아보면 다음과 같다. 기계는 기본적으로 0,1의 바이너리 숫자만 연산할 수 있는데, 인간처럼 언어를 이해하고 핵심을 파악하기 위해서는 자연어 처리(NLP)라는 마법이 필요하다.

NLP 처리를 한 후에 컴퓨터 알고리즘 모델을 적용하면 사용자의 틀린 맞춤법을 Autocorrect로 고쳐주고, 논문 표절 검사를 위해 단어 스캔을 해서 식별해주고, 외국어를 한글로 번역해주고, 글의 내용이 긍정적인지 부정적인지 감정(Sentiment)을 분석해주고, 어느 분야(Category)의 문서인지, 중요한 문장의 요점이 무엇인지 알려준다. 즉 컴퓨터가 알 수 있게끔 인간의 언어를 NLP 처리한 후 AI 모델을 적용하면 다양한 기능을 구현할 수 있다.

<자연어 처리(NLP)의 프로세스>

•Segmentation(분해): 쉼표와 맞춤표로 분리된 한 문장으로 분해하는 작업
•Tokenizing(토큰화): 한 문장을 단어로 분해하는 과정
•Stop words(불용어 추출): 특별한 의미를 갖지 않는 관사, 전치사, 대명사, 접속사 추출
•Stemming(어간 추출): 동사의 과거형, 과거분사형에서 접미사를 떼고 어간만 추출
•Lemmatization(표제어 추출): am, are, is는 모두 be 동사의 변형형이므로 be로 변경
•Speech Tagging(문법 태그): 명사, 동사, 목적어, 전치사, 형용사 등 태그를 추가
•Name Entity Tagging(명명어 태그): 기관, 회사명, 인명, 이벤트, 위치, 영화명, 물량, 화폐가치 등 의미를 가진 명사에 대해 태그 추가
•Parsed TEXT(파싱된 텍스트): 위 순서를 거치면서 처리된 텍스트 파일
•벡터화: 단어를 숫자로 표현(word embedding)하거나, 단어가 각 문서에 몇 번씩 등장했는지 숫자행렬로 표현하는(bag of words, 단어 가방) 등 숫자로 바꾸는 방법

이처럼 NLP 처리를 한 후에 번역을 하거나 긍정 · 부정 · 중립의 감정을 분류하거나 개인정보(신용카드 번호)등을 감지해서 자동 마스킹하는 기능 등을 구현할 수 있는 인공지능 모델의 코드(API)가 인공지능 언어 서비스다. 인공지능 모델을 직접 만들면 데이터 과학자의 인건비가 들기 때문에, 이미 만들어 놓은 반제품 인공지능 모델 코드(API 서비스)로 다양한 기능을 개발하고 챗봇이나 온라인 비서를 구현할 수 있는 것이다.

챗GPT가 바꿔 놓은 일상의 변화는 이제 겨우 ‘시작’에 불과하다. 인공지능 언어 서비스를 탑재한 개인화 서비스가 보편적으로 퍼지고 기계와 대화하는 세상으로 변모하는 것도 큰 변화겠지만, 챗GPT에 대한 의존이 높아질수록 챗GPT가 어떤 원천 정보를 학습하는지가 중요해진다. 지금은 내가 바라보는 가치관에 따라 정보를 습득하지만, 챗GPT의 편리한 응답을 수동적으로 받아들인다면, 챗GPT의 원천 정보에 영향을 미치는 권력이 세상을 감시하는 Big Brother가 되는 것은 아닐지, 10년 뒤 인공지능 언어는 어떤 모습일지 궁금해진다.

■ 김은희 l 한국오라클 컨설턴트 profile

- 현 한국오라클 상무, 컨설턴트
- MIT 로지스틱스, SCM 공학석사
- FIT 패션바잉, 머천다이징 AAS
- 서울대 의류학과 학사, 석사, 박사



이 기사는 패션비즈 2023년 3월호에 게재된 내용입니다.
패션비즈를 정기구독 하시면
매월 다양한 패션비즈니스 현장 정보와, 패션비즈의 지난 과월호를 PDF파일로 다운로드받아 열람하실 수 있습니다.
■ 패션비즈 정기구독 Mobile버전 보기
■ 패션비즈 정기구독 PC버전 보기

■ 패션비즈 기사 제보 Click! !!!
■ 패션 구인구직 전문 정보는 패션스카우트(www.fashionscout.co.kr) , Click! !!!