인공지능, 마침내 언어의 장벽을 무너뜨리다

인공지능, 마침내 언어의 장벽을 무너뜨리다

강일용 입력 2017.01.04 17:02 수정 2017.01.04 19:58 댓글 125개

[IT동아 강일용 기자] 전 세계에는 약 6,900개의 언어가 존재한다. 이 가운데 실제로 널리 이용되는 언어는 약 130개로 추정되는 상황. 이처럼 다양한 언어간의 장벽을 극복하기 위해 번역 기술은 끊임 없이 발전했고, 이제 그 결실을 맺을 때가 다가온 듯하다. 인공지능 구현의 핵심 기술인 인공신경망을 활용한 3세대 번역 서비스가 상용화 단계를 밟고 있기 때문이다.

구글 번역

반 세기에 걸친 번역 기술의 발전

번역 서비스는 크게 3가지 단계로 나눌 수 있다. 첫 번째는 '어구 기반 기계 번역(Phrase Machine Translation)'이다. 문장을 단어 또는 어구 단위로 나눠서 번역한 후 번역한 결과물을 조립해서 출력하는 방식이다. 외국어을 잘 모르는 사용자가 사전만 펴놓고 번역을 진행하는 것으로 이해하면 된다. 1950년대 컴퓨터가 처음 등장했을 때 고안된 방식으로 이후 30년 동안 이용되었다. 하지만 어구 기반 기계 번역은 번역한 단어를 조립하면서 문법 오류가 자주 발생하기 때문에 문법 구조가 다른 언어를 제대로 번역하지 못하는 문제가 있었다. 또, 다의어 번역시 애로사항이 많았다. 여러가지 의미 가운데 무엇을 선택해야 하는지 제대로된 기준이 없었기 때문이다. 때문에 이 기술을 통해 번역된 문장은 기대 이하의 품질로 나오기 일쑤였다.

이러한 어구 기반 기계 번역의 문제를 해결하기 위해 등장한 방식이 '통계 기반 기계 번역(Statistical Machine Translation)'이다. 1988년 IBM이 모델1을 통해 처음 선보인 번역 방식으로, 수 많은 번역 데이터를 수집해 통계를 낸 후 이 가운데 가장 널리 이용되는 번역 방식을 활용하는 기술이다. '많이 이용되는 것이 옳은 것이다'는 이론을 따르고 있는 것. 통계 기반 기계 번역은 어구 기반 기계 번역의 가장 큰 약점인 다의어 번역 불가를 해결할 수 있는 혁신적인 방식이었다. 많이 이용되는 것이 옳은 것이다는 번역 기준을 제시했기 때문. 특히 인터넷 시대에 접어들어 수 많은 번역 데이터를 수집할 수 있게 됨에 따라 통계 기반 기계 번역의 품질은 크게 향상되었다. 일반인이 보기에는 여전히 어색한 형태로 번역되었지만, 그래도 뜻을 이해하는데 큰 문제는 없을 정도였다. 사용자가 접할 수 있는 시중의 번역 서비스 대부분이 동계 기반 기계 번역 기술을 활용해 서비스를 제공했다.

하지만 통계 기반 기계 번역도 여전히 문제는 존재했다. 문법이 다른 언어는 어색하기 짝이 없게 번역되었고, 사용자가 적어 번역 데이터가 부족한 언어는 여전히 제대로 번역할 수 없었다.

2016년에 들어 번역 서비스는 세 번째 도약을 하게 된다. 바로 '신경망 기반 기계 번역(Neural Machine Translation, 이하 신경망 번역)'이다. 인공지능 구현의 핵심 기술인 머신러닝(기계 학습)과 딥러닝(인공 신경망)을 활용해 특정 언어를 번역할 수 있는 모델(인공지능)을 만든 후 해당 모델을 활용한 번역 서비스를 제공하는 기술이다. 수 많은 인공 신경망으로 구성되어 있는 인공지능이 개발자에게 감독 학습(교육)을 받은 후 비감독 학습(자습)을 수행해 번역 성능을 향상시켰다. 바둑 인공지능 알파고가 수 많은 자체 대국으로 기력을 향상시킨 것과 동일한 원리다.

신경망 번역의 가장 큰 장점은 사람처럼 문장을 인식해서 번역한다는 것이다. 특정 국가의 원어민은 해당 언어를 읽을 때 단어과 어구를 구별해서 읽지 않는다. 문장 전체를 한 눈에 파악한 후 바로 뜻을 이해한다. 신경망 번역도 마찬가지다. 문장 전체를 이해한 후 번역을 진행한다. 때문에 문법이 다른 언어도 제대로 번역되고, 다의어도 문장 전체의 흐름 속에서 알맞는 것을 찾아낸다.

무엇보다 신경망 기반 기계 번역은 인공지능이 성능을 강화하면 강화할 수록 번역 능력도 함께 향상되는 장점이 있다. 현재는 70~80% 정도의 정확도를 보여주지만, 언젠가는 정확도가 99%까지 향상될지도 모를 일이다. (신경망 번역과 동일한 기술을 이용하는 이미지 인식 인공지능의 경우 이미 정확도가 97%까지 향상된 상태다.) 신경망 번역의 정확도가 90%를 넘으면 사람을 대신해 번역을 맡겨도 될 정도로 수준 높은 번역 품질을 보여줄 것으로 기대받고 있다.

물론 신경망 번역에 장점만 있는 것은 아니다. 현재 신경망 번역의 가장 큰 단점으로 꼽히는 것이 번역 속도가 매우 느리다는 점이다. 매우 복잡한 인공 신경망을 거쳐서 번역이 진행되기 때문이 번역할 문장이 길어지면 길어질 수록 처리 속도가 급격히 느려진다.

IT 업체들 역시 이 문제를 인지하고 해결하기 위해 GPGPU와 TPU를 활용해 번역 서비스를 제공 중인 클라우드 컴퓨팅 서비스의 성능을 강화하고 있고, 오픈소스를 활용한 인공 신경망 처리 속도 최적화에 심혈을 기울이고 있다. (일부 신경망 번역의 경우 이 문제 때문에 한 번에 번역할 수 있는 문장의 길이에 제한을 둔 상태다.)

신경망 번역의 품질은?

그렇다면 신경망 번역은 기존 번역 기술에 비해 얼마나 뛰어난 모습을 보여줄까? 백문이 불여 일견이다. 신경망 번역이 적용된 구글 번역, 네이버 파파고, 마이크로소프트 빙 번역을 통해 자세히 알아보자. 번역 결과물은 번역 이후 아무런 추가 편집을 하지 않았다.

다음 영어 예문은 위키피디아 구글 번역 문단의 서두다.

"Google Translate is a free multilingual machine translation service developed by Google, to translate text, speech, images, sites, or real-time video from one language into another. It offers a web interface, mobile apps for Android and iOS, and an API that helps developers build browser extensions and software applications. Google Translate supports over 100 languages at various levels and as of May 2013, serves over 200 million people daily.

In November 2016, Google announced that Google Translate would switch to a neural machine translation engine, which translates "whole sentences at a time, rather than just piece by piece. It uses this broader context to help it figure out the most relevant translation, which it then rearranges and adjusts to be more like a human speaking with proper grammar". The new translation engine will first be enabled for eight languages: to and from English and French, German, Spanish, Portuguese, Chinese, Japanese, Korean and Turkish."

이를 기존의 번역 방식인 통계 기반 기계 번역(구 구글 번역)을 활용해 번역해보자.

"구글 번역이 개발 한 무료 다국어 기계 번역 서비스 구글 한 언어에서 다른 언어로의 텍스트, 음성, 이미지, 사이트, 또는 실시간 비디오 번역. 그것은 웹 인터페이스, 모바일 앱을 제공 안드로이드 와 아이폰 OS 및 API 개발자가 구축 할 수 있도록 브라우저 확장 및 소프트웨어 응용 프로그램을. 구글은 다양한 수준에서 100 개 이상의 언어 지원을 번역 월 2013 년으로, 2 억 명 이상이 매일 제공합니다.

년 11 월 2016 년, 구글은 구글 오히려 조각에 의해 단지 조각보다, 한 번에 "전체 문장을 번역하는 신경 기계 번역 엔진으로 전환 할 번역했다고 발표했다. 그것은 가장 관련성이 높은 번역을 알아내는 데 도움이 폭 넓은 문맥을 사용하는 그 다음 재 배열보다 적절한 문법과 인간 말하기 '처럼 조정됩니다. 새로운 번역 엔진은 처음 8 개 언어를 사용할 수됩니다. 와 한국어와 터키어 영어, 프랑스어, 독일어, 스페인어, 포르투갈어, 중국어, 일본어에서"

기대 이상(?)으로 처참한 결과를 보여준다. 영어와 한국어의 문법 구조가 다르기 때문에 문장이 매끄럽게 번역되지 않는다. 마침표가 전혀 엉뚱한 곳에 찍혀있는 것도 종종 눈에 띈다. 단어 자체의 뜻은 제대로 번역되기 때문에 사용자는 이렇게 어색하게 번역된 문장을 재배치해서 읽어햐 했다.

신경망 번역이 도입된 구글 번역을 활용해 번역을 진행해보자.

구글 번역

"Google 번역은 텍스트, 음성, 이미지, 사이트 또는 실시간 비디오를 한 언어에서 다른 언어로 번역하기 위해 Google에서 개발 한 무료 다국어 기계 번역 서비스입니다. 웹 인터페이스, Android 및 iOS 용 모바일 앱, 개발자가 브라우저 확장 및 소프트웨어 응용 프로그램을 작성하는 데 도움이되는 API를 제공합니다. Google 번역은 다양한 수준에서 100 개 이상의 언어를 지원하며 2013 년 5 월 현재 매일 2 억 명이 넘습니다.

2016 년 11 월, Google은 Google 번역을 신경 기계 번역 엔진으로 전환한다고 발표했습니다. 신경 엔진 번역 엔진은 한 번에 한 문장 씩 번역하기보다는 한 번에 전체 문장을 번역하는 엔진으로,이 광범위한 문맥을 사용하여 가장 관련있는 번역을 찾습니다. 적절한 문법으로 사람이 말하는 것처럼 더 잘 정리되고 조정됩니다. 새 번역 엔진은 영어와 프랑스어, 독일어, 스페인어, 포르투갈어, 중국어, 일본어, 한국어 및 터키어 등 8 개 언어로 지원됩니다."

어색하기 짝이 없었던 기존의 통계 기반 기계 번역과 달리 사용자가 무난하게 읽을 수 있을 정도로 수준 높은 번역을 보여준다. 무엇보다 문법을 제대로 지키고 있는 점이 눈에 띈다. 때문에 사용자는 별도의 추가 번역 과정을 거치지 않고 바로 문장을 읽고 뜻을 이해할 수 있다.

마찬가지로 신경망 번역이 도입된 네이버 파파고는 어느 정도의 번역 품질을 보여줄까?

네이버 파파고

"구글 번역기는 구글이 개발한 무료 다국어 번역 서비스이다. 텍스트, 음성, 이미지, 사이트 또는 실시간 비디오를 하나의 언어로 변환합니다. 그것은 웹 인터페이스를 위한 웹 인터페이스, 안드로이드와 iOS를 제공하고 개발자들이 브라우저 확장과 소프트웨어 응용 프로그램을 만드는 API를 제공한다. 구글 번역은 다양한 레벨에서 100개 이상의 언어를 지원하고 있으며, 2013년 5월이면 하루에 2억명 이상이 넘는다.

2016년 11월 구글은 구글 번역기 번역 엔진으로 전환할 것이라고 발표했다. 각각의 문장을 단순히 조각보다는 한번씩 통째로 번역하는 것이며, 적절한 문법을 가진 사람들과 더 닮은 것처럼 행동하고 조절한다. 새로운 번역 엔진은 8개 국어로 번역될 것이다:영어와 프랑스어, 독일어, 스페인어, 포르투갈어, 중국어, 일본어, 한국어, 일본어."

번역 품질은 구글 번역과 대동소이하지만, 한 번에 번역할 수 있는 문장의 길이에 200자 제한이 있기 때문에 사용이 조금 불편한 점이 아쉽다(200자 넘는 문장을 번역할 경우 신경망 번역 대신 통계 기반 기계 번역을 이용하니 주의할 것). 번역한 문장도 200자 제한을 넘지 않도록 한 문장씩 나눠서 번역했다. 하루빨리 200자 제한이 풀리길 기대한다. 파파고 역시 데이터 수집을 통해 인공지능이 강화되면 강화될 수록 번역 품질이 향상될 것으로 기대받고 있다.

세 번째로 구글과 전 세계 번역 서비스 시장을 양분 중인 MS의 빙 번역의 품질을 확인해보자. 빙 번역 역시 신경망 번역이 도입된 상태다.

"Google 번역은 다른 텍스트, 음성, 이미지, 사이트, 또는 하나의 언어에서 실시간 비디오를 번역 Google에 의해 개발 된 무료 다국어 기계 번역 서비스. 브라우저 확장 기능 및 소프트웨어 어플리케이션을 구축 하는 안 드 로이드와 iOS, 그리고 도움이 개발자 API에 대 한 모바일 애플리케이션, 그것은 웹 인터페이스를 제공 합니다. Google 번역, 매일 200 백만 이상 사람들은 5 월 2013 현재 다양 한 수준에서 100 개 이상의 언어를 지원 합니다.

2016 년 11 월, 구글 Google 번역 "전체 문장 한 번에 보다는 그냥 조각 변환 신경 기계 번역 엔진을 전환할 것 이라고 발표. 이 광범위 한 컨텍스트 도움을 사용 하 여 가장 관련성이 높은 번역, 그것은 다음 다시 정렬하고 적절 한 문법으로 인간의 말하기 같이 더 많은 것 조정 파악 ". 8 개의 언어에 대한 새로운 번역 엔진 사용할 먼저: 영어와 프랑스어, 독일어, 스페인어, 포르투갈어, 중국어, 일본어, 한국어, 터키어에서."

번역 품질은 구글 번역보다 약간 떨어지는 편이며, 문장이 조금 딱딱하게 번역되는 점이 아쉽다.

세계 최대의 번역 서비스 업체인 시스트란 인터내셔널도 자사의 서비스에 신경망 번역 기술을 도입했다. 얼마나 매끄럽게 번역될까?

"구글 번역은 구글에 의해 개발된 무료 다국어 자동 번역 서비스, 텍스트, 연설, 이미지, 사이트, 또는 실시간 비디오를 다른 언어로 번역한다. 그것은 웹 인터페이스와 안드로이드와 iOS를 위한 모바일 앱을 제공하며, 개발자들이 브라우저 확장 및 소프트웨어 응용 프로그램을 만드는 데 도움이 되는 API를 제공합니다. 구글 번역은 다양한 수준에서 100 개 이상의 언어를 사용하고 2013 년 5 월 현재 매일 2 억 명이 넘는 사람들을 제공한다.

2016 년 11 월 구글은 구글 번역이 신경기계 번역엔진으로 전환될 것이라고 발표했다. 그것은 이 더 넓은 문맥을 사용하여, 그것이 가장 적절한 문법을 가지고 있는 사람과 다시 조정되고 적응하는 것을 돕는 가장 중요한 번역법을 사용한다. 새로운 번역엔진은 8 개 언어로 먼저 사용할 수 있습니다. 영어, 프랑스어, 독일어, 포르투갈어, 중국어, 일본어, 한국어, 그리고 터키어."

매우 매끄러운 번역을 제공하지만, 문장이 조금 딱딱하게 나오는 것이 옥에 티다.

신경망 번역은 어디서 이용할 수 있나?

현재 대부분의 신경망 번역은 사용자들이 무료로 이용할 수 있도록 공개된 상태다.

구글의 신경망 번역 서비스는 구글 번역 홈페이지(https://translate.google.com/?hl=ko&tab=TT&authuser=0)와 구글 번역 앱을 통해 이용할 수 있다. 크롬 웹 브라우저에 포함된 구글 번역 기능에는 아직 신경망 번역이 적용되지 않은 상태이니 주의할 것. 크롬 웹 브라우저에서 신경망 번역 기능을 이용하려면 크롬 웹 스토어에서 구글 번역 앱을 내려받아 설치해야 한다. 신경망 번역 서비스는 영어, 프랑스어, 독일어, 포르투갈어, 중국어, 일본어, 한국어, 터키어 등 8개 국가 언어에 먼저 적용된 상태다.

네이버의 신경망 번역 서비스는 네이버 번역 홈페이지(http://translate.naver.com/#/en/ko)와 파파고 앱을 통해 이용할 수 있다. 현재 베타 테스트 중인 네이버 웨일 브라우저에서도 바로 이용할 수 있다. 한국어, 영어, 중국어, 일본어 등 4개국어를 지원한다.

MS의 빙 번역 서비스는 MS 빙 번역 홈페이지(https://www.bing.com/translator)와 빙 번역 앱 그리고 윈도우10에 포함된 엣지 브라우저의 빙 번역 확장 프로그램을 통해 이용할 수 있다.

시스트란의 서비스는 조금 다른 형태로 제공된다. 시스트란의 홈페이지(https://demo-pnmt.systran.net/production#/translation)를 통해 일반 사용자는 무료로 베타 서비스를 이용할 수 있고, 향후 한컴오피스 네오 등에 번역 서비스가 추가될 계획이다. 시스트란의 신경망 번역은 번역 전문 업체 답게 총 19개국 언어를 지원한다.

신경망 번역 이후의 번역 기술 발전 방향은?

지속적인 기술 발전으로 마침내 언어의 장벽이 무너지려 하고 있다. 하지만 여기서 만족할 수는 없는 노릇. 신경망 번역 이후 번역 기술은 어떤 방향으로 발전할까?

많은 전문가들이 입을 모아 차세대 번역은 실시간성(Real Time)에 초점을 맞출 것으로 예상했다. 실시간 번역이란 우리가 번역 서비스를 이용한다는 느낌조차 받을 수 없을 정도로 언어가 빠르게 번역되는 기술이다. 단순히 빠르게 번역되는 것뿐만 아니라 문장(텍스트) 번역에 초점이 맞춰져 있던 지금까지와 달리 이미지와 음성 번역도 재빨리 수행할 수 있게 된다.

이러한 실시간 번역을 완성하기 위해 많은 IT 업체들이 OCR(광학 문자 판독기술)와 자연어 음성 처리 관련 기술 확보에 공을 들이고 있다. 그 성과도 얼마 전부터 나타나고 있다. OCR 기술을 활용해 스마트폰 카메라만 가져다 대면 바로 문자를 읽고 번역해주는 서비스(구글 워드렌즈 등)가 등장했고, 한국어로 말하면 영어로 번역해서 대신 말해주고 상대가 영어로 말하면 이를 바로 한국어로 바꿔서 들려주는 실시간 언어 통역 서비스도 상용화되고 있다.

외국 여행을 가서 언어의 장벽 때문에 곤란을 겪지 않아도 되는 세상이 코 앞으로 다가온 것이다.

글 / IT동아 강일용(zero@itdonga.com)