저자원 언어 AI 번역, 성과는 확인됐지만 병목은 여전…기록과 데이터 권리가 함께 가야 하는 이유
저자원 언어를 위한 AI 번역은 이미 일정한 성과를 냈다. 다만 그 성과는 ‘모델이 좋아져서’라기보다, 해당 언어를 학습할 수 있는 말뭉치와 평가용 번역문을 얼마나 확보했는지에 크게 좌우됐다. 원주민 언어를 포함한 소수언어에서 병목이 반복되는 이유도 여기에 있다. 언어 기록 사업이 필요한 까닭은 단순한 문화 보존이 아니라, AI 번역의 학습 자료와 평가 기준 자체를 만들기 위해서다.
유네스코는 현재 세계에서 사용되는 언어가 약 7000개이며, 이 가운데 교육의 매개 언어로 쓰이는 언어는 351개뿐이라고 본다. 또 원주민은 세계 인구의 약 6%지만 4000개가 넘는 언어를 사용한다는 것이 유엔 계열 자료의 공통된 설명이다. 반대로 AI 번역과 검색, 디지털 서비스는 극히 일부 대형 언어를 중심으로 설계돼 왔다. 번역 성능 격차가 기술의 문제가 되기 전에 먼저 언어 자원의 격차로 나타나는 구조다.
200개 언어로 넓어진 번역, 그러나 전제는 대규모 데이터 구축
저자원 언어 번역의 가시적 성과로는 메타의 NLLB 프로젝트가 자주 거론된다. 이 프로젝트는 200개 언어, 약 4만개의 번역 방향을 평가할 수 있는 FLORES-200 벤치마크를 함께 구축했고, 이전 최고 성능 대비 44%의 상대적 BLEU 향상을 보고했다. 같은 연구는 저자원 언어에서 병렬 데이터가 부족한 문제를 완화하려고 데이터 마이닝과 역번역, 언어 간 전이학습을 대규모로 결합했다는 점을 핵심으로 제시했다.
이 결과는 두 가지를 함께 보여준다. 첫째, 저자원 언어도 충분한 학습 자료와 평가 체계를 갖추면 번역 품질을 끌어올릴 수 있다는 점이다. 둘째, 성능 개선의 출발점이 결국 데이터 구축이라는 점이다. 사람이 번역한 평가 문장, 표기 체계 정비, 잡음 제거, 독성 검토 같은 기반 작업 없이는 모델 규모를 키워도 품질 향상이 제한적이라는 뜻이다.
LLM이 만능은 아니었다…자원 수준이 성능을 갈랐다
최근 대형언어모델이 번역까지 해결할 것이라는 기대도 있었지만, 검증 결과는 더 보수적이다. 204개 언어를 FLORES-200으로 시험한 연구에서는 GPT 계열 모델이 고자원 언어 일부에서는 기존 기계번역과 비슷하거나 더 나은 결과를 냈지만, 전체적으로는 전통적 번역 시스템보다 뒤처졌다. 특히 비교 대상 언어의 84.1%에서 기존 번역 시스템이 더 나았고, 연구진은 언어의 자원 수준이 성능을 가르는 가장 중요한 변수라고 정리했다.
이는 저자원 언어 문제를 ‘최신 모델이 나오면 저절로 해결된다’고 보기 어렵다는 뜻이다. 학습에 쓰일 공개 텍스트가 적고, 맞춤법이나 표기 관습이 표준화되지 않았으며, 검증용 기준 번역문도 부족한 언어에서는 생성형 AI가 그럴듯한 출력을 내더라도 정확성을 꾸준히 보장하기 어렵다. NLLB 논문 역시 대규모 다언어 평가에서 사람 평가자 간 일치도가 높지 않다는 점을 한계로 적었는데, 실제 현장에서는 벤치마크 점수보다 더 세밀한 검증이 필요하다는 의미다.
왜 기록 사업이 곧 AI 인프라인가…데이터 권리도 함께 따져야
원주민 언어 기록 사업이 중요한 이유는 여기서 분명해진다. 음성 녹음, 구술 채록, 사전 편찬, 병렬 번역문 작성, 표기 규칙 정비 같은 작업이 있어야만 말뭉치가 생기고, 그다음에야 번역 모델을 학습시키거나 성능을 평가할 수 있다. 특히 글보다 말로 전승된 언어, 표기 자료가 적은 언어, 세대 간 전승이 약해진 언어일수록 먼저 필요한 것은 모델 개발보다 기록과 정리다.
다만 기록이 곧바로 개방형 데이터가 돼야 한다는 뜻은 아니다. 원주민 언어 자료에는 일상어만 아니라 구전 지식, 의례, 지명, 공동체 내부의 문화 정보가 함께 들어가는 경우가 많다. 글로벌 원주민 데이터 연합이 제시한 CARE 원칙은 데이터 활용에서 집단적 이익, 통제 권한, 책임, 윤리를 함께 보라고 요구한다. 캐나다의 퍼스트 피플스 컬처럴 카운슬이 운영하는 FirstVoices는 이런 원칙을 실제 운영에 반영한 사례다. 이 플랫폼은 공동체가 자신의 언어 자료를 직접 관리하도록 설계됐고, 2023/24 보고서 기준으로 6만8300건이 넘는 단어·구절·기타 콘텐츠가 축적됐다. 플랫폼 개편 과정에서도 250명이 넘는 원주민 이용자 의견을 반영했다.
이 사례는 저자원 언어 AI의 해법이 ‘더 많이 수집’이 아니라 ‘누가 어떤 조건으로 수집하고 통제하느냐’까지 포함해야 한다는 점을 보여준다. 데이터 권리를 무시한 채 외부 기업이나 연구기관이 자료를 긁어모으면 단기적으로는 모델 학습량이 늘 수 있어도, 장기적으로는 공동체 협력을 잃고 자료 제공이 끊길 가능성이 크다. 반대로 공동체가 소유권과 공개 범위를 정한 상태에서 기록과 디지털화를 진행하면, 보존과 활용을 함께 추구할 여지가 커진다.
한국에선 무엇이 먼저 필요한가
한국에서도 시사점은 분명하다. 국립국어원은 한국어-한국수어 병렬 말뭉치를 2024년에 100만 어절 규모로 구축하겠다고 밝히며, 자동 번역 기술 개발의 기반을 공공 언어자원으로 마련하고 있다. 저자원 언어·접근성 언어 분야에서 성능 향상을 원한다면, 먼저 병렬 자료와 균형 말뭉치를 쌓아야 한다는 점을 보여주는 국내 사례다.
반면 제주어처럼 소멸 위험이 거론돼 온 언어는 보전 필요성에 대한 사회적 인식에 비해 공공 AI 학습 자원의 축적이 아직 충분하다고 보기 어렵다. 이 경우 정책의 우선순위는 상용 서비스 도입보다 원어민 음성 기록, 어휘와 문장 단위의 정리, 공개 범위에 대한 지역사회 합의, 후속 연구에 쓸 수 있는 표준화된 자료 구축에 놓일 가능성이 크다. 저자원 언어 AI 번역의 성과와 한계를 가르는 기준은 결국 모델 이름이 아니라 언어 자원, 데이터 권리, 그리고 품질을 검증할 수 있는 기준 문장을 누가 어떻게 갖추고 있느냐다.
자료: UNESCO, What is the IDIL 2022-2032; UNESCO, New UNESCO report calls for multilingual education to unlock learning and inclusion(2025); UNESCO, Indigenous practitioners work with UNESCO to revitalize languages(2026); Marta R. Costa-jussà 외, No Language Left Behind: Scaling Human-Centered Machine Translation(2022); Nature, Scaling neural machine translation to 200 languages(2024); Nathaniel R. Robinson 외, ChatGPT MT: Competitive for High- (but not Low-) Resource Languages(2023); Global Indigenous Data Alliance, The CARE Principles for Indigenous Data Governance(2020); First Peoples’ Cultural Council, 2023/24 Annual Service Plan Report(2024); 국립국어원, 2024년 한국어-한국수어 병렬 말뭉치 구축(2024)