수어 자동번역 AI, 손동작만으로는 부족…표정·몸통·문법 함께 읽어야
수어 자동번역 AI의 성과를 확인할 때 가장 먼저 걸러야 할 오해는 수어를 손동작의 사전 대응으로 볼 수 있느냐는 점이다. 확인된 자료를 보면 답은 분명히 아니다. 한국수어는 한국어와 문법 체계가 다른 독립된 언어이고, 같은 손동작이라도 표정과 머리·몸의 움직임에 따라 뜻과 문장 기능이 달라질 수 있다. 따라서 손 모양만 읽는 시스템은 시연 단계에서는 그럴듯해 보여도, 실제 번역 정확도와 문법 해석에서는 구조적인 한계를 안게 된다.
이 점은 한국의 공공 설명 자료에서도 바로 확인된다. 국립국어원은 한국수어 소개에서 손 모양과 위치, 방향, 움직임뿐 아니라 표정에 따라 의미가 달라진다고 설명한다. 예시로는 같은 손동작이라도 평서와 질문이 표정으로 구분되는 경우를 제시한다. 한국수어를 한국어와 다른 고유한 문법 체계를 가진 언어로 본다는 점도 분명히 밝히고 있다.
손만 본 모델보다 비수지 신호를 함께 본 모델이 더 나은 이유
연구에서도 이런 차이는 수치로 드러난다. 2020년 국제학회 LREC에 발표된 카자흐-러시아 수어 인식 연구는 질문과 평서처럼 손동작은 비슷하지만 눈썹, 입모양, 머리 위치가 다른 20개 부류를 비교했다. 다섯 명의 원어민 수어 사용자가 만든 5200개 표본에서 손동작만 썼을 때 평균 정확도는 73.4%였고, 얼굴과 머리 등 비수지 신호를 함께 넣자 77.0%로 올랐다. 질문과 평서의 2분류 실험도 73.9%에서 77.36%로 개선됐다. 연구진은 손동작이 같은데 얼굴 표현만 바뀌는 표본에서 혼동이 특히 컸고, 비수지 신호를 추가하면 그 혼동이 줄었다고 설명했다.
다만 여기서 바로 ‘얼굴만 넣으면 해결된다’고 결론 내리기도 어렵다. 같은 연구에서 눈썹만 더한 조합은 정확도가 73.25%로 오히려 손동작만 쓴 경우와 큰 차이가 없었다. 반면 얼굴선·눈썹·눈·입을 함께 묶은 조합은 78.2%까지 올라갔다. 비수지 신호도 한두 요소를 덧붙이는 수준이 아니라, 어떤 신호가 어떤 문법 기능을 맡는지 구조적으로 반영해야 효과가 난다는 뜻이다.
얼굴이 중요하지만, 언제나 많이 넣는다고 최고 성능이 나오는 것은 아니다
다른 언어권 실험도 비슷한 결론을 보여준다. 2024년 멕시코 수어-스페인어 양방향 번역 연구는 손, 얼굴, 몸통 조합을 달리해 여러 조건을 비교했다. 깨끗한 기준 환경에서는 손+몸통 조합이 가장 높은 정확도를 낸 모델이 있었고, 손+얼굴+몸통을 모두 넣은 조합이 항상 최고는 아니었다. 하지만 키포인트 누락이나 잡음을 준 더 거친 조건에서는 손만 본 모델보다 손+얼굴+몸통 조합이 더 버티는 경우가 확인됐다. 예를 들어 한 LSTM 실험에서는 손만 사용한 조건의 정확도가 0.4492였는데, 손+얼굴+몸통을 함께 쓴 조건은 0.5712였다.
이 대목은 현재 수어 AI의 성과를 읽는 기준을 바꿔 놓는다. 특정 논문이나 시연에서 90% 안팎의 높은 정확도가 나와도, 그것이 어떤 어휘 수와 어떤 촬영 환경, 몇 명의 화자, 어떤 언어에서 나온 값인지를 따져야 한다는 뜻이다. 최근 종설 논문들도 정확도 수치는 데이터셋 규모, 화자 수, 평가 방식에 따라 크게 달라져 연구끼리 단순 비교가 어렵다고 지적한다. 손동작만으로도 제한된 어휘나 통제된 환경에서는 높은 수치가 나올 수 있지만, 문장 단위 번역과 실제 현장 적용으로 가면 표정, 시선, 입모양, 머리와 상체 움직임, 문맥 정보가 빠르게 중요해진다.
한계는 기술만이 아니라 번역의 성격 자체에서 나온다
세계농아인연맹은 2019년 입장문에서 자동 수어 번역과 서명 아바타 기술이 발전하더라도, 수어를 단어 대 단어로 옮기는 방식으로 이해해서는 안 된다고 못 박았다. 수어는 고유한 복합 구조와 문화적 맥락을 가진 완전한 언어이기 때문에, 정확한 번역에는 문맥과 문화 규범을 함께 고려해야 한다는 것이다. 연맹은 또 기계학습 기반 자동번역 기술 설계에 농 공동체가 참여하는 것이 중요하다고 강조했다.
이 경고는 기술 부정이 아니라 적용 범위의 구분에 가깝다. 미리 준비된 공공 안내, 짧은 고정 문구, 교육용 콘텐츠, 제한된 주제의 검색 서비스에서는 자동화가 점차 쓸모를 넓힐 수 있다. 반면 실시간 대화, 행정 절차, 교육, 의료, 법률처럼 문맥과 표현의 세부 차이가 중요한 장면에서는 자동 시스템이 아직 사람 통역을 대체한다고 보기 어렵다. 세계농아인연맹도 기술의 이점을 인정하면서도, 공동체와 회의 환경에서는 대면 통역을 대체해서는 안 된다고 밝혔다.
한국 적용성은 충분히 크지만, 손 인식 중심 접근으로는 부족하다
한국 적용성은 작지 않다. 한국수화언어법은 한국수어를 대한민국 농인의 공용어로 인정하고, 국가와 지방자치단체가 수어 통역 제공과 한국수어 정보화 정책을 추진하도록 규정하고 있다. 법과 정책 차원에서 한국수어의 디지털 활용 기반을 넓히고 있다는 뜻이다.
연구와 데이터도 쌓이고 있다. 2022년 소개된 NIASL2021 데이터셋은 20만1026개의 한국어-한국수어 쌍을 포함하고, 영상·키포인트·시간 정렬 주석과 함께 8종의 비수지 신호 정보를 담았다고 보고됐다. 2025년 발표된 한국수어 운율 연구는 한국수어에서 경계와 두드러짐을 표시할 때 수지 신호와 비수지 신호가 함께 작동한다고 분석했다. 또 최근 한국수어 비수지 신호 분류 연구는 한국어-한국수어 병렬 말뭉치 2022가 비수지 신호에 대한 구조화된 주석을 제공하는 드문 공개 자료라고 설명한다.
이런 흐름을 종합하면, 한국에서도 수어 AI의 다음 경쟁력은 단순한 손 검출 정밀도보다 언어 정보의 폭에 달려 있다고 볼 수 있다. 손 모양을 더 잘 읽는 기술은 여전히 중요하지만, 질문형 표정, 입모양, 머리 기울기, 상체 움직임처럼 문법과 운율을 함께 읽는 설계가 빠지면 번역 품질은 일정 수준 이상 올라가기 어렵다. 수어 자동번역 AI의 실제 성과는 ‘손을 얼마나 잘 잡느냐’보다 ‘언어로서의 수어를 얼마나 온전히 모델링하느냐’에서 갈릴 가능성이 크다.
자료: 국립국어원, 수어 소개(열람 2026년 10월 22일); 대한민국 법령, 한국수화언어법 영문본(열람 2026년 10월 22일); World Federation of the Deaf, WFD Position Paper on Accessibility: Sign Language Interpreting and translation and technological developments(2019년 2월 7일); Kimmelman 외, Evaluation of Manual and Non-manual Components for Sign Language Recognition(2020); Montaño Orozco 외, Towards a Bidirectional Mexican Sign Language–Spanish Translation System: A Deep Learning Approach(2024); Huerta-Enochian 외, KoSign Sign Language Translation Project: Introducing The NIASL2021 Dataset(2022); Sohn 외, Visual prosody in Korean Sign Language: (non)manual cues for boundary and prominence(2025); Shahriar 외, A Comprehensive Review of SLR Systems: Challenges, Datasets, and Unresolved Gaps(2026)