말 대신 손짓도 AI가 번역한다…구글 ‘수어→문자’가 스마트폰에
음성인식 기술은 지난 10여 년 동안 눈에 띄게 발전했다. 사람의 말을 받아쓰고, 다른 언어로 번역하고, 음성명령으로 앱을 실행하는 기능이 스마트폰의 기본 기능이 됐다. 하지만 이 변화에서 오랫동안 비켜나 있던 언어가 있다. 바로 수어다.
구글 딥마인드는 8월 12일 수어를 실시간 문자로 바꾸는 다국어 모델 SL2T(Sign-Language-to-Text)를 공개했고, 이를 픽셀 11의 Gboard와 Live Transcribe에 실제 적용하기 시작했다. 초기 서비스는 미국수어(ASL)를 영어 문장으로 변환하는 형태지만, 구글은 향후 더 많은 수어와 기기로 확대할 계획이다. 딥마인드는 전 세계에 200개가 넘는 수어가 존재하고, 약 7000만명의 청각장애인과 난청인이 이를 사용한다고 설명한다.
이 기능의 의미는 카메라로 손동작을 읽어 글자로 바꾼다는 데서 끝나지 않는다. 수어는 손 모양만으로 의미가 만들어지는 언어가 아니라 얼굴 표정과 머리 움직임, 몸의 방향, 공간에서 손이 움직이는 위치까지 동시에 조합해 문장을 만든다. 단어를 하나씩 인식해서 텍스트로 붙이는 방식만으로는 제대로 번역하기 어렵다.
구글이 이번 기술을 음성 받아쓰기와 비슷한 사용자 경험으로 구현하려 한 이유도 여기에 있다. 청각 사용자에게 말하기가 타이핑을 대신할 수 있다면, 수어 사용자에게는 수어가 바로 입력수단이 될 수 있어야 한다는 것이다.
수어는 ‘손으로 하는 영어’가 아니다
수어 번역 기술이 음성인식보다 늦게 발전한 가장 큰 이유 가운데 하나는 수어를 바라보는 기술적 접근이 오랫동안 단순했다는 데 있다.
초기 수어 인식 시스템은 손가락과 손목 움직임을 센서 장갑으로 읽거나, 특정 제스처 하나를 단어 하나와 연결하는 방식이 많았다. 하지만 실제 수어는 이런 식으로 작동하지 않는다.
미국수어를 예로 들면 영어와 어순도 다르고 문법 구조도 다르다. 같은 손동작이라도 얼굴 표정이나 몸의 방향에 따라 문장의 의미가 달라질 수 있고, 질문인지 평서문인지도 눈썹이나 머리 움직임 같은 비수지 신호가 함께 전달한다.
딥마인드 역시 수어 번역의 핵심 난제를 두 가지로 설명한다. 첫 번째는 수어가 음성언어의 단순한 시각적 표현이 아니라 독립적인 자연언어라는 점이고, 두 번째는 손과 팔뿐 아니라 얼굴과 몸 전체의 움직임을 고속으로 읽어야 한다는 점이다.
따라서 수어 번역은 음성 받아쓰기보다 오히려 기계번역에 가깝다.
영어 음성을 영어 문자로 옮기는 것은 같은 언어의 소리를 글자로 바꾸는 과정이지만, ASL을 영어 텍스트로 변환하는 것은 서로 다른 문법 체계를 가진 언어를 번역하는 과정이기 때문이다.
카메라 영상을 그대로 서버에 보내지 않는다
SL2T에서 기술적으로 눈에 띄는 부분은 개인정보 처리 방식이다.
스마트폰 카메라가 수어 사용자의 영상을 촬영한다고 하면 가장 먼저 떠오르는 우려는 얼굴과 신체 영상이 서버에 전송되느냐는 문제다. 딥마인드는 이를 줄이기 위해 원본 영상을 그대로 번역 서버로 보내지 않는 구조를 택했다.
기기 내부에서 MediaPipe Holistic 모델이 먼저 손과 얼굴, 몸의 주요 지점을 좌표로 변환한다. 실제 영상은 여기에서 버려지고, 서버에는 사람의 형태를 나타내는 기하학적 좌표 정보만 전송된다. SL2T는 이 좌표의 연속적인 움직임을 분석해 텍스트를 생성한다.
이 방식은 두 가지 의미가 있다.
먼저 원본 얼굴 영상이 서버로 전달되는 것을 줄여 개인정보 보호 측면에서 유리하다. 동시에 영상 전체를 전송하는 것보다 데이터량을 줄일 수 있어 실시간 번역에 필요한 지연시간을 낮추는 데도 도움이 된다.
다만 좌표 정보라고 해서 개인정보 문제가 완전히 사라지는 것은 아니다. 사람의 움직임 패턴이나 신체 특징 자체가 개인을 구분할 수 있는 정보가 될 가능성이 있기 때문에, 장기적으로 어떤 데이터를 저장하고 얼마나 보관하는지에 대한 기준은 계속 중요하다.
10만시간 넘는 수어 데이터, 50개 이상 언어를 함께 학습했다
수어 AI가 발전하기 어려웠던 또 다른 이유는 데이터 부족이다.
음성인식 모델은 인터넷과 방송, 전화통화 등에서 방대한 음성데이터를 확보할 수 있지만 수어는 상황이 다르다. 같은 의미라도 지역과 세대, 개인에 따라 표현이 달라질 수 있고, 촬영 각도와 조명, 손의 위치에 따라 데이터 품질도 크게 달라진다.
딥마인드는 SL2T를 50개가 넘는 수어에서 수집한 10만시간 이상의 데이터로 학습했다고 밝혔다. 이 가운데 약 4분의 1은 미국수어 데이터였다.
특히 여러 언어를 함께 학습한 점이 중요하다.
연구진은 서로 다른 수어와 방언, 숙련도 수준을 한 모델에서 함께 학습시키면 특정 언어 하나만 따로 학습한 모델보다 더 일반적인 움직임과 언어 구조를 배울 수 있다고 설명한다.
음성언어에서도 다국어 모델이 저자원 언어의 성능을 끌어올리는 것처럼, 수어에서도 대규모 다국어 학습이 비슷한 효과를 낼 수 있다는 것이다.
이 접근이 안정적으로 작동한다면 사용자가 적어 충분한 데이터 확보가 어려운 수어에서도 기술 확산 가능성이 커질 수 있다.
‘글로스’를 거치지 않고 바로 문장으로 번역한다
기존 수어 번역 연구에서는 ‘글로스(gloss)’라는 중간표현을 많이 사용했다.
글로스는 수어의 동작을 특정 단어 형태로 표기한 일종의 주석인데, 영상 속 수어를 먼저 글로스로 바꾸고 다시 자연어 문장으로 번역하는 방식이다.
하지만 이 방법에는 한계가 있다.
수어의 모든 의미가 손동작의 단어표현으로만 전달되는 것이 아니기 때문이다. 얼굴 표정과 공간 활용, 몸의 방향처럼 동시에 발생하는 정보는 글로스만으로 충분히 표현하기 어렵다.
SL2T는 이런 중간단계를 거치지 않는다.
신체 좌표의 움직임을 직접 받아 최종 텍스트를 생성한다. 딥마인드는 이 방식이 글로스 어휘에 묶이지 않고 더 복잡한 수어 표현까지 학습할 수 있다는 장점이 있다고 설명한다.
수어 번역 연구에서도 최근 글로스 의존도를 낮추려는 흐름이 이어지고 있다. 구글 연구진이 2025년 NeurIPS에 발표한 별도 연구 역시 인간이 직접 붙인 글로스 주석이 비용이 많이 들고 확장성이 낮다는 점을 문제로 지적했다.
결국 대규모 수어 AI를 만들려면 사람이 일일이 중간표현을 붙여주는 방식에서 벗어나는 것이 필요하다는 의미다.
픽셀 11에서는 실제로 어떻게 쓰나
이번 기술은 연구실 데모에 그치지 않고 픽셀 11에서 바로 사용할 수 있도록 적용됐다는 점에서 의미가 크다.
사용자가 Gboard에서 sign-to-text 기능을 켠 뒤 전면 카메라를 바라보고 미국수어로 표현하면 시스템이 이를 영어 문장으로 변환한다. 변환된 문장은 일반 키보드 입력처럼 메시지나 검색창에 바로 들어간다.
예를 들어 사용자는 수어로 웹 검색어를 입력하거나 메시지를 작성하고, 문서를 쓰거나 Gemini에게 질문을 던질 수 있다.
Live Transcribe에서도 수어 입력을 사용할 수 있다.
상대방의 음성은 기존처럼 문자로 변환하고, 청각장애인 사용자의 답변은 수어를 영어 텍스트로 바꿔주는 방식이다. 음성과 수어가 서로 다른 입력방식으로 하나의 대화 화면에서 연결되는 것이다.
구글은 테스트 과정에서 일부 사용자가 영어를 직접 타이핑하는 것보다 ASL로 표현하는 것이 더 빠르고 자연스럽다고 평가했다고 밝혔다.
이 점은 기술의 의미를 설명하는 데 중요하다.
접근성 기술은 장애인이 비장애인의 사용방식에 맞추도록 만드는 것이 아니라, 자신에게 가장 자연스러운 언어와 방식으로 같은 디지털 서비스를 이용할 수 있게 만드는 쪽으로 발전하고 있기 때문이다.
한 손으로 수어해도 읽어야 스마트폰에서 쓸 수 있다
스마트폰용 수어 번역에는 연구실 환경과 다른 문제가 있다.
사용자가 휴대전화를 한 손에 들고 있으면 두 손을 모두 자유롭게 사용할 수 없기 때문이다.
딥마인드는 이를 고려해 SL2T가 한 손으로 표현하는 수어도 처리할 수 있도록 학습했다고 밝혔다. 왼손잡이 사용자도 전체 수어 사용자의 약 10%를 차지한다고 보고, 좌우 손잡이에 따라 성능 차이가 생기지 않도록 별도로 평가했다.
또 사용자가 실제로 수어를 하지 않는데 모델이 임의로 문장을 만들어내는 문제도 줄이려고 했다.
생성형 AI에서는 입력이 애매할 때 그럴듯한 출력을 만들어내는 환각 현상이 문제인데, 수어 번역에서는 이런 오류가 더 위험할 수 있다. 사용자가 손을 움직였다는 이유만으로 존재하지 않는 말을 생성하면 실제 의사소통이 왜곡되기 때문이다.
그래서 실사용 기술에서는 번역 정확도뿐 아니라 ‘번역하지 말아야 할 때 번역하지 않는 능력’도 중요하다.
벤치마크에서는 크게 좋아졌지만 실제 대화는 더 어렵다
딥마인드는 SL2T가 FLEURS-ASL 벤치마크에서 BLEURT 70의 제로샷 성능을 기록했다고 밝혔다. 기존 공개 모델과 비교해 높은 수준이라는 설명이다.
하지만 벤치마크 점수가 실제 일상 대화의 완벽한 번역을 의미하지는 않는다.
실생활에서는 카메라 위치가 계속 바뀌고, 조명이 어두울 수 있으며, 손이 화면 밖으로 나가거나 다른 사람에게 가려질 수도 있다. 지역별 표현과 속어, 개인의 수어 습관도 다양하다.
특히 수어에서는 공간을 이용해 사람이나 사물을 지칭하는 표현이 많다.
한번 특정 공간을 사람 A로 설정한 뒤 다시 그 방향을 가리키며 문장을 이어가는 식인데, 이런 장기적인 공간문맥을 모델이 얼마나 안정적으로 기억하는지도 중요한 문제다.
따라서 초기 서비스의 성능을 일반적인 음성 받아쓰기 수준으로 바로 기대하기보다는, 실제 사용자가 얼마나 자연스럽게 사용할 수 있는지를 장기간 확인해야 한다.
미국수어가 된다고 한국수어가 바로 되는 것은 아니다
한국 독자에게 가장 중요한 점 가운데 하나는 미국수어와 한국수어가 서로 다른 언어라는 사실이다.
미국수어를 영어로 번역할 수 있다고 해서 같은 모델이 곧바로 한국수어를 한국어로 번역할 수 있는 것은 아니다.
한국수어는 한국어의 손동작 버전이 아니며 독자적인 문법체계를 가진 언어다. 한국에서는 한국수화언어법에 따라 한국수어가 한국어와 동등한 자격을 가진 농인의 고유한 언어로 법적 지위를 갖고 있다.
따라서 SL2T가 한국에서 의미 있는 기술이 되려면 한국수어 데이터를 충분히 확보하고, 한국 농인사회와 함께 번역의 정확성과 표현방식을 별도로 검증해야 한다.
딥마인드는 추가 수어를 지원하겠다는 방향은 밝혔지만 현재 픽셀 11의 실제 서비스는 ASL에서 시작했다.
향후 다국어 확대가 이뤄질 때 한국수어가 언제 포함될지는 아직 확인해야 할 부분이다.
수어 번역에서 ‘정확도 95%’ 같은 숫자 하나로 평가하기 어려운 이유
음성 받아쓰기는 보통 단어 오류율처럼 비교적 명확한 지표로 성능을 평가할 수 있다.
수어는 더 복잡하다.
같은 내용을 여러 방식으로 표현할 수 있고, 수어 문법을 자연어 문장으로 번역하는 과정에서 문장을 재구성해야 하기 때문이다. 원래 수어에 있던 정보를 너무 자유롭게 바꾸면 의미가 왜곡될 수 있고, 반대로 동작을 직역하면 자연스럽지 않은 문장이 만들어질 수 있다.
특히 의료나 법률, 금융처럼 단어 하나의 차이가 중요한 영역에서는 일반적인 일상 대화보다 훨씬 높은 정확도가 요구된다.
따라서 수어 AI가 확산될수록 어떤 상황에서 자동번역을 그대로 사용할 수 있고, 어떤 상황에서는 전문 수어통역사가 필요한지를 구분하는 기준도 필요해질 가능성이 크다.
AI가 수어통역사를 대체할까
새로운 수어 번역 기술이 등장할 때 가장 쉽게 나오는 질문은 인간 통역사가 필요 없어지는가다.
현재 단계에서는 그렇게 보기 어렵다.
전문 수어통역은 단어와 문장을 바꾸는 작업만이 아니라 상황과 문화적 맥락을 이해하고, 화자의 의도를 파악하며, 양쪽 참가자의 반응에 따라 표현을 조정하는 과정이 포함된다.
의료진이 환자에게 수술 위험을 설명하거나 법정에서 진술을 전달하는 상황에서는 오류 하나의 비용도 크다.
AI 번역은 일상적인 메시지나 검색, 짧은 대화에서 접근성을 높이는 데 강점을 보일 가능성이 크지만 고위험 의사소통까지 인간 전문가 없이 처리하는 단계와는 거리가 있다.
오히려 초기에는 통역사가 없는 일상적인 상황의 공백을 메우는 도구로 보는 편이 적절하다.
개인정보 문제는 얼굴을 지웠다고 끝나지 않는다
딥마인드가 원본 영상을 폐기하고 신체 좌표만 서버로 보내는 방식은 개인정보 보호를 고려한 중요한 설계다.
하지만 수어는 본질적으로 신체 움직임을 기반으로 하기 때문에 새로운 종류의 데이터 문제도 생긴다.
사용자의 키와 팔 길이, 움직임 속도, 습관적인 자세 같은 정보가 장기간 축적된다면 일종의 행동 생체정보처럼 기능할 가능성이 있다. 어느 상황에서 수어를 사용했는지 역시 민감한 맥락정보가 될 수 있다.
따라서 앞으로는 영상 저장 여부뿐 아니라 좌표 데이터가 얼마나 오래 보관되는지, 모델 개선을 위해 재사용되는지, 사용자가 삭제를 요청할 수 있는지 같은 정책도 중요해진다.
AI 접근성 기술의 확산이 개인정보 보호 기준까지 함께 높여야 하는 이유다.
AI가 읽어야 하는 것은 손이 아니라 ‘언어 전체’다
이번 기술에서 가장 큰 변화는 AI가 수어를 제스처 인식의 한 분야로 보지 않기 시작했다는 데 있다.
과거에는 특정 손 모양을 인식하면 그에 대응하는 단어를 출력하는 방식이 많았다. 그러나 이런 접근은 실제 수어의 문법과 표현력을 충분히 담지 못했다.
SL2T는 손과 얼굴, 몸의 움직임을 하나의 시간적 흐름으로 보고 그 전체를 문장으로 번역한다.
이는 AI 기술의 범위가 음성과 문자 중심에서 시각적 언어로 확장되는 과정으로 볼 수 있다.
텍스트와 음성을 처리하는 모델에 이어 수어까지 자연스러운 입력수단이 된다면 스마트폰과 AI 비서의 인터페이스 자체도 달라질 수 있다.
한국에서는 ‘한국수어 데이터’가 가장 큰 관문이 될 가능성
한국에서 비슷한 기술을 상용화하려면 모델 자체보다 데이터 확보가 더 큰 과제가 될 수 있다.
대규모 음성모델은 방송과 팟캐스트, 공개 음성데이터를 활용할 수 있지만 수어 영상은 공개 데이터가 상대적으로 적고 개인정보 문제도 크다.
또 수어는 지역과 세대에 따라 표현 차이가 있고, 농인과 수어를 제2언어로 사용하는 사람 사이에서도 숙련도와 표현방식이 다를 수 있다.
따라서 한국수어 AI를 제대로 만들려면 몇 명의 전문가가 만든 표준 데이터만으로는 부족할 가능성이 높다.
다양한 연령과 지역, 성별, 왼손·오른손 사용자, 실제 생활환경의 데이터를 충분히 포함해야 한다.
무엇보다 데이터 수집과 모델 평가 과정에 농인 당사자가 직접 참여해야 한다.
딥마인드 역시 이번 프로젝트에서 농인 직원과 외부 농인단체, 전문가가 데이터 수집과 평가, 영향평가에 참여했고 별도의 AI Sign Language Advisory Committee를 만들었다고 밝혔다.
접근성 기술이 ‘특수 기능’에서 스마트폰 기본 인터페이스로 이동한다
이번 픽셀 11의 변화가 갖는 가장 큰 의미는 수어 번역 기능이 별도의 연구용 앱이나 장애인 전용 기기에 들어간 것이 아니라 스마트폰의 기본 키보드와 실시간 자막 기능에 통합됐다는 점이다.
접근성 기술이 특정 사용자를 위한 부가 기능에서 일반적인 컴퓨팅 인터페이스의 일부로 들어온 것이다.
구글은 픽셀 11에서 Gboard를 통해 수어로 어디에서든 텍스트를 입력할 수 있게 했고, Live Transcribe에서는 음성과 수어가 함께 사용되는 대화를 지원하기 시작했다.
이 구조가 더 많은 언어와 기기로 확산된다면 수어 사용자는 별도의 통역앱을 실행하지 않고도 검색과 메시지, 문서작성, AI 비서 이용까지 같은 방식으로 접근할 수 있다.
AI 인터페이스의 다음 경쟁은 ‘누가 더 자연스럽게 입력할 수 있느냐’로 간다
생성형 AI가 처음 확산됐을 때 대부분의 사용자는 키보드로 질문을 입력했다.
이후 음성대화가 붙으면서 말하는 방식이 새로운 인터페이스가 됐고, 카메라를 이용한 이미지와 영상 이해까지 확대됐다.
수어는 그 다음 단계 가운데 하나다.
사람이 기계에 맞춰 입력방법을 바꾸는 것이 아니라, 기계가 사람이 원래 사용하는 언어와 표현방식을 이해하는 방향으로 인터페이스가 발전하는 것이다.
이번 SL2T 기술은 아직 미국수어와 픽셀 11에서 시작하는 초기 단계이고, 정확도와 언어확장, 개인정보, 고위험 상황에서의 신뢰성 등 해결해야 할 문제가 많다.
그럼에도 방향은 분명하다.
AI가 사람의 언어를 이해한다는 말의 범위가 더 이상 음성과 문자에만 머물지 않게 됐다.
말하지 않아도, 타이핑하지 않아도, 손과 얼굴과 몸으로 표현한 언어를 스마트폰이 읽어 문장으로 바꾸는 단계에 들어섰다.
앞으로 수어 AI의 성패를 결정할 것은 얼마나 많은 제스처를 인식하느냐가 아닐 가능성이 크다.
수어를 하나의 완전한 언어로 얼마나 정확하고 자연스럽게 이해할 수 있느냐가 진짜 기준이 될 것이다.