걷고 뛰는 로봇은 나왔다…이제 문제는 ‘무슨 일을 시킬 수 있나’가 승부처
-휴머노이드 하드웨어는 빠르게 발전했지만 자율 작업 능력은 아직 초기…‘로봇 두뇌’ 경쟁이 다음 단계
휴머노이드 로봇은 이제 더 이상 미래의 전시물이 아니다. 사람처럼 두 발로 걷고, 계단을 오르고, 물건을 집어 옮기며, 공장 안에서 반복 작업을 수행하는 모습이 실제로 등장하고 있다. 하지만 로봇 업계가 최근 더 크게 고민하는 문제는 몸이 아니다. ‘무엇을 시켰을 때 얼마나 유연하게 이해하고 해낼 수 있느냐’는 두뇌의 문제다.
하드웨어는 빠르게 좋아지고 있지만, 실제 공장이나 가정에서 사람처럼 상황을 이해하고 예외에 대응하는 능력은 여전히 초기 단계다. 최근 로봇 업계에서는 이 상태를 대규모 언어모델의 초기 시기와 비교해 “GPT-2 단계”라고 부르기도 한다. 카메라와 센서로 주변을 보고, 언어 지시를 이해하고, 물체를 잡고, 예상치 못한 상황에 대응하는 ‘로봇 파운데이션 모델’이 다음 경쟁의 핵심으로 떠오르는 이유다.
걷는 것은 쉬워졌지만 ‘일하는 것’은 여전히 어렵다
휴머노이드 로봇의 발전은 눈에 띄게 빠르다. 과거에는 걷기와 균형 유지 자체가 기술의 핵심이었지만, 이제는 달리기나 점프, 계단 이동처럼 복잡한 동작까지 가능해졌다.
문제는 공장이나 가정에서 필요한 일은 훨씬 더 복잡하다는 점이다.
예를 들어 상자를 옮기는 작업만 해도 단순히 팔을 뻗어 물체를 잡는 것으로 끝나지 않는다. 상자의 크기와 무게, 위치를 판단하고, 손잡이가 있는지 확인하고, 다른 물체와 부딪히지 않도록 경로를 정한 뒤, 예상보다 무겁거나 미끄러우면 힘을 조절해야 한다.
사람에게는 너무 자연스러운 일이지만 로봇에게는 시각, 공간인식, 힘 조절, 계획, 실행이 동시에 필요한 고난도 작업이다.
그래서 휴머노이드의 성능을 보는 기준도 바뀌고 있다. 얼마나 자연스럽게 걷느냐보다 낯선 작업을 얼마나 적은 지시로 이해하고, 실패했을 때 스스로 수정할 수 있는지가 더 중요해지고 있다.
로봇의 ‘GPT’가 필요한 이유
언어모델은 인터넷에 존재하는 방대한 텍스트를 학습하면서 다양한 질문에 답하는 범용 능력을 얻었다. 로봇 업계가 원하는 것도 비슷하다.
특정 공장에서 볼트 하나를 조이는 전용 로봇이 아니라, 여러 공간과 여러 작업에서 재사용할 수 있는 범용 로봇 모델을 만드는 것이다.
이를 흔히 로봇 파운데이션 모델이라고 부른다.
이 모델은 카메라 영상과 언어 명령, 로봇 팔과 관절의 움직임, 촉각 정보 등을 함께 학습한다. “테이블 위 빨간 컵을 싱크대 옆에 가져다 놓아라”라는 말을 들으면 먼저 문장을 이해하고, 빨간 컵을 찾아내고, 손을 뻗을 경로를 계획한 뒤 실제 행동으로 옮겨야 한다.
언어모델이 단어의 다음 순서를 예측한다면 로봇 모델은 현실 세계에서 ‘다음 행동’을 예측하는 셈이다.
이렇게 학습된 모델이 충분히 일반화되면 새로운 작업마다 처음부터 프로그램을 다시 짤 필요가 줄어들 수 있다. 사람이 몇 번 시범을 보이거나 자연어로 설명하는 것만으로도 로봇이 새로운 일을 배울 가능성이 생긴다.
문제는 데이터다…인터넷에는 ‘로봇 행동’이 거의 없다
로봇 AI가 언어모델보다 발전이 느린 가장 큰 이유 가운데 하나는 학습 데이터다.
언어모델은 인터넷에 이미 쌓여 있던 막대한 텍스트와 이미지, 영상 데이터를 활용할 수 있었다. 반면 로봇이 실제로 물체를 집고 걷고 조립하는 행동 데이터는 훨씬 부족하다.
로봇 한 대가 실제 환경에서 수천 시간 동안 움직이며 데이터를 수집하려면 시간과 비용이 많이 든다. 장비가 고장날 수도 있고, 작업 환경이 바뀌면 다시 학습해야 한다.
사람이 로봇을 원격으로 조작하면서 시범 데이터를 만들어주는 방식도 사용되지만 규모를 크게 늘리기 어렵다.
그래서 최근 업계에서는 여러 회사와 연구기관이 로봇 데이터를 모으고 공유하거나, 서로 다른 로봇의 행동 데이터를 하나의 모델로 학습시키려는 시도가 이어지고 있다. 다양한 로봇과 다양한 환경에서 얻은 데이터를 많이 확보할수록 모델이 한 작업에서 배운 능력을 다른 작업으로 옮기는 ‘일반화’ 가능성이 높아지기 때문이다.
시뮬레이션이 부족한 데이터를 메울 수 있을까
실제 로봇 데이터를 모으기 어려운 만큼 시뮬레이션의 역할도 커지고 있다.
가상 공간에서는 로봇을 수천 대 동시에 움직일 수 있다. 넘어져도 실제 장비가 부서지지 않고, 같은 작업을 수백만 번 반복할 수도 있다.
이를 통해 걷기와 균형 유지, 물체 집기, 경로 계획 등을 빠르게 학습시킨 뒤 실제 로봇으로 옮기는 방식이 널리 사용된다.
하지만 가상세계와 현실은 완전히 같지 않다.
시뮬레이션에서는 물체의 마찰계수나 무게, 조명, 카메라 노이즈를 정확히 모델링하기 어렵다. 가상환경에서 완벽하게 작동하던 로봇이 실제 공간에서는 바닥이 조금 미끄럽거나 물체가 예상보다 부드럽다는 이유로 실패할 수 있다.
이른바 ‘시뮬레이션-현실 격차’다.
그래서 최근에는 가상환경에서 대량 학습한 뒤 소량의 실제 데이터로 다시 조정하는 방식이 중요해지고 있다. 로봇 AI가 현실에서 안정적으로 작동하려면 결국 실제 세계의 복잡성을 충분히 경험해야 한다.
영상과 언어, 촉각을 한 번에 이해해야 한다
로봇 두뇌의 또 다른 과제는 멀티모달 능력이다.
사람은 물체를 볼 뿐 아니라 만졌을 때의 질감과 무게, 소리까지 함께 이용해 판단한다. 뜨거운 컵은 조심해서 잡고, 유리잔은 너무 세게 쥐지 않으며, 미끄러운 물건은 손가락 힘을 더 조절한다.
로봇도 이런 능력을 가져야 실제 생활공간에서 안정적으로 일할 수 있다.
그래서 최신 로봇 모델은 카메라 영상과 자연어뿐 아니라 힘 센서, 촉각 센서, 관절의 위치와 속도 정보까지 함께 학습하는 방향으로 발전하고 있다.
특히 촉각은 중요한 기술이다. 사람이 물건을 집을 때는 손가락으로 느껴지는 압력과 미세한 미끄러짐을 계속 감지하면서 힘을 조절한다. 로봇이 이런 피드백을 제대로 활용하지 못하면 단단한 공구는 잘 잡아도 계란이나 얇은 유리컵 같은 물체는 다루기 어렵다.
휴머노이드 로봇이 사람처럼 보이는 것과 사람처럼 일하는 것은 전혀 다른 문제인 이유다.
공장에서는 ‘완벽한 범용성’보다 ‘실패하지 않는 것’이 더 중요하다
휴머노이드 로봇이 가장 먼저 투입될 가능성이 큰 곳은 공장과 물류현장이다.
이곳에서는 반복 작업이 많고 작업 환경도 상대적으로 통제하기 쉬워 가정이나 거리보다 로봇 도입이 수월하다.
하지만 산업현장에서 중요한 것은 멋진 시연이 아니다.
한 번에 99% 성공하는 로봇도 하루에 수천 번 작업하면 여러 번 실패할 수 있다. 자동차 생산라인이나 물류센터에서는 작은 오류 하나가 전체 공정을 멈출 수도 있다.
그래서 기업들이 보는 핵심 지표는 얼마나 다양한 동작을 보여주느냐보다 얼마나 오래 안정적으로 작업할 수 있는지, 사람이 개입하지 않아도 복구할 수 있는지다.
로봇이 상자를 떨어뜨렸을 때 다시 집을 수 있는지, 부품 위치가 조금 달라져도 작업을 계속할 수 있는지, 작업자가 갑자기 앞을 지나가면 안전하게 멈출 수 있는지가 실제 경제성에 더 중요하다.
가정용 로봇은 공장보다 훨씬 어렵다
휴머노이드의 최종 목표로 자주 언급되는 것은 가정용 로봇이다.
설거지와 빨래, 청소, 정리, 간단한 요리를 사람 대신 해주는 로봇이다.
하지만 집은 공장보다 훨씬 복잡한 공간이다.
사람마다 가구 배치가 다르고, 물건의 위치도 계속 바뀐다. 어린이나 반려동물이 갑자기 움직일 수 있고, 바닥에는 예상치 못한 물체가 놓여 있을 수 있다.
공장에서 정해진 부품 하나를 집는 것과 냉장고에서 우유를 꺼내 컵에 따르는 일은 난이도가 완전히 다르다.
냉장고 문을 열고, 우유팩을 찾아 손잡이를 잡고, 무게를 느끼며 꺼낸 뒤, 컵 위치를 확인하고, 흘리지 않게 따르는 과정에는 수많은 판단이 필요하다.
그래서 가정용 휴머노이드가 널리 보급되려면 하드웨어 가격뿐 아니라 로봇 AI의 일반화 능력이 지금보다 훨씬 높아져야 한다.
사람이 한 번 보여주면 배우는 로봇이 목표다
현재 로봇업계가 원하는 중요한 능력 가운데 하나는 ‘소수 예제 학습’이다.
지금의 산업용 로봇은 새로운 작업을 맡기려면 엔지니어가 동작을 세밀하게 프로그래밍하는 경우가 많다.
하지만 미래의 범용 로봇은 사람이 몇 번 직접 보여주면 그 행동을 이해하고 스스로 수행할 수 있어야 한다.
예를 들어 작업자가 로봇의 팔을 잡고 부품을 선반에서 꺼내 조립대에 놓는 과정을 몇 번 보여주면 이후에는 로봇이 같은 일을 스스로 반복하는 방식이다.
여기에 언어 지시까지 결합되면 더 강력해진다.
“어제처럼 부품을 정리하되 오늘은 파란 상자에 넣어라” 같은 지시를 이해하려면 과거 행동과 현재 상황, 언어의 의미를 동시에 연결해야 한다.
이 정도 수준에 도달하면 로봇 도입 비용은 크게 낮아질 수 있다. 작업이 바뀔 때마다 전문 엔지니어를 불러 프로그램을 다시 짤 필요가 줄어들기 때문이다.
로봇의 시대는 하드웨어보다 소프트웨어에서 승부가 날 수 있다
휴머노이드 시장을 보면 외형적으로는 로봇 제조사 간 경쟁처럼 보인다. 하지만 장기적으로는 로봇 두뇌를 누가 장악하느냐가 더 중요한 경쟁이 될 가능성이 있다.
스마트폰 산업에서 하드웨어뿐 아니라 운영체제와 앱 생태계가 시장 지배력을 결정했던 것과 비슷한 구조가 나타날 수 있다.
한 회사의 로봇 모델이 여러 제조사의 로봇에서 작동하고, 개발자들이 그 위에 새로운 작업 능력을 추가할 수 있다면 로봇 AI 자체가 플랫폼이 될 수 있다.
반대로 로봇 제조사가 자체 하드웨어와 자체 AI 모델을 모두 통합해 성능을 최적화하는 방식도 가능하다.
어떤 구조가 주도권을 잡을지는 아직 정해지지 않았다.
하지만 한 가지는 분명하다. 휴머노이드 시장의 경쟁이 단순히 관절과 모터, 배터리를 잘 만드는 싸움에서 벗어나고 있다는 점이다.
‘사람처럼 생긴 로봇’보다 중요한 것은 ‘사람처럼 배우는 로봇’이다
휴머노이드가 주목받는 이유는 인간의 환경이 인간의 몸을 기준으로 만들어져 있기 때문이다.
문 손잡이의 높이와 계단의 크기, 작업대의 위치와 공구의 형태가 모두 사람에게 맞춰져 있다. 두 팔과 두 다리를 가진 로봇은 기존 환경을 크게 바꾸지 않고도 일을 할 가능성이 있다.
하지만 사람의 형태만 갖췄다고 사람처럼 일할 수 있는 것은 아니다.
진짜 어려운 부분은 새로운 상황을 이해하고, 필요한 행동을 계획하고, 실패에서 배우는 능력이다.
현재 휴머노이드가 보여주는 멋진 움직임과 실제 경제적 가치를 만드는 능력 사이에는 아직 큰 간격이 있다.
그 간격을 줄이는 기술이 바로 로봇 AI다.
앞으로 휴머노이드 경쟁의 승자는 가장 빨리 뛰는 로봇을 만든 회사가 아닐 수도 있다. 처음 보는 작업을 가장 빨리 이해하고, 가장 적은 데이터로 배우며, 실제 환경에서 가장 적게 실패하는 로봇을 만든 곳일 가능성이 크다.
로봇의 몸은 이미 빠르게 사람을 닮아가고 있다.