그럴듯한 3D 모델 80%에 구조 결함…MIT, 생성형 AI 설계를 ‘수정 가능한 물체’로 바꿨다
MIT CSAIL·구글·노스이스턴대 연구진, 생성형 3D의 ‘보기 좋은 형상’과 ‘실제 제작 가능한 구조’ 사이 간극 겨냥
인스트럭트메시, 사용자가 문제 부위를 집어 자연어로 고치게 설계…초보자도 전문가 평가 기준 약 90% 수준으로 결함 탐지·수정
이미지는 잘 그리는 생성형 AI가 실제로 쓸 수 있는 물건 설계에서는 자주 실패한다. 이유는 단순하다. 화면에서 그럴듯해 보이는 모양과 현실에서 하중을 버티고, 액체를 담고, 부품이 맞물리는 구조는 같은 문제가 아니기 때문이다. 미국 MIT 컴퓨터과학·인공지능연구소(CSAIL)와 구글, 노스이스턴대 연구진이 10월 1일 공개한 인스트럭트메시는 바로 이 틈을 겨냥한 도구다.
연구진 설명에 따르면 인스트럭트메시는 생성형 3D 모델을 만든 뒤 끝내는 시스템이 아니라, 사람이 문제 부위를 선택하고 자연어로 수정 지시를 내리며 3D프린팅 가능한 형태로 다듬는 인터랙티브 설계 도구다. MIT CSAIL이 같은 날 소개한 실험에서는 생성 모델이 다시 만든 3D 프린팅용 모델의 약 80%에서 구조 결함이 발견됐다. 이어 초보 사용자에게 이 결함을 찾고 고치게 한 결과, 전문가 검토 기준 약 90% 수준으로 탐지와 수정을 수행했다. 다만 이 수치는 연구진이 설정한 실험 조건에서 나온 값으로, 모든 생성형 3D 모델의 일반적 결함률로 확대할 수는 없다.
생성형 3D가 ‘물건’보다 ‘그림’에 가까운 이유
최근 생성형 AI는 텍스트나 이미지 프롬프트만으로 3차원 형상을 빠르게 만든다. 그러나 이런 모델은 대체로 대량의 시각 데이터에서 ‘어떻게 보여야 하는가’를 학습했을 뿐, 손잡이 두께가 실제로 잡을 수 있는 수준인지, 컵 벽면이 새지 않는지, 연결부가 출력 과정에서 무너지지 않는지까지 충분히 이해하는 것은 아니다. 논문 초록에서도 연구진은 현재 생성형 3D가 시각적 개연성을 우선시하고 기하학적 정확성은 놓치기 쉽다고 적었다.
이 차이는 제조 현장에서 치명적이다. 평면 이미지 생성에서는 약간 비정상적인 비례나 접합이 있어도 결과물이 소비될 수 있지만, 3D프린팅은 형상이 곧 물성의 문제로 이어진다. 빈 공간이 막혀 있지 않거나, 특정 부위가 지나치게 얇거나, 구조가 지지되지 않으면 결과물은 예쁘게 보이더라도 쓰지 못하는 물체가 된다. 생성형 3D의 한계가 ‘정확도’보다 ‘제작 가능성’에서 먼저 드러나는 이유다.
자동 생성이 아니라 ‘사람이 고칠 수 있는 생성’으로
인스트럭트메시의 핵심은 완전 자동화보다 수정 가능성에 있다. 연구진은 마이크로소프트의 3D 생성 시스템 트렐리스와 대규모 언어모델 GPT-4를 결합해, 사용자가 모델의 일부 영역을 선택한 뒤 “이 부분을 더 두껍게”, “빈 공간을 막아 달라” 같은 식으로 지시할 수 있게 했다. 조정은 최종 메쉬를 억지로 깎는 방식이 아니라 생성 모델의 잠재 표현 공간에서 이뤄져, 사용자는 수정 결과를 확인하고 승인할 수 있다.
이는 CAD 숙련자만 다룰 수 있는 기존 보정 작업과 결이 다르다. 그동안 생성형 3D가 대중화의 문턱에서 자주 막힌 이유는 결과물을 만드는 속도보다 고치는 난도가 더 높았기 때문이다. 인스트럭트메시는 자연어와 슬라이더를 함께 쓰는 혼합 인터페이스로 그 장벽을 낮추려 했다. 연구진은 논문에서 초보자들이 이런 하이브리드 방식의 수정을 선호했다고 설명했다.
80%와 90%가 뜻하는 것
이번 연구에서 가장 눈에 띄는 숫자는 두 개다. 하나는 인기 3D 프린팅 플랫폼의 모델을 생성 시스템이 다시 만들게 했을 때 약 80%에서 구조 문제가 나타났다는 점이다. 다른 하나는 초보자가 인스트럭트메시를 이용해 이런 문제를 약 90% 수준으로 식별하고 고쳤다는 결과다. 전자는 오늘의 생성형 3D가 아직 ‘형상 생성’과 ‘제조 설계’를 동일하게 다루지 못한다는 신호이고, 후자는 결함 수정 능력을 전문가 전용 영역에만 묶어 둘 필요가 없다는 가능성을 보여준다.
다만 두 수치를 한 문장으로 묶어 “AI 3D의 80%가 고장 나며 누구나 90% 해결한다”는 식으로 읽으면 과장에 가깝다. 결함률은 특정 모델 재생성과 특정 평가 기준에 묶여 있고, 수정 성능 역시 연구용 인터페이스와 전문가 검토 조건에서 얻은 결과다. 기사에서 구분해 봐야 할 지점은 결함의 존재 자체보다, 생성과 제작 사이에 반드시 사람의 검증 층이 필요하다는 사실이다.
제조와 로보틱스에 던지는 현실적 의미
이 연구가 흥미로운 이유는 생성형 AI를 더 똑똑한 설계자로 포장하지 않기 때문이다. 오히려 연구진은 가정용 물건, 보조기기, 로봇 외장처럼 실제 제작이 필요한 영역에서 AI를 ‘초안 작성자’로 두고, 사람을 ‘검증자이자 편집자’로 다시 불러들였다. 이는 이미지 생성 산업에서 확산된 프롬프트 중심 작업 흐름이 제조로 넘어올 때 필요한 안전장치를 보여준다.
산업적으로도 함의가 있다. 3D프린팅과 맞춤형 제작은 소량 다품종 생산에 강하지만, 설계 인력과 수정 시간이 병목이었다. 생성형 3D가 이 병목을 풀 것이라는 기대가 컸지만, 구조 결함이 높다면 자동 생성만으로는 생산성이 오히려 흔들릴 수 있다. 인스트럭트메시 같은 도구는 이 문제를 전면 자동화가 아니라 ‘사람이 빠르게 검수하고 수정하는 반자동 공정’으로 재구성한다는 점에서 현실적이다.
다음 단계는 물리 검증의 내장 여부
MIT가 공개한 내용에 따르면 연구진은 앞으로 물리 시뮬레이션을 더해 설계가 떨어질 때 깨지는지, 어떤 재료가 적합한지까지 예측하는 방향을 검토하고 있다. 이 단계가 붙어야 생성형 3D는 ‘예쁘게 고친 형상’에서 ‘사용 조건을 견디는 제품’으로 한 걸음 더 나아갈 수 있다. 연구 결과는 오는 11월 ACM 사용자 인터페이스 소프트웨어·기술 심포지엄에서 발표될 예정이다.
이번 연구가 보여준 변화는 생성형 AI가 제조를 완전히 대신한다는 약속이 아니다. 오히려 보기 좋은 결과와 쓸 수 있는 물건 사이에 남아 있는 간극을 수치로 드러내고, 그 틈을 사람의 선택과 수정으로 메우는 설계 체계를 제안했다는 데 의미가 있다. 생성형 3D의 경쟁력은 이제 얼마나 화려한 형상을 뽑아내느냐보다, 얼마나 쉽게 검증하고 고칠 수 있느냐에서 갈릴 가능성이 커지고 있다.