AI 성능 점수만으로는 부족하다…프랑스 Inria가 시작한 행동·취약점 평가 연구
프랑스 Inria가 2026년 9월 공개한 AI 평가 프로그램은 INESIA의 과학 연구 계획으로 소개됐다. 핵심은 정답률 경쟁이 아니라 행동, 취약점, 시스템 위험까지 함께 측정하는 틀을 만드는 데 있다.
공식 페이지에는 3개 연구 축과 36개 연구 과제가 제시돼 있다. 이는 36개의 검증 완료 성과나 국가 인증 제품 수가 아니라, 앞으로 어떤 평가 방법을 만들고 시험할 것인지에 대한 연구 설계다.
벤치마크에서 높은 점수를 받은 AI를 곧바로 안전하고 믿을 만한 시스템이라고 볼 수는 없다. 프랑스 국립 디지털과학기술연구원 Inria가 2026년 9월 출범시킨 ‘AI 평가 프로그램’은 바로 이 간극을 겨냥한다. 모델이 문제를 얼마나 잘 푸는지와, 실제 환경에서 어떤 행동을 보이고 어떤 취약점을 드러내는지는 서로 다른 평가 대상이라는 것이다.
이 프로그램은 프랑스의 AI 평가·안전 기관 INESIA의 과학 로드맵으로 제시됐다. 프랑스 경제부 자료에 따르면 INESIA는 2025년 출범했고, ANSSI·Inria·LNE·PEReN의 역량을 묶어 고도화된 AI 시스템의 평가와 안전 역량을 구축하는 체계로 설계됐다.
성능과 행동은 왜 다른가
기존 AI 평가는 대체로 정답률, 오류율, 처리 속도처럼 비교적 선명한 지표에 기대 왔다. 그러나 생성형 AI와 에이전트형 AI는 질문에 답하는 데서 그치지 않고 도구를 호출하고, 여러 단계를 거쳐 행동하며, 사용자 의도와 환경 변화에 반응한다. 같은 모델이라도 폐쇄형 시험에서는 무난한 점수를 받지만 실제 서비스에서는 위험한 조언, 우회 응답, 과도한 확신을 보일 수 있다는 뜻이다.
프랑스가 들여다보는 것은 취약점과 시스템 위험
Inria 프로그램의 세 축은 시스템 위험, AI 안전, 평가 방법론이다. 여기서 안전은 추상적 구호가 아니라 예측형·생성형·에이전트형 시스템의 취약점, 공격 가능성, 방어 성능을 어떻게 측정할지의 문제로 다뤄진다. 공식 설명은 모델의 능력과 행동이 사회 전체에 미칠 수 있는 대규모 효과까지 평가 대상으로 올려놓는다.
이를 위해 프로그램은 ‘EVA’라는 대규모 평가 플랫폼 구축도 예고했다. 공개 설명에 따르면 이 플랫폼은 다양한 시스템과 시나리오에서 평가 실험을 조정하고 추적하기 위한 기반시설이며, 위험한 도움을 제공할 성향, 거부 응답의 견고성, 공격 저항성 같은 지표를 다룬다. 이는 점수표 한 장이 아니라, 어떤 조건에서 어떤 실패가 발생하는지 재현 가능하게 살피겠다는 접근에 가깝다.
평가가 연구인 이유
여기서 구분해야 할 점도 분명하다. 36개 과제는 이미 안전성이 입증됐다는 뜻이 아니며, 프랑스 정부가 특정 AI 제품에 국가 인증을 부여했다는 의미도 아니다. 현재 단계에서 확인되는 사실은 프랑스가 AI 평가를 성능 비교에서 행동·취약점·위험 검증으로 확장하는 연구 체계를 본격화했다는 점이다.
결국 프랑스 AI 평가 연구가 던지는 질문은 단순하다. AI를 얼마나 똑똑한가로만 볼 것인지, 아니면 어떤 환경에서 어떻게 실패하고 누구에게 어떤 위험을 키우는지까지 함께 볼 것인지다. Inria와 INESIA의 2026년 9월 프로그램은 후자의 언어로 평가를 다시 설계하기 시작했다. 안전한 AI는 높은 점수의 다른 이름이 아니라, 조건이 바뀌어도 검증 가능한 행동을 보이는 시스템에 더 가깝다.