AI는 얼굴만 보고 사람의 성격을 맞힐 수 있나…첫인상 예측과 실제 성격 추정 사이 남은 과학적 공백
얼굴 이미지나 짧은 영상만으로 성격을 읽어낸다는 AI 주장은 아직 검증이 충분하다고 보기 어렵다. 지금까지 확인된 연구들을 보면, 알고리즘이 비교적 잘 맞히는 것은 대개 사람들의 ‘첫인상 평가’이거나 제한된 조건에서의 상관관계다. 반면 실제 성격 특성을 안정적으로 예측했다고 보기에는 라벨의 정의, 학습 데이터의 성격, 외부 검증, 일반화 성능에서 공백이 크다.
핵심은 두 질문을 구분하는 데 있다. 첫째, 어떤 얼굴이 더 신뢰로워 보이거나 외향적으로 보인다는 인상은 사람들 사이에서 어느 정도 일치할 수 있다. 둘째, 그 인상이 그 사람의 실제 성격과 행동을 맞히는가는 전혀 다른 문제다. 지금까지의 근거는 전자에는 일정한 합의가 있더라도, 후자를 상용 의사결정에 쓸 만큼 입증했다고 말하기 어렵다는 쪽에 가깝다.
AI가 배우는 것은 ‘성격’보다 ‘사람들이 준 인상 점수’인 경우가 많다
얼굴 기반 성격 분석 연구에서 가장 먼저 따져야 할 것은 라벨이 무엇이냐는 점이다. 컴퓨터 비전 분야에서 널리 인용된 2016년 ChaLearn First Impressions 데이터셋은 유튜브 짧은 영상 1만개에 대해 외부 평가자들이 부여한 ‘겉으로 보이는 성격(apparent personality)’ 점수를 학습 목표로 삼았다. 이 점수는 당사자의 장기적 성격 검사 결과가 아니라, 영상을 본 사람들이 몇 초 만에 형성한 인상에 가깝다.
이 차이는 작지 않다. 겉으로 차분해 보이는 사람과 실제로 성실하거나 정직한 사람은 같은 개념이 아니다. 따라서 이런 데이터로 훈련한 모델이 높은 점수를 받더라도, 그것은 우선 ‘인간 평가자들의 첫인상 패턴’을 재현한 것일 수 있다. 다시 말해 일부 알고리즘은 성격 자체보다 사회적 편견이나 문화적으로 공유된 인상 규칙을 학습했을 가능성을 함께 안고 있다.
이 문제는 이후 후속 연구에서도 반복됐다. 관련 비판 연구들은 apparent personality나 trustworthiness 같은 표지가 관찰자의 주관적 판단에 의존하며, 데이터 라벨 단계에서 이미 인종·성별·매력도·표정·촬영 조건의 영향이 섞여 들어갈 수 있다고 지적했다.
첫인상 예측과 실제 성격 예측은 같은 성능표로 말할 수 없다
심리학과 신경과학 연구는 사람들이 얼굴만 보고 매우 빠르게 신뢰도, 지배성, 호감도 같은 인상을 형성한다는 점을 오래전부터 보여 왔다. 문제는 그 판단의 정확도다. 얼굴 기반 신뢰성 인상에 대한 2022년 메타분석은 지각된 신뢰성과 실제 관련 특성 사이에 통계적으로는 유의한 상관이 있을 수 있다고 봤지만, 효과 크기는 크지 않았고 연구진은 그 정확도가 실용적으로 쓰일 정도는 아니라고 정리했다.
즉 ‘완전히 무작위는 아닐 수 있다’와 ‘개인 평가나 채용, 보안, 금융 심사에 쓸 만큼 믿을 만하다’는 전혀 다른 결론이다. 더구나 메타분석이 다룬 대상도 정직성, 공격성, 성적 불성실성, 재정적 상호성처럼 서로 다른 결과변수들이 섞여 있었고, 연구 다수가 서구 표본에 치우쳐 있었다. 어떤 맥락에서 어떤 특성을 어느 정도까지 읽을 수 있는지에 대한 합의는 여전히 좁다.
반대로 실제 성격 예측이 잘 안 된다는 결과도 적지 않다. 얼굴 특징과 자기보고 성격을 직접 연결하려 한 연구들 가운데는 예측이 성공적이지 않았다고 보고한 사례가 있다. 같은 사람도 사진 각도, 조명, 순간 표정, 머리 모양에 따라 전혀 다른 인상을 줄 수 있다는 연구 결과까지 감안하면, 정지 이미지 한 장에서 추출한 신호를 개인의 안정적 성격 특성으로 곧장 번역하는 일은 과학적으로 더 조심스러울 수밖에 없다.
높은 정확도처럼 보이는 수치도 외부 검증에선 무너질 수 있다
얼굴 인상 추정 알고리즘이 자주 부딪히는 문제는 일반화다. 실험실에서 인위적으로 조작된 얼굴이나 특정 데이터셋 안에서는 높은 상관이나 높은 분류 정확도가 나와도, 무작위 얼굴이나 실제 사진으로 바꾸면 성능이 급격히 떨어지는 경우가 보고됐다. AI and Ethics에 실린 한 연구는 컴퓨터가 학습한 ‘신뢰로워 보임’ 같은 인상 점수가 실제 세계의 얼굴 데이터로는 잘 일반화되지 않으며, 그런 모델이 객관적 성격 지표도 아니고 주관적 편향 자체를 제대로 재현하는 도구도 아니라고 결론냈다.
이 대목은 상용 서비스 검증에서도 중요하다. 개발사가 자사 내부 데이터에서 높은 정확도를 제시하더라도, 그 정확도가 무엇을 맞힌 것인지부터 봐야 한다. 자기보고 성격 검사인지, 제3자의 인상 평가인지, 특정 상황의 행동 기록인지가 다르면 같은 ‘정확도’라는 말도 의미가 달라진다. 여기에 훈련 표본의 연령·인종·국가·촬영 환경이 제한돼 있다면, 다른 집단으로 넘어갔을 때 성능은 더 불안정해질 수 있다.
NIST가 보여 준 것은 얼굴 AI의 편향 문제이지, 성격 판독의 타당성이 아니다
미국 국립표준기술연구소(NIST)의 얼굴 기술 평가는 이 분야에서 드문 독립 벤치마크다. NIST는 얼굴 인식 알고리즘의 인구집단별 오차를 비교한 2019년 보고서에서 다수 알고리즘에서 demographic differentials, 즉 집단별 성능 차이가 존재한다는 경험적 증거를 제시했다. 이후 NIST의 FATE 체계는 얼굴 이미지 품질, 연령 추정 같은 한정된 얼굴 분석 과제를 따로 평가하고 있다.
하지만 이 독립 평가 체계가 곧 얼굴 기반 성격 추정의 타당성을 인정한다는 뜻은 아니다. 오히려 반대로 읽을 부분이 있다. NIST가 독립적으로 반복 평가하는 과제는 신원 확인, 연령 추정, 이미지 품질처럼 비교적 명시적인 정답 정의와 성능지표를 세우기 쉬운 영역이다. 반면 성격, 신뢰성, 공격성 같은 내적 특성은 라벨 정의 자체가 훨씬 불안정하고, 무엇을 정답으로 볼지에 대한 합의도 약하다.
다시 말해 얼굴 AI에서 이미 확인된 편향 문제는 성격 추정에 더 심각한 방식으로 번질 수 있다. 성격 추정은 관측 대상이 더 모호한 데다, 인상과 실제 특성의 경계가 흐리기 때문이다. 독립 외부평가가 부족한 상용 알고리즘일수록 ‘얼굴을 보고 사람을 읽는다’는 주장을 더 엄격하게 검증해야 하는 이유다.
왜 ‘현대판 관상학’ 비판이 나오는가
최근 학계 비판은 이런 기술을 단순한 정확도 논쟁이 아니라 ‘physiognomy’, 즉 외모로 내면을 읽어내려는 오래된 발상과 연결해 본다. 2024년 리뷰 논문은 인간과 AI의 얼굴 추론 연구를 함께 검토하면서, 사람의 얼굴이 내적 특성을 드러내는지에 대한 과학적 합의가 부족한 상태에서 실무 적용을 서두르면 인식론적 타당성, 실용성, 사회적 위해를 동시에 키울 수 있다고 지적했다.
이 비판이 성급한 낙인만은 아닌 이유는, 얼굴에서 읽어내는 특성이 사회적으로 이미 편견과 엮여 있기 때문이다. 예컨대 신뢰로워 보임, 공격적으로 보임, 채용할 만해 보임 같은 평가는 매력도, 인종화된 특징, 성별 표현, 나이, 표정 습관의 영향을 쉽게 받는다. 알고리즘이 이런 평가를 자동화하면 ‘사람이 원래 하던 편견’을 기술이 더 일관되고 더 빠르게 확대 재생산할 위험이 생긴다.
특히 채용, 교육 평가, 보험, 치안처럼 개인에게 불이익을 줄 수 있는 영역에서는 위험이 더 크다. 이 경우 문제는 단순한 오차율이 아니라, 어떤 집단이 더 자주 부정적으로 해석되는지, 그리고 그 부정적 해석이 실제 능력이나 성격과 무관할 수 있다는 점이다.
독자가 확인해야 할 세 가지 질문
얼굴 분석 AI가 성격을 예측한다고 주장할 때는 최소한 세 가지를 따져볼 필요가 있다. 첫째, 모델이 맞힌 대상이 실제 성격인가, 아니면 다른 사람들이 매긴 첫인상 점수인가. 둘째, 성능 수치가 같은 데이터셋 내부 검증이 아니라 외부 집단과 실제 환경에서도 재현됐는가. 셋째, 성별·연령·인종·촬영 조건에 따라 성능 차이나 불이익이 어떻게 나타나는지 독립 평가가 있는가다.
이 질문에 답하지 못한다면, 그 기술은 ‘성격 판독기’라기보다 ‘인상 분류기’에 더 가깝다. 현재까지 공개된 근거를 종합하면, 얼굴 기반 AI가 사람의 실제 성격을 안정적으로 읽어낸다고 보기에는 과학적 공백이 크다. 사람들은 얼굴에서 첫인상을 빠르게 형성하지만, 그 인상을 자동화한 모델이 곧 진실한 성격 측정 도구가 되는 것은 아니다.
자료: National Institute of Standards and Technology, Face Recognition Vendor Test Part 3: Demographic Effects(2019); National Institute of Standards and Technology, Face Projects(2025 갱신); Ponce-López V 외, ChaLearn LAP 2016: First Round Challenge on First Impressions – Dataset and Results(2016); Foo Y Z 외, Accuracy in Facial Trustworthiness Impressions: Kernel of Truth or Modern Physiognomy? A Meta-Analysis(2022); Jacques C L 외, A set of distinct facial traits learned by machines is not predictive of appearance bias in the wild(2021); Andrews J L 외, Predicting personality or prejudice? Facial inference in the age of artificial intelligence(2024); Kosinski M, Face-based judgments of psychological characteristics(2021); Sutherland C A M 외, Personality judgments based on physical appearance(2009)