낯선 얼굴이 더 경계돼 보이는 이유, 외모의 본질보다 익숙함과 접촉 경험이 첫인상을 흔든다
낯선 사람의 얼굴을 보고 순간적으로 경계심이나 비호감을 느끼는 현상을 곧바로 그 사람의 ‘타고난 외모’ 탓으로 돌리기는 어렵다. 얼굴 인지와 집단 접촉 연구를 종합하면, 사람은 처음 보는 얼굴에서 성향을 빠르게 추정하지만 그 과정은 낯선 얼굴일수록 오류가 많고, 어떤 얼굴 집단을 얼마나 자주 접해 왔는지에 따라 인식과 평가가 달라질 수 있다. 다시 말해 집단 친숙성은 호감과 신뢰 판단에 영향을 줄 수 있지만, 그것이 특정 인종이나 민족의 고정된 특성을 보여준다는 뜻은 아니다.
이 점은 얼굴 인지의 기본 구조에서도 확인된다. 얼굴 처리 연구를 정리한 2016년 연례리뷰는 인간의 얼굴 처리 체계가 익숙한 얼굴은 매우 정확하게 알아보지만, 익숙하지 않은 얼굴에서는 오류가 많다고 설명했다. 처음 보는 얼굴에 대한 판단이 빠르더라도 정확성이 낮을 수 있다는 뜻이다. 그래서 낯선 얼굴에서 느끼는 불편함이나 경계심은 대상의 본질적 성격보다 관찰자 쪽의 경험 부족, 분류 습관, 상황 단서의 영향을 함께 받는다고 보는 편이 연구 결과에 더 가깝다.
얼굴 인지는 어릴 때부터 경험의 영향을 받는다
발달심리 연구는 이런 경향이 매우 이른 시기부터 형성될 수 있음을 보여준다. 2019년 연례리뷰는 영아가 얼굴의 인종과 성별 같은 사회적 범주에 서로 다르게 반응하게 되는 과정에 ‘차등적 경험’이 중요하다고 정리했다. 같은 리뷰는 유아기 얼굴 처리의 변화가 이후의 사회적 편향 형성과 연결될 수 있다고 설명한다. 즉 특정 집단의 얼굴을 더 자주 보고, 더 많이 구분해 본 경험이 이후의 친숙함과 선호, 학습 방향에 영향을 줄 수 있다는 것이다.
다만 경험 효과를 곧바로 운명처럼 받아들일 필요는 없다. 이 리뷰가 인용한 아동 연구들 가운데에는 다른 집단 얼굴을 한 사람씩 구분해 보는 개별화 훈련이 유아의 암묵적 편향을 줄였다는 결과도 포함돼 있다. 집단을 한 덩어리로 보는 대신 개인 얼굴을 구별하는 경험이 늘어나면 편향이 완화될 수 있다는 의미다. 불쾌감이나 거리감이 선천적으로 굳어져 있다기보다 학습과 환경에 따라 조정될 수 있는 요소라는 해석이 가능하다.
‘우리에게 익숙한 얼굴’일수록 더 잘 구별하고, 덜 낯설게 느낀다
얼굴 기억 연구에서 자주 언급되는 ‘타집단 얼굴 효과’도 이 맥락에 있다. 사람들은 대체로 자신이 더 자주 접한 집단의 얼굴을 더 잘 구별하고 기억하는 경향을 보인다. 2019년 사이언티픽 리포츠 연구는 다른 인종 얼굴에 대한 인식 능력이 성인기의 일상적 접촉보다 아동기 접촉과 더 관련된다고 보고했다. 연구진은 이 결과가 편견만으로 설명되는 순수한 동기 이론보다, 어린 시절 어떤 얼굴을 얼마나 개별적으로 접했는지가 중요하다는 해석에 더 무게를 싣는다고 밝혔다.
최근 연구도 비슷한 방향을 제시한다. 2022년 사이언티픽 리포츠 논문은 다른 인종 얼굴 인식에서 나타나는 차이를 집단 편향만으로 설명하기 어렵고, 지각 경험의 역할을 함께 봐야 한다고 주장했다. 2021년 얼굴 기억 연구 역시 익숙한 얼굴과 낯선 얼굴을 비교했을 때, 인종 범주보다 ‘얼마나 아는 얼굴인가’가 기억 정확도에 더 크게 작용할 수 있다고 정리했다. 얼굴을 보는 뇌의 한계와 학습 이력이 합쳐져 낯선 집단을 더 뭉뚱그려 보게 만드는 셈이다.
호감과 신뢰 판단도 친숙성의 영향을 받지만, 얼굴 자체의 순위가 완전히 뒤집히는 것은 아니다
그렇다면 집단 친숙성은 곧바로 호감 판단으로 이어질까. 답은 ‘영향은 있지만 전부는 아니다’에 가깝다. 2024년 사이언티픽 리포츠 연구는 백인과 흑인 참가자들이 서로 다른 집단의 얼굴을 평가할 때, 암묵적 편향과 접촉 경험이 다른 집단 얼굴에 대한 전체적인 신뢰 점수에는 영향을 줄 수 있다고 보고했다. 다른 집단과의 접촉이 적고 부정적 암묵 편향이 강할수록 그 집단 얼굴 전체를 조금 더 낮게 평가하는 경향이 나타났다는 것이다.
하지만 같은 연구는 개별 얼굴들 사이의 상대적 순위, 즉 어떤 얼굴이 다른 얼굴보다 더 믿음직해 보이는지에 대한 패턴은 참가자 집단 사이에서 크게 흔들리지 않았다고 설명했다. 이는 친숙성이 ‘기본 경계선’을 움직일 수는 있어도, 모든 첫인상을 마음대로 뒤집는 것은 아니라는 뜻이다. 2023년 논문에서는 아시아와 백인 참가자들이 얼굴의 신뢰성과 지배성을 판단하는 패턴이 자기 집단과 타집단 얼굴 사이에서 대체로 비슷하다는 결과도 나왔다. 호감 판단에는 친숙성과 편향이 개입하지만, 얼굴 단서 해석의 일부는 집단을 넘어 비교적 공통적으로 작동할 가능성이 있다는 의미다.
결국 핵심 독자 질문인 ‘집단 친숙성이 호감 판단에 영향을 미치는가’에 대한 가장 정확한 답은 그렇지만 제한적이라는 것이다. 사람은 자주 본 얼굴 집단을 더 잘 구별하고 덜 낯설게 느끼며, 접촉 경험과 암묵 편향은 타집단 얼굴 전체에 대한 기본 신뢰 수준을 움직일 수 있다. 그러나 이를 특정 인종이나 민족의 얼굴이 본질적으로 더 호감형이거나 비호감형이라는 주장으로 바꾸면 연구의 범위를 벗어난다. 현재까지의 문헌은 첫인상에서 느끼는 거리감이 상대의 본질보다 관찰자의 학습 경험, 접촉 환경, 그리고 낯선 얼굴을 처리하는 인간 인지의 한계에서 상당 부분 만들어진다고 시사한다.
자료: Annual Reviews, Face Processing in Infancy and Beyond: The Case of Social Categories(2019); Annual Reviews, Face Processing Systems: From Neurons to Real-World Social Perception(2016); Annual Review of Psychology, The Social Neuroscience of Prejudice(2021); Scientific Reports, A critical period for faces: Other-race face recognition is improved by childhood but not adult social contact(2019); Scientific Reports, Covariation in the recognition of own-race and other-race faces argues against the role of group bias in the other race effect(2022); Scientific Reports, Implicit bias and experience influence overall but not relative trustworthiness judgment of other-race faces(2024); Scientific Reports, No evidence for an other-race effect in dominance and trustworthy judgements from faces(2024); Human Nature, Familiarity with Own Population’s Appearance Influences Facial Preferences(2017)