디지털 커뮤니케이션 환경에서 혐오 표현은 단지 개인에 대한 공격을 넘어, 특정 사회 집단에 대한 체계적인 배제와 불평등을 유발하는 위험한 언어적 장치로 기능하고 있다. 이에 따라 혐오 표현을 사전에 감지하고 대응하기 위한 기술적 수단으로서 인공지능(AI) 기반 필터링 시스템의 중요성이 강조되고 있다. 하지만 AI가 감지하고 판단하는 '혐오'는 과연 인간의 사회적 직관과 윤리적 판단을 대체할 수 있는가에 대한 물음은 여전히 유효하다. AI의 혐오 표현 판단은 효율성과 정량성에서 강점을 보이지만, 정성적이고 맥락 의존적인 판단이 요구되는 사회적 표현의 윤리적 판단에서는 한계를 지닌다. 본 논의는 AI와 인간의 혐오 표현 인식 방식의 차이를 분석하고, 둘 사이의 혼합 통제 구조(Hybrid Governance)의 필요성과 설계 원칙을 학술적으로 고찰한다.
1. AI는 어떻게 혐오를 판단하는가: 알고리즘 기반의 통계적 의사결정
AI가 혐오 표현을 감지하는 과정은 통계 기반의 자연어 처리(Natural Language Processing, NLP) 기술과 딥러닝 모델을 통해 수행된다. 대표적으로 BERT, RoBERTa, ELECTRA 등의 사전학습(pretrained) 모델은 대규모 텍스트 코퍼스를 기반으로 문장의 구조, 감정, 단어 간 관계를 수치화하고, 혐오 표현에 대한 분류 모델을 구성한다. AI는 문장을 확률적 벡터로 분석하며, ‘이 문장이 혐오일 확률이 0.87’이라는 식의 정량적 예측을 수행한다.
이러한 방식은 대량의 데이터를 빠르게 분석할 수 있다는 점에서 매우 효과적이다. 특히 명시적 욕설이나 고정된 패턴의 차별 발언은 높은 정확도로 탐지된다. 하지만 문제는 은유적 혐오, 맥락 의존적 발언, 문화적 코드가 포함된 표현 등 문장 이면의 의미를 해석해야 하는 사례에 대해 AI가 오판을 일으키는 빈도가 결코 낮지 않다는 점이다. 예컨대 “그 집단은 늘 그런 식이다”라는 문장은 AI에게는 중립적일 수 있으나, 특정 맥락에서는 명백한 혐오의 재생산일 수 있다.
또한 대부분의 AI 모델은 학습 데이터에 기반한 편향(Bias)을 재생산한다. 만약 여성, 성소수자, 특정 지역 집단에 대한 차별 표현이 과소표현된 데이터셋으로 학습되었다면, AI는 그러한 혐오 표현을 인식하지 못하거나, 오히려 해당 집단의 언어 표현을 과잉 탐지하는 편향된 결과를 초래할 수 있다. 이는 기술적 문제를 넘어, 사회 정의의 관점에서 AI의 신뢰성을 해치는 결과를 가져온다.
2. 인간의 윤리적 판단: 다층적 맥락과 정서적 민감성의 작동
인간은 언어를 단순한 정보 전달의 수단이 아니라, 감정, 관계, 권력, 문화의 상호작용 속에서 이해한다. 이러한 언어적 민감성은 AI가 지니지 못하는 판단 능력을 가능하게 한다. 특정 표현이 문법적으로는 중립적일지라도, 그 표현이 등장한 상황, 발화자와 수신자 사이의 관계, 사회적 맥락 등을 고려해 혐오 여부를 직관적으로 파악하는 것이 바로 인간의 능력이다.
예를 들어, “그런 사람은 원래 그렇잖아”라는 문장은 발화자의 의도와 대상에 따라 혐오가 될 수도, 단순한 평론이 될 수도 있다. AI는 이를 과거의 패턴에 근거해 수치적으로 분류할 뿐, 상황적 맥락과 대화의 흐름, 사회적 배경까지 종합적으로 판단하지는 못한다. 이 점이 바로 인간의 윤리적 판단이 기술 기반 판단과 본질적으로 구분되는 지점이다.
또한 인간은 윤리적 판단을 통해 불완전한 표현 속에서도 발화자의 권리를 보호하거나, 수용자의 감정적 피해를 고려해 개입 수위를 조절하는 유연성을 발휘할 수 있다. 이는 ‘맥락을 해석하는 능력’과 ‘도덕적 직관’을 바탕으로 한 사회적 판단이며, 이러한 판단은 현재 AI 기술의 수준으로는 재현이 불가능하다.
3. 기술 vs 윤리: 혼합 통제(Human-in-the-loop)의 필요성과 구조 설계
이러한 차이를 전제로 할 때, 혐오 표현에 대한 AI의 역할은 전면적 판단 주체가 아닌, 보조적 탐지자, 즉 조기 경고 시스템으로서의 기능에 한정되어야 한다는 주장이 설득력을 갖는다. AI는 데이터의 이상 징후를 빠르게 감지하고, 일정 기준 이상의 위험 신호가 감지되었을 때 인간 검토자의 판단을 요청하는 방식으로 운영되어야 한다.
이를 가능하게 하는 것이 바로 ‘혼합 통제(Hybrid Governance)’ 또는 ‘인간 개입형 AI(Human-in-the-loop AI)’ 모델이다. 이 모델은 AI가 1차적인 혐오 가능성을 감지하고, 그 결과를 인간 전문가가 최종적으로 판단하는 2단계 의사결정 구조를 갖는다. 특히 이 구조에서는 AI의 판단 근거가 설명가능해야 하며, 사용자에게 이의를 제기할 수 있는 절차와 알고리즘의 투명성이 보장되어야 한다.
정책적으로도 이러한 혼합 통제 모델은 GDPR, DSA, 한국의 정보통신망법 개정안 등에서 점점 더 요구되는 방향이다. 자동화된 결정에 사용자의 권리가 침해되지 않도록 하기 위한 법적 보호 장치로, AI의 전면 위임을 방지하고 인간의 윤리적 책임을 유지하는 체계를 제도화하는 흐름이다.
결론: 혐오 감지의 중심에는 기술이 아닌 사회가 있어야 한다
AI는 분명 혐오 표현 대응을 위한 중요한 기술적 수단이지만, 그 자체가 궁극적인 해결책은 될 수 없다. AI는 데이터를 분석하고, 패턴을 예측할 뿐, 혐오라는 복잡한 사회적 감정을 도덕적으로 판단하거나 맥락 속에서 해석할 수는 없다.
따라서 향후 AI 혐오 감지 시스템의 설계 방향은 단순한 탐지 정확도를 넘어서, 설명가능성, 윤리적 설계, 인간의 최종 판단 개입이라는 세 가지 축을 중심으로 구성되어야 하며, 이는 기술이 민주주의와 사회 정의에 기여하는 방식의 핵심이다. 우리는 AI가 혐오 표현을 자동으로 판단할 수 있도록 설계하는 데만 몰두해서는 안 된다. 오히려 어떤 판단을 사회가 어떻게 받아들일지를 결정하는 것은 여전히 인간의 몫이며, 이 과정에서 AI는 사회의 도구이자 파트너로서 기능해야 한다.