AI는 ‘따뜻한 커피’라는 말을 인간처럼 이해할까?

따뜻한 커피를 설명해 달라고 하면 AI는 김이 오르는 모습과 향, 손에 전해지는 온기를 문장으로 표현할 수 있습니다. 우리는 그 설명을 읽으며 실제 경험을 떠올립니다. 그렇다면 설명을 만들어 낸 AI의 이해와 읽는 사람의 이해는 어디에서 만날까요?

이 질문에는 최소 두 가지 뜻이 들어 있습니다. 어떤 상황에서 단어를 적절하게 사용하는 능력과, 그 단어가 가리키는 세계를 직접 경험하는 일입니다. 두 가지를 나누면 ‘이해한다’라는 말의 범위가 선명해집니다.

언어의 형태와 의미를 구분하는 논문

Bender와 Koller의 2020년 ACL 논문은 언어의 형태와 의미를 구분해야 한다는 이론적 입장을 제시합니다. 글자와 문장의 분포를 학습하는 일, 그리고 그 표현을 세계와 의사소통의 의도에 연결하는 일을 구분해 논의합니다.

이는 특정 AI의 의식 유무를 측정한 실험이 아니라 언어 이해의 조건에 관한 논증입니다. 오늘날 이미지와 행동까지 다루는 시스템을 살펴볼 때에도 입력과 학습 조건을 구체적으로 확인해야 합니다. 논문 원문: Bender·Koller, 2020

커피 한 잔에 담긴 서로 다른 정보

사람에게 ‘따뜻하다’는 말은 사전의 설명, 손의 감각, 계절, 함께 있던 사람의 기억과 연결될 수 있습니다. 언어 모델은 학습 자료와 주어진 문맥을 바탕으로 따뜻한 커피와 자연스럽게 이어지는 표현을 생성할 수 있습니다.

이미지를 입력받는 모델이라면 컵의 형태나 화면에 보이는 김도 단서가 될 수 있습니다. 로봇과 센서가 연결된 시스템이라면 온도 측정값이나 움직임의 결과도 사용할 수 있습니다. 어떤 연결이 있는지에 따라 말의 근거를 다르게 살펴야 합니다.

입력의 종류	연결할 수 있는 단서
글	표현의 관계와 설명된 상황
이미지	화면에 나타난 사물과 배치
센서·행동	측정값과 행동 뒤의 변화

이 표는 경험의 깊이를 매기는 순위가 아닙니다. 시스템이 어떤 정보에 접근하는지 구분하는 표입니다. 입력이 다양하다는 사실과 주관적 경험의 존재는 별도로 논의할 문제입니다.

같은 문장이 상황에 따라 달라지는 이유

‘여기 조금 따뜻하네’라는 문장을 떠올려 보세요. 겨울 산책 뒤에는 편안함의 표현일 수 있고, 창문 옆 자리에서는 환기를 제안하는 말일 수 있습니다. 단어의 사전적 뜻에 더해 누가 어떤 상황에서 말했는지가 의미를 구체화합니다.

직접 해 볼 관찰로, 같은 문장에 서로 다른 배경 두 개를 붙여 AI에게 해석을 요청해 보세요. 이어서 ‘문장에 직접 적힌 정보와 배경에서 추론한 정보를 나누어 줘’라고 물어봅니다. 실제 실험 결과를 재현한다고 주장하는 활동이 아니라 문맥의 역할을 알아보는 연습입니다.

표현 → 주어진 상황과 연결 → 가능한 의도 해석 → 추가 정보로 확인

이해의 기준을 먼저 정하면

길 안내에서는 목적지에 도착하도록 설명하는 능력이 중요합니다. 시 감상에서는 여러 해석의 근거를 연결하는 능력이 중요할 수 있습니다. 누군가의 마음을 이야기할 때에는 당사자의 확인도 필요합니다. 목적에 따라 우리가 확인하려는 이해의 모습이 달라집니다.

AI가 이해하는지 묻는 일은 결국 ‘이 상황에서 무엇을 할 수 있다면 이해했다고 부를 것인가’를 묻는 일이기도 합니다. 이 기준을 먼저 말하면 기술에 대한 대화가 더 구체적이 됩니다.

자주 묻는 질문

말을 잘 쓰면 의미를 이해한 것일까요? 어떤 의미의 이해를 평가하는지 정의하고, 그에 맞는 근거를 살펴야 합니다.

사진을 보면 사람처럼 경험한 것일까요? 이미지 정보를 처리하는 기능과 경험의 느낌을 동일하게 볼 근거는 별도로 필요합니다.

오늘의 질문: ‘커피를 안다’고 할 때 여러분은 설명, 구별, 맛본 경험 중 무엇을 가장 먼저 떠올리나요?

English version

함께 읽기: LLM과 인간의 학습이 다른 지점