AI가 ‘확실해요’라고 말할 때, 스스로 아는 정도도 아는 걸까?

‘확실합니다’라는 답변은 읽기 편합니다. 그 문장이 가리키는 확실함이 무엇인지 살펴보면 새로운 질문이 열립니다. AI는 답을 만드는 동시에 자신이 얼마나 알고 있는지도 판단할 수 있을까요?

사람이 자신의 기억이나 판단을 살피는 능력을 메타인지라고 부릅니다. AI에서는 답변의 정확도를 예측하거나 불확실성을 평가하는 기능을 연구할 수 있습니다. 이 기능을 측정하는 일과 스스로 확신을 체험하는지는 별개의 질문입니다.

정답 가능성을 평가하는 연구

Kadavath와 동료들의 2022년 연구는 언어 모델이 자기 답변의 타당성과 답할 수 있는 질문을 어느 정도 예측하는지 살펴봤습니다. 연구진은 답의 참일 가능성과 특정 질문의 답을 알고 있을 가능성을 구분해 다뤘습니다. 적절한 형식의 일부 과제에서 유의미한 자기평가 결과를 보고했습니다.

논문은 새로운 과제로 옮겼을 때 확률의 보정이 달라지는 조건도 설명합니다. 특정 연구 설정에서 나온 능력을 모든 대화에서 말하는 자신감과 동일시하지 않는 것이 정확합니다. 논문의 연도와 평가한 모델 범위도 함께 읽어야 합니다. 연구 원문: Kadavath 외, 2022

확신을 점검하려면 여러 질문이 필요하다

가상의 예를 들어 보겠습니다. 어떤 시스템이 80% 확률이라고 말한 질문 100개가 있습니다. 실제로 그중 약 80개가 맞는다면 그 묶음에서는 확률과 결과가 잘 맞는다고 볼 수 있습니다. 이를 이해하기 위한 개념이 보정입니다.

한 문제에서 ‘80%’라고 말하고 정답을 냈다는 사실만으로 전체 확률 평가의 성질이 확인되지는 않습니다. 여러 번의 예측과 실제 결과가 필요합니다. 이 숫자는 개념 설명용 가정이며 특정 제품의 측정값이 아닙니다.

확실함의 표현	더 알아볼 항목
맞다고 말함	정답을 확인할 근거
확률을 제시함	반복 예측과 실제 결과의 관계
추가 확인을 요청함	필요한 정보와 확인 방법

독자가 바로 쓸 수 있는 확인 질문

AI에게 설명을 받을 때 ‘확인된 사실, 이 자료에서 추론한 부분, 추가로 확인할 부분을 나누어 줘’라고 요청해 보세요. 이어서 사실에 해당하는 문장의 출처와 날짜를 요청합니다.

출처가 있다면 원문이 실제로 그 주장을 뒷받침하는지도 읽어 봅니다. 자신감의 표현을 반복해서 듣는 것보다 질문의 범위와 근거를 구체적으로 만드는 과정입니다. 최신 일정이나 서비스 조건처럼 시점이 중요한 정보에는 기준 날짜를 함께 붙이면 좋습니다.

답변 생성 → 근거와 불확실성 구분 → 외부 자료 확인 → 판단 보완

모른다고 말하는 것도 대화의 기능

정보가 충분하지 않다는 설명은 다음에 무엇을 찾아야 할지 정하는 데 도움이 됩니다. 장소를 추천할 때 운영 시간을 확인하지 않았다면 그 항목을 별도로 표시하도록 요청할 수 있습니다. 불확실성을 드러내는 방식은 사용자의 판단을 돕는 인터페이스가 됩니다.

우리가 원하는 것은 매번 같은 강도의 자신감보다 근거에 맞춰 표현을 조절하는 대화일 수 있습니다. AI의 자기평가를 이해하면 답변을 받아들이는 기준도 더 구체적으로 세울 수 있습니다.

자주 묻는 질문

AI가 제시한 확률을 그대로 신뢰해도 되나요? 그 확률을 어떻게 산출하고 어떤 데이터에서 검증했는지에 따라 해석이 달라집니다.

자기평가가 가능하면 자아도 있는 것인가요? 자기 답을 평가하는 기능과 주관적인 자아의 경험은 별도로 연구할 수 있습니다.

오늘의 질문: 답변에서 자신감 있는 말투, 근거의 출처, 확인 절차 중 어느 것이 가장 안심되나요?

함께 읽기: LLM과 인간의 학습이 다른 지점