AI에게 몸이 생기면 세상을 이해하는 방식도 달라질까?

컵을 설명하는 AI와 컵을 집어 옮기는 로봇을 떠올려 보세요. 두 시스템 모두 컵에 관한 정보를 다룰 수 있지만, 실제 물건을 옮기는 과정에는 위치, 움직임, 행동 뒤의 변화가 추가됩니다. 몸이 생긴다는 것은 정보가 오가는 통로가 달라진다는 뜻이기도 합니다.

여기서 한 걸음 더 나아가 ‘몸이 생기면 감정이나 의식도 생길까?’라는 질문을 할 수 있습니다. 행동과 감각의 연결을 연구하는 일과 주관적 경험을 확인하는 일은 구분해서 살펴보겠습니다.

언어와 행동을 연결한 RT-2

2023년 RT-2 연구는 웹의 시각·언어 정보와 로봇의 행동 데이터를 연결하는 비전·언어·행동 모델을 제안했습니다. 로봇의 행동을 토큰 형태로 표현해 학습에 포함하는 방식입니다. 연구진은 약 6,000회의 평가 시도에서 새로운 물체나 명령을 다루는 능력을 조사했습니다.

이 연구의 초점은 지식을 로봇 제어에 활용하는 데 있습니다. 로봇이 컵의 무게를 사람처럼 느꼈는지, 행동의 결과에 만족을 체험했는지를 측정한 연구는 아닙니다. 연구 원문: Brohan 외, RT-2, 2023

몸이 더해지면 질문이 바뀐다

글로 된 지시에서는 ‘컵을 선반에 놓는다’라는 문장을 만들 수 있습니다. 실제 작업에서는 컵의 위치를 파악하고, 움직임을 선택하고, 이동 결과를 확인해야 합니다. 관찰과 행동이 연결된 반복 과정이 생깁니다.

주변 관찰 → 행동 선택 → 물리적 변화 → 새 관찰

이 흐름은 이해를 행동의 결과와 연결해 평가할 수 있게 합니다. 컵이 목표한 곳에 놓였는지처럼 확인 가능한 기준을 세울 수 있습니다. 다만 이 성공 기준은 그 작업의 수행을 보여 주며, 인간 경험 전체의 유사성을 뜻하지는 않습니다.

질문	필요한 근거
물체를 구분하는가	관찰 조건과 인식 결과
목표대로 움직이는가	실제 행동과 완료 상태
새로운 상황에 적용하는가	학습 조건과 다른 환경의 평가
감각을 경험하는가	주관적 경험에 관한 별도 연구

집에서 떠올려 볼 작은 사고실험

눈앞의 상자를 다른 사람에게 설명한다고 생각해 보세요. 사진 한 장을 전달하는 경우, 여러 방향에서 찍은 사진을 전달하는 경우, 직접 들어 보게 하는 경우에는 얻을 수 있는 단서가 달라집니다. 이 비교는 몸과 관찰의 역할을 생각하기 위한 예시입니다.

AI 시스템을 볼 때에도 같은 질문을 적용할 수 있습니다. 어떤 센서를 쓰는지, 실제로 움직여 볼 수 있는지, 결과를 다시 입력받는지 확인합니다. 단순히 ‘몸이 있다’는 표현보다 관찰과 행동이 어떻게 연결되는지 살피는 편이 구체적입니다.

사람의 몸과 로봇의 몸

사람의 몸에 관한 논의에는 생활의 역사, 생리적 상태, 감각의 경험도 포함됩니다. 로봇의 센서와 제어 구조를 설명하는 것만으로 이 모든 질문을 해결한 것은 아닙니다. 그렇다고 행동을 통한 학습 연구의 의미가 줄어드는 것도 아닙니다.

우리는 각 층의 성과를 따로 읽을 수 있습니다. 물체를 다루는 능력이 어떻게 확장되는지 살펴보고, 그 시스템의 경험 여부는 필요한 근거에 맞춰 논의하는 것입니다.

자주 묻는 질문

카메라가 있으면 몸이 있다고 볼 수 있나요? 연구 목적에 따라 정의가 달라집니다. 감각 입력과 행동 가능성을 각각 적으면 논의가 분명해집니다.

로봇이 움직임을 배우면 인간과 같은 방식으로 학습하나요? 일부 비교할 수 있는 기능이 있지만 데이터, 구조, 환경을 구체적으로 확인해야 합니다.

오늘의 질문: 여러분이 어떤 사물을 이해할 때 보기, 만지기, 사용하기 중 어느 과정이 가장 큰 역할을 하나요?

English version

함께 읽기: LLM과 인간의 학습이 다른 지점