철학자 존 설은 방 하나로 강한 인공지능을 멈춰세웠다

인공지능이 가장 빛나던 1980년, 한 철학자가 방 안에 사람 한 명을 가두는 것만으로 강한 AI 전체를 부정했어요.

1980년, 학술지 《Behavioral and Brain Sciences》에 짧은 논문 하나가 실렸어요.
제목은 '마음, 뇌, 프로그램'. 저자는 존 설, 버클리대 철학 교수였죠.

그 논문이 제시한 건 단순한 장면이에요.
한자를 한 글자도 모르는 사람이 어두운 방 안에 갇혀 있어요.
방 밖에서 종이 쪽지가 슬롯을 통해 들어오고, 그 사람은 두꺼운 규칙집을 뒤져 적절한 한자를 골라 다시 밖으로 내밀어요.

밖에서 보면 중국어로 질문하면 중국어로 정확한 답이 나와요.
그러니 방 안의 존재가 중국어를 '이해'하는 것처럼 보이죠.
하지만 방 안의 그 사람은 중국어를 한 글자도 몰라요.

그는 그저 규칙에 따라 기호를 옮겼을 뿐이에요.
설의 주장은 여기서 나왔어요. "컴퓨터도 정확히 이렇게 작동한다."
당시는 AI 연구의 황금기였고, 과학자들은 "충분히 복잡한 프로그램은 진짜로 생각하게 될 것"이라 믿었어요.

결국 설은 그 믿음의 토대를 방 하나로 날려버렸어요.
이른바 중국어방 사고실험이에요. 사고실험이란 실제 실험 없이 머릿속 논리만으로 진행하는 철학적 가상 시나리오예요.
실리콘밸리 전체를 향해 "너희가 만든 건 마음이 아니다"라고 선언한 셈이죠.

존 설은 원래 옥스퍼드에서 언어가 행동이 되는 순간을 연구했다

인공지능을 가장 거세게 비판한 철학자는, 사실 "약속한다"는 말이 어떻게 약속이 되는지를 연구하던 사람이에요.

콜로라도에서 자란 존 설은 로즈 장학생으로 선발돼 옥스퍼드로 건너갔어요.
로즈 장학금은 전 세계에서 매년 100명 안팎만 받는, 영국 최고 명문 대학으로 가는 특별한 기회예요.
그곳에서 설은 J.L. 오스틴의 마지막 제자가 됐어요.

오스틴은 1950년대 옥스퍼드에서 이상한 질문 하나를 붙잡고 있던 영국 철학자였어요.
"'약속한다'고 말하면 그 순간 약속이 생겨요. 이게 도대체 어떻게 가능한 거죠?"
말이 단순한 정보 전달이 아니라 그 자체로 행위라는 걸, '말로 행동하기'라는 주제로 연구한 사람이에요.

설은 그 질문을 이어받아 1969년 《Speech Acts》라는 책을 썼어요.
'약속한다' '명령한다'는 말은 무언가를 서술하는 게 아니라 행위 자체를 만든다는 것을 체계화한 책이에요.
그런데 이 연구가 훗날 AI 비판의 뿌리가 됐어요.

말에 의미가 담기려면 기호를 처리하는 것만으로는 부족하거든요.
의도가 있어야 하고, 이해하는 주체가 있어야 해요.
설은 언어를 연구하면서 이미 알고 있었던 거예요. 기호는 의미가 아니라고.

심리철학자 다니엘 데닛은 30년간 그의 사고실험과 싸웠다

철학자 다니엘 데닛은 평생 한 가지 주장을 반박하려 했어요. 그것도 같은 학과를 드나들던 친구 존 설의 주장이었죠.

중국어방 논문이 나오자 학계는 발칵 뒤집혔어요.
데닛은 터프츠대의 심리철학자로, "의식은 환영이다"라고 주장한 사람이에요.
그는 인지과학자 더글러스 호프스태터와 함께 1981년 《The Mind's I》라는 책을 엮어 정면 반박에 나섰어요. 호프스태터는 베스트셀러 《괴델, 에셔, 바흐》를 쓴 사람이에요.

그들의 논리는 이랬어요.
"방 안의 사람 혼자는 이해 못 해도 괜찮아. 방 전체가 하나의 시스템으로서 이해하는 거잖아."
이걸 시스템 응답이라고 불러요. 뇌세포 하나가 생각하는 게 아니라 뇌 전체가 생각하는 것처럼, 시스템 전체를 봐야 한다는 논리예요.

그러나 설은 한 발도 물러서지 않았어요.
"그럼 규칙집까지 다 외운 사람이 방 밖에 나가도 여전히 중국어를 이해 못 하는 건 마찬가지잖아요."
시스템 전체를 사람 한 명 안에 집어넣어도 이해는 생기지 않는다는 반박이었죠.

그렇게 두 사람의 논쟁은 30년 넘게 이어졌어요.
같은 동네에서 같은 식당에 다니던 두 철학자가 80대에 이를 때까지 하나의 질문으로 싸웠어요.
"기계가 정말 생각할 수 있는가."

ChatGPT 시대가 와도 그의 중국어방은 무너지지 않았다

ChatGPT가 시를 쓰고 면접관을 흉내 내는 2023년에도, 1980년에 종이 위에 그려진 방 한 칸은 아직 무너지지 않았어요.

2010년대 이후 딥러닝이 폭발했어요.
2022년 말 등장한 ChatGPT는 사람처럼 대화하고, 시를 쓰고, 코드를 짰어요.
많은 사람이 물었죠. "이제 설의 주장은 틀린 거 아닌가요?"

설의 논리를 따르면 대답은 여전히 '아니오'예요.
GPT가 아무리 자연스러운 문장을 내놓아도, 그것은 엄청나게 정교한 규칙집을 엄청난 속도로 뒤지는 것일 뿐이에요.
마치 자동번역기가 완벽한 번역문을 내놓아도 그 기계가 문장의 '뜻'을 느끼는 건 아닌 것처럼요.

강한 AI란 단순히 지능처럼 보이는 게 아니라, 진짜로 이해하고 의식을 갖는 AI를 말해요.
설이 부정한 건 기계의 능력이 아니었어요. 그 안에 이해가 있다는 주장이었죠.
기호를 처리하는 것과 기호를 이해하는 것은 전혀 다른 이야기예요.

1980년 한 사람이 펜으로 그린 작은 방 한 칸.
그 방은 40년 뒤 수십억 달러 규모의 AI 산업 한복판에서 가장 불편한 질문이 되어 돌아왔어요.
지금 이 순간, 당신이 대화하는 AI는 과연 당신의 말을 이해하고 있을까요?