러셀 유형 이론은 자기 자신을 못 깎는 이발사를 어떻게 풀었을까

러셀 유형 이론은 세상 모든 것에 '층'을 매겨서, 어떤 모임도 자기 자신을 구성원으로 담지 못하게 막는 규칙이에요. 수학 전체를 무너뜨릴 뻔한 단 하나의 역설을, 이 깔끔한 정리 정돈 한 번으로 막아낸 거죠.

노학자를 흔든 편지 한 통

1902년 여름, 서른 살이던 영국 청년 버트런드 러셀이 독일의 노학자 고틀로프 프레게에게 편지를 보냈어요. 러셀은 1872년에 태어나 1970년까지, 거의 백 년을 산 사람이에요. 마침 그 무렵 프레게는 평생을 바친 책 한 권을 막 인쇄에 넘기던 참이었어요. '수학을 논리만으로 빈틈없이 세우겠다'는 꿈을 담은 책이었죠.

편지에는 짧은 질문 하나가 들어 있었어요. 그런데 프레게는 그 질문을 읽고 이렇게 답했다고 해요. "산술이 흔들린다." 평생의 작업이 흔들린다는 고백이었어요. 도대체 어떤 질문이었길래 그랬을까요. 오늘은 그 질문 하나와, 거기서 태어난 러셀의 '유형 이론'을 끝까지 따라가 볼게요.

자기 자신을 못 깎는 이발사

러셀이 찾아낸 문제는 이런 모양이에요. 작은 마을에 이발사가 한 명 있어요. 이 이발사는 이렇게 선언했어요. "스스로 수염을 깎지 않는 사람만, 내가 대신 깎아 준다." 깔끔한 규칙처럼 들리죠. 그럼 질문 하나. 이발사 자신의 수염은 누가 깎을까요?

이발사가 스스로 깎는다고 해 봐요. 그러면 그는 '스스로 깎는 사람'이 되니까, 자기 규칙상 깎아 주면 안 되는 사람이에요. 반대로 안 깎는다고 해 봐요. 그러면 '스스로 안 깎는 사람'이니까, 규칙대로라면 자기가 깎아 줘야 하고요. 깎아도 틀리고 안 깎아도 틀려요. 어느 쪽으로도 답이 안 맞는 거예요.

러셀이 프레게에게 던진 질문도 똑같은 꼬임이었어요. "자기 자신을 포함하지 않는 모든 모임을, 다시 한데 모은 모임"을 떠올려 보세요. 이 모임은 자기 자신을 포함할까요, 안 할까요? 이발사와 판박이로, 포함한다 해도 모순, 안 한다 해도 모순이에요. 이게 그 유명한 '러셀의 역설'이에요. 모임(집합)을 벽돌 삼아 수학을 쌓아 올리던 사람들에게는, 발밑의 땅이 꺼지는 소리였죠.

모든 것에 층을 매기기

러셀의 해법은 의외로 단순한 정리 정돈이었어요. 세상 모든 것을 '층'으로 나누자는 거예요.

1층에는 그냥 사물들이 있어요. 사과, 의자, 사람 같은 거요. 2층에는 1층 사물들의 모임이 올라가요. '사과들의 모임' 같은 거죠. 3층에는 2층 모임들을 다시 묶은 모임이 있고요. 핵심 규칙은 딱 하나예요. 모임은 언제나 자기 구성원보다 정확히 한 층 위에 산다는 것. 이 '층'이 바로 영어로 타입(type), 곧 유형이에요. 그래서 유형 이론이라고 불러요.

이렇게 층을 정해 두면, "자기 자신을 포함하는 모임"이라는 말 자체가 성립하지 않아요. 2층에 있는 모임이 자기를 담으려면 자기가 1층에도 있어야 하는데, 한 물건이 두 층에 동시에 있을 수는 없으니까요. 마치 "숫자 7은 무슨 색일까?"라고 묻는 것과 비슷해요. 답이 어려운 게 아니라, 애초에 물을 수 없는 질문인 거죠. 러셀은 역설이 '답을 못 찾아서' 생긴 게 아니라, '질문이 규칙을 어겨서' 생긴 일이라는 걸 보여 준 셈이에요. 꼬인 매듭을 푸는 대신, 매듭이 만들어질 자리를 처음부터 없애 버린 거예요.

이 작은 규칙이 바꾼 것

러셀은 이 아이디어를 동료 화이트헤드와 함께 『수학 원리』라는 책에 담았어요. 1910년부터 1913년까지 세 권으로 나온, 어마어마하게 두꺼운 책이에요. '1 더하기 1은 2'라는 당연한 사실을 증명하는 데만 수백 쪽이 걸렸을 만큼, 작은 디딤돌 하나하나를 빠짐없이 깔았죠.

그런데 더 오래 남은 건 책 자체보다 러셀의 태도예요. 그는 커다란 문제를 작은 조각으로 잘게 쪼갠 다음, 한 조각씩 또박또박 따지는 방식을 보여 줬어요. 세상을 잘게 나눈 논리의 '원자'들로 본다는 그의 생각은 '논리적 원자론'이라 불려요. 그리고 이렇게 말과 논리를 분해해 가며 따지는 큰 흐름을 '분석철학'이라고 하는데, 러셀은 그 문을 연 사람 중 하나로 꼽혀요. 어려운 말을 멋지게 늘어놓기보다 한 문장 한 문장 정확하게 짚는 오늘날 철학의 분위기는, 이 사람에게서 많이 흘러나왔어요.

정리

러셀 유형 이론은 결국 '자기 자신을 가리키다 생기는 꼬임'을 막는 규칙이에요. 모든 것에 층을 매기고, 모임은 늘 자기 구성원보다 한 층 위에 두면, 자기를 자기 안에 담는 이상한 일은 처음부터 일어날 수가 없어요. 복잡한 문제 앞에서 한 발 물러나 '층부터 나눠 보는' 러셀식 정리 정돈은, 수학뿐 아니라 뒤엉킨 생각을 풀 때도 꽤 써먹을 만한 도구랍니다.