폴 코언 연속체 가설, 해석학자가 60년 난제를 강제법으로 푼 이야기

힐베르트가 1번으로 적어놓은 문제를 60년간 아무도 풀지 못했다

1900년, 당대 최고의 수학자가 칠판에 적은 문제 목록의 1번 자리에는 무한에 관한 질문이 놓였다.
그로부터 63년간, 아무도 이 문제를 풀지 못했다.

그 수학자는 다비트 힐베르트였다.
파리 국제수학자대회 연단에 선 그는 20세기 수학이 반드시 풀어야 할 23개 문제를 발표했다.
1번 문제의 이름은 연속체 가설이었다.

연속체 가설을 쉽게 말하면 이런 질문이다.
자연수(1, 2, 3...)의 무한과 실수(1.000...부터 2.000...까지 사이의 모든 수)의 무한, 이 둘 사이에 크기가 중간인 무한이 존재하는가?
무한에도 크기가 있고, 그 사이에 또 다른 무한이 끼어들 수 있는지를 묻는 질문이다.

세계 최고 수학자들이 60년간 이 문제 앞에서 멈춘 이유는 실력이 부족해서가 아니었다.
문제의 본성 자체가 기존 도구로는 손댈 수 없었기 때문이다.
시험 문제를 틀린 게 아니라, 그 문제가 출제 자체로 성립하는지를 증명해야 하는 상황이었다.

집합론 전문가가 아닌 해석학자가 그 문제를 골랐다

폴 코언의 전공은 집합론이 아니었다.
바로 그것이 그의 무기였다.

코언은 시카고 대학에서 해석학으로 박사학위를 받았다.
해석학은 함수와 극한, 미적분의 기초를 엄밀하게 다루는 분야다.
집합론이나 수리논리학과는 완전히 다른 동네다.

1960년대 초, 스탠퍼드 대학에서 교수로 재직하던 그는 힐베르트 1번 문제에 도전하기로 마음먹었다.
동료들의 반응은 냉담했다.
"비전문가가 60년 묵은 문제를 건드린다고?"

하지만 오히려 그게 통했다.
집합론을 전공한 수학자들은 기존 연구의 방식과 관성 안에서 생각했다.
코언은 그 관성이 없었기 때문에 완전히 낯선 방향에서 문제를 바라볼 수 있었다.

그가 발명한 기법의 이름은 강제법(forcing)이다.
간단히 말하면, 수학의 세계를 기존 공리 체계 위에 새로운 층을 쌓아 확장하는 방법이다.
자동차 정비사가 아닌 건축가가 엔진 자체를 재설계한 것과 비슷하다.

증명을 들고 괴델의 문 앞에 선 순간

코언은 완성된 원고를 가방에 넣고 비행기를 탔다.
목적지는 프린스턴, 만날 사람은 쿠르트 괴델이었다.

괴델은 1931년에 수학 역사를 뒤흔든 인물이다.
그는 어떤 수학 체계든 그 체계 안에서 증명도 반증도 할 수 없는 명제가 반드시 존재한다는 불완전성 정리를 증명했다.
쉽게 말해, 어떤 규칙 체계든 그 체계로는 답할 수 없는 질문이 반드시 존재한다는 것이다.

코언이 가장 두려워한 것은 틀리는 것이 아니었다.
자신의 전공도 아닌 분야에서 감히 "내가 맞다"고 주장하는 것이었다.
독학으로 쓴 소설을 들고 가장 존경하는 작가의 집 앞에 서 있는 기분과 같다.

괴델은 원고를 꼼꼼히 검토했다.
그리고 이렇게 말했다.
"이것은 내 불완전성 정리 이후 수리논리학에서 가장 중요한 성과야."

그 한 문장이 코언의 두려움을 걷어냈다.
수학사에서 가장 엄격한 논리학자가 직접 확인해준 것이다.
코언은 그제야 자신이 진짜로 무언가를 해냈다는 걸 믿을 수 있었다.

답이 없다는 것이 답이었다, 그리고 수학은 달라졌다

연속체 가설은 참도 아니고 거짓도 아니다.
폴 코언은 그것을 증명했고, 수학이라는 학문의 한계 지도를 다시 그렸다.

코언이 증명한 것은 "연속체 가설이 맞다" 혹은 "연속체 가설이 틀리다"가 아니었다.
수학의 표준 규칙 체계인 ZFC 공리계 안에서는 이 가설을 증명할 수도, 반증할 수도 없다는 것이었다.
ZFC 공리계란 수학에서 모든 것의 기초가 되는 약속들의 집합으로, 오늘날 수학자들이 공유하는 가장 기본적인 규칙 모음이다.

OX 퀴즈를 생각해보자.
O도 아니고 X도 아닌 세 번째 답이 정답인 문제가 있다고 증명한 것이다.
그것도 그냥 "모르겠다"가 아니라, 수학적으로 엄밀하게 "이 문제는 이 규칙 안에서는 결정 불가능하다"고 증명했다.

1966년, 코언은 필즈상을 받았다.
필즈상은 수학계의 노벨상이라 불리는 최고 영예다.
수리논리학 분야에서 필즈상이 수여된 것은 역사상 이 한 번뿐이다.

수학은 모든 질문에 답을 줄 수 있다는 믿음의 학문이었다.
코언은 "답할 수 없는 질문이 존재한다"는 것 자체를 엄밀한 수학적 답으로 만들었다.

그 증명을 해낸 사람은 집합론 전문가가 아니었고, 수십 년간 이 문제를 붙잡고 있던 수학자도 아니었다.
어느 날 혼자 결심하고, 낯선 기법을 발명하고, 두려움을 안고 괴델의 문 앞에 선 해석학자였다.

수학의 한계를 발견한 사람이 그 분야의 전문가가 아니었다는 사실, 그게 오히려 수학이 우리에게 건네는 가장 이상한 농담 아닐까.