폴 코언, 연속체 가설의 답 없음을 증명한 수학자

폴 코언은 집합론자가 아니라 분석학자였다

1962년, 폴 코언은 자기 전공이 아닌 분야의 최대 난제를 풀겠다고 결심했어요.
당시 스탠퍼드 대학의 28살 수학자였던 그의 전공은 푸리에 해석과 조화 함수, 쉽게 말해 진동과 파동을 수식으로 다루는 분석학이었거든요.
그런데 코언은 집합론이라는 완전히 다른 분야의 60년 묵은 미해결 문제를 골라 "내가 풀겠다"고 선언했어요.

한 번도 만져본 적 없는 부서의 가장 오래된 미결 안건을, 신입이 1년 안에 해결하겠다고 자청한 셈이에요.
집합론 전문가들조차 수십 년 동안 손 못 댄 문제를, 분야 바깥 사람이 건드리겠다는 건 무모해 보였겠지요.
하지만 결과는 반전이었어요.

코언은 1년 만에 증명을 완성했어요.
정상급 집합론자들이 60년 넘게 해내지 못한 일을, 분야 외부인이 끝낸 거예요.

힐베르트가 1900년에 1번으로 지목한 질문

수학자들이 60년 넘게 답하지 못한 질문은, 사실 어린이도 던질 만한 단순한 것이었어요.

1878년, 독일 수학자 게오르크 칸토어는 무한에도 크기 차이가 있다는 걸 발견했어요.
자연수(1, 2, 3...)의 무한과 소수점까지 이어지는 실수의 무한은 크기가 다르다는 거예요.
자연수는 하나씩 셀 수 있는 무한이고, 실수는 그보다 훨씬 더 빽빽하게 채워진 무한이에요.

그러자 칸토어는 자연스럽게 궁금해졌어요.
"그렇다면 자연수의 무한과 실수의 무한 사이에, 딱 중간 크기의 무한이 있을까?"
오늘날로 치면 "1층과 2층 사이에 1.5층이 존재하나요?"라고 묻는 격이에요.

이 질문이 바로 연속체 가설(CH, Continuum Hypothesis)이에요.
1900년, 독일 수학자 다비드 힐베르트는 파리 국제수학자대회에서 "20세기 수학이 반드시 풀어야 할 23개 문제"를 발표했는데, 연속체 가설이 그 목록의 1번이었어요.
힐베르트의 23문제는 이후 20세기 수학의 방향표가 된 유명한 목록이에요.

그런데 이 단순해 보이는 질문에 수학자들은 60년 넘게 아무런 답도 내놓지 못했어요.

코언이 발명한 강제법은 답이 없다고 답했다

1963년 폴 코언이 내놓은 답은, 이 질문에는 답이 없다는 것이었어요.

정확히는 이렇게요.
ZFC 공리계, 즉 수학자들이 수학을 할 때 기반으로 삼는 기본 규칙들로는 연속체 가설이 참인지 거짓인지 증명할 수 없다는 거예요.
시험 문제를 며칠 동안 끙끙대다가 "이 문제는 주어진 조건만으로는 답이 나오지 않습니다"라고 결론 내린 상황이에요.

이 결론이 완성되기까지 먼저 나온 절반이 있었어요.
1940년, 논리학자 쿠르트 괴델은 연속체 가설이 ZFC 공리계와 모순되지 않는다는 걸 증명했어요.
"연속체 가설이 참인 수학 세계를 만들 수 있다"는 절반짜리 결과였어요.

하지만 나머지 절반, "연속체 가설이 거짓인 세계도 만들 수 있다"는 건 누구도 보여주지 못했어요.
코언은 여기서 강제법(forcing)이라는 완전히 새로운 기법을 발명했어요.
강제법은 기존 수학 세계에 새로운 수학적 대상을 강제로 추가해 전혀 다른 규칙이 작동하는 평행한 수학 세계를 만드는 기술이에요.

코언은 강제법으로 연속체 가설이 거짓인 수학 모델을 만들어냈어요.
이로써 괴델의 절반과 코언의 절반이 합쳐졌어요.
결국 ZFC로는 연속체 가설을 증명도, 반증도 할 수 없다는 결론이 완성됐어요.

100년 가까이 쫓아온 질문의 답이, "이 질문은 우리가 가진 도구로는 답할 수 없어요"라는 거였어요.

코언은 논리학 분야 유일의 필즈상을 받았다

코언은 증명서를 들고 직접 괴델을 찾아갔어요.
프린스턴 고등연구소에 있던 괴델은 받은 봉투를 며칠 동안 열어보지 않았어요.
결국 검토를 마친 괴델은 코언의 증명이 옳다고 인정했어요.

이 장면은 꽤 극적이에요.
1940년에 절반을 내놓은 괴델과, 1963년에 나머지 절반을 채운 코언이 같은 방에서 마주 앉은 거잖아요.
다른 부서에서 넘어온 신입이 그 분야의 전설을 직접 찾아가 "제 답이 맞죠?"라고 물어본 셈이에요.

코언은 1966년 모스크바 국제수학자대회에서 필즈상을 받았어요.
필즈상은 수학의 노벨상이라 불리는 최고 권위의 상이에요.
그리고 이 수상은 수학기초론과 논리학 분야에 주어진 처음이자, 지금까지 유일한 필즈상으로 남아 있어요.

분석학자가 집합론에 들어와 강제법이라는 새 언어를 발명하고, 괴델의 인정을 받고, 그 분야 유일의 최고상까지 받았어요.
코언 이후로 강제법은 집합론의 표준 도구가 됐고, 수십 년이 지난 지금도 수많은 수학자가 그가 만든 언어로 무한을 탐험하고 있어요.

그가 뚫은 길에서 수학은 완전히 다른 질문을 배웠거든요.
"이게 참인가?"가 아니라, "이게 애초에 답할 수 있는 질문인가?"라고요.