페르마의 마지막 정리, 책 여백 메모 한 줄이 수학자 358년을 바꿔놓은 이야기

여백이 너무 좁아서, 증명은 생략한다

냉장고에 포스트잇을 붙여본 적 있나요?
"우유 사기", "택배 찾기" 같은 짧은 메모.
대부분은 볼일이 끝나면 떼어서 버립니다.

그런데 약 350년 전, 한 남자가 책 여백에 남긴 메모 하나가 전 세계 수학자들의 인생을 통째로 바꿔놓았습니다.

1665년, 프랑스의 한 저택.
피에르 드 페르마라는 사람이 세상을 떠났습니다.
아들 클레망사뮈엘은 아버지의 서재를 정리하다가 낡은 수학책 한 권을 발견했습니다.
고대 그리스 수학자 디오판토스가 쓴 《산술》이라는 책이었죠.

책을 넘기던 아들은 깜짝 놀랐습니다.
아버지가 책 여백 곳곳에 빼곡하게 메모를 남겨둔 겁니다.
수식도 있고, 짧은 문장도 있었습니다.

그중 하나가 유독 눈에 띄었습니다.

"나는 이것에 대한 놀라운 증명을 발견했다.
하지만 여백이 너무 좁아서 여기에 적지 않겠다."

이 한 줄이 바로 수학 역사상 가장 유명한 문장입니다.
그리고 이 메모 때문에 수학자들은 앞으로 358년을 고통받게 됩니다.

낮에는 판사, 밤에는 수학자

놀라운 사실 하나.
페르마는 수학자가 아니었습니다.
적어도, 직업은 아니었습니다.

그의 본업은 프랑스 남부 툴루즈 지방법원의 판사였습니다.
매일 아침 법복을 입고 법정에 앉아 사건을 판결했죠.
오늘날로 치면 법원에서 일하는 공무원이 퇴근 후에 세계적인 수학 문제를 푼 셈입니다.

페르마는 왜 수학을 했을까요?
순전히 재미있어서였습니다.
당시 프랑스에서 판사는 사회적 중립을 지키기 위해 사교 활동이 제한되었습니다.
친구를 만나 술을 마시거나 파티에 가기 어려웠던 거죠.
그래서 페르마는 밤마다 서재에 틀어박혀 숫자와 놀았습니다.

그의 소통 방식도 독특했습니다.
페르마는 다른 수학자들에게 편지를 보내 도전장을 던졌습니다.
"나는 이런 문제를 풀었다. 당신도 풀 수 있겠는가?"
답은 알려주지 않았습니다.
풀이 과정도 거의 남기지 않았습니다.

이 버릇 때문에 동시대 수학자들은 페르마를 좋아하면서도 미워했습니다.
답을 알면서 안 알려주는 친구, 학교에 한 명쯤 있지 않았나요?
페르마가 딱 그런 사람이었습니다.

하지만 그의 실력은 진짜였습니다.
페르마는 확률론의 기초를 파스칼과 함께 만들었고, 미적분의 핵심 아이디어를 뉴턴보다 먼저 떠올렸으며, 빛의 경로에 관한 물리 법칙까지 발견했습니다.
아마추어라는 말이 무색할 정도죠.

숫자들의 비밀 규칙 — 페르마의 마지막 정리란?

자, 이제 그 유명한 '여백의 메모'가 무슨 내용이었는지 알아볼 차례입니다.
걱정 마세요.
어렵지 않습니다.

먼저 피타고라스의 정리를 떠올려 봅시다.
초등학교 때 배운 그것 맞습니다.
직각삼각형에서 두 짧은 변의 제곱을 더하면 긴 변의 제곱과 같다는 규칙이죠.

3² + 4² = 5²

계산해 볼까요?
9 + 16 = 25.
딱 맞습니다.

이렇게 3, 4, 5처럼 딱 맞아떨어지는 자연수 조합을 찾을 수 있습니다.
5, 12, 13도 됩니다.
8, 15, 17도 됩니다.
조합이 무한히 많죠.

레고로 비유하면 이렇습니다.
레고 블록 9개로 만든 정사각형과 16개로 만든 정사각형이 있다고 해보세요.
이 두 정사각형의 블록을 합치면 정확히 25개짜리 정사각형 하나를 만들 수 있습니다.
빈틈도, 남는 블록도 없이 딱 맞게요.

페르마는 여기서 한 가지 질문을 던졌습니다.

"제곱 대신 세제곱이면 어떨까?"

a³ + b³ = c³을 만족하는 자연수 a, b, c가 있을까?

레고로 다시 비유하면, 이번엔 정사각형이 아니라 정육면체를 만드는 겁니다.
작은 정육면체 두 개의 블록을 합쳐서 큰 정육면체 하나를 딱 맞게 만들 수 있을까?

페르마의 답은 단호했습니다.
"절대 불가능하다."

세제곱뿐 아닙니다.
네제곱, 다섯제곱, 여섯제곱… 2보다 큰 어떤 거듭제곱에서도 이런 자연수 조합은 존재하지 않는다.
이것이 바로 페르마의 마지막 정리입니다.

규칙 자체는 놀라울 정도로 간단합니다.
초등학생도 문제가 뭔지는 이해할 수 있습니다.
그런데 이걸 "왜 불가능한지" 증명하는 것은 완전히 다른 차원의 이야기였습니다.

왜냐고요?
"이런 숫자가 있다"는 걸 보여주려면 하나만 찾으면 됩니다.
하지만 "이런 숫자가 절대 없다"는 걸 보여주려면?
무한히 많은 숫자를 전부 확인해야 합니다.
아무리 컴퓨터를 돌려도 "다 해봤는데 없었어"로는 부족합니다.
단 하나의 예외도 없다는 것을 논리로 증명해야 합니다.

358년의 집착 — 수학자들이 미쳐간 이유

페르마의 메모가 세상에 알려지자, 수학자들은 너도나도 증명에 뛰어들었습니다.
결과는 참담했습니다.

첫 번째 의미 있는 진전은 페르마가 죽은 지 거의 100년이 지나서야 나왔습니다.
18세기 최고의 수학자 레온하르트 오일러.
그는 시력을 거의 잃어가면서도 계산을 멈추지 않은 전설적인 인물입니다.
오일러는 세제곱, 즉 n=3인 경우를 증명하는 데 성공했습니다.
하지만 이것은 전체 문제의 극히 작은 조각에 불과했습니다.
n=4, 5, 6, 7… 무한히 많은 경우가 남아 있었으니까요.

19세기 초, 뜻밖의 인물이 등장합니다.
소피 제르맹.
당시 여성은 대학에 갈 수 없었습니다.
그녀는 남자 이름을 빌려 편지를 보내며 독학으로 수학을 공부했습니다.
제르맹은 특정 숫자 하나하나가 아니라, 한꺼번에 무한히 많은 소수에 대해 증명하는 방법을 발견했습니다.
이것은 혁명적인 발상의 전환이었습니다.

1847년, 독일의 수학자 에른스트 쿠머가 당시 유행하던 증명 방법에 근본적인 결함이 있음을 발견했습니다.
많은 수학자가 "거의 다 풀었다!"고 흥분하던 참이었는데, 쿠머가 찬물을 끼얹은 겁니다.
하지만 쿠머는 단순히 비판만 한 것이 아니라, 그 결함을 메우기 위한 새로운 수학 도구를 발명했습니다.
문제를 풀다가 수학 자체가 한 단계 발전한 셈이죠.

20세기에 들어서자 상황이 달라졌습니다.
1908년, 독일의 사업가 파울 볼프스켈이 유언장에 특별한 내용을 남겼습니다.
페르마의 마지막 정리를 증명하는 사람에게 10만 마르크를 주겠다는 것이었습니다.
현재 가치로 수백만 달러에 해당하는 금액이었죠.

이 상금 덕분에 전 세계에서 증명 시도가 쏟아져 들어왔습니다.
대부분은 틀린 증명이었습니다.
괴팅겐 대학교에는 잘못된 증명 원고를 보관하는 창고가 따로 있었다는 이야기도 전해집니다.

1995년, 마침내 여백이 채워지다

1963년, 영국 케임브리지의 한 도서관.
열 살짜리 소년 앤드루 와일스가 수학 책 한 권을 집어 들었습니다.
그 책에서 페르마의 마지막 정리를 처음 만난 순간, 소년의 심장은 뛰기 시작했습니다.

"초등학생인 나도 문제는 이해할 수 있는데, 300년 동안 아무도 못 풀었다고?"

그날부터 이 문제는 와일스의 인생을 지배했습니다.

와일스는 수학자가 되었고, 프린스턴 대학교 교수가 되었습니다.
그리고 1986년, 수학계에 놀라운 소식이 전해졌습니다.
두 수학자가 "만약 타니야마-시무라 추측이 증명되면, 페르마의 마지막 정리도 자동으로 증명된다"는 것을 보여준 겁니다.

이게 무슨 말이냐고요?
비유하자면 이렇습니다.
수백 년 동안 닫혀 있던 금고의 비밀번호를 아무도 몰랐는데, 누군가가 "저 금고의 비밀번호는 옆 건물 서랍 안에 있다"고 알려준 겁니다.
금고를 직접 뚫을 필요 없이, 옆 건물 서랍만 열면 되는 거죠.

와일스는 결심했습니다.
7년 동안 비밀리에, 다락방에 틀어박혀 타니야마-시무라 추측을 증명하기 시작했습니다.
아내와 가장 가까운 동료 몇 명 외에는 아무도 몰랐습니다.
학회에도 나가지 않았고, 논문도 발표하지 않았습니다.
세상에서 사라진 것이나 다름없었죠.

1993년 6월, 케임브리지 대학교 강연장.
와일스는 연속 세 번의 강연을 진행했습니다.
강연 제목은 일부러 모호하게 지었습니다.
하지만 소문은 빠르게 퍼졌고, 마지막 강연에는 수학자들이 강연장을 가득 메웠습니다.

와일스가 마지막 줄을 칠판에 적었습니다.
"이로써 페르마의 마지막 정리가 증명되었습니다."
강연장은 순간 정적에 휩싸였다가, 곧 우레와 같은 박수가 터져 나왔습니다.

그런데 이야기가 여기서 끝나지 않습니다.
몇 달 후, 검증 과정에서 증명에 치명적인 빈틈이 발견된 겁니다.
세상이 주목하는 가운데, 와일스는 다시 절망에 빠졌습니다.
포기할 뻔한 순간도 있었습니다.

하지만 1년 뒤인 1994년 9월 어느 아침.
와일스는 포기하기 직전 마지막으로 한 번만 더 들여다보자고 마음먹었습니다.
그리고 그 순간, 빈틈을 메울 열쇠가 번개처럼 떠올랐습니다.
와일스는 훗날 이렇게 말했습니다.

"그것은 내 인생에서 가장 중요한 순간이었다.
나는 20분 동안 그것을 바라보며 믿을 수 없었다."

1995년, 증명이 최종 확정되었습니다.
358년 만이었습니다.

그렇다면 마지막 질문이 남습니다.
페르마는 정말로 증명 방법을 알고 있었을까요?

대부분의 수학자는 고개를 젓습니다.
와일스의 증명에는 20세기에야 발명된 수학 도구들이 사용되었습니다.
페르마 시대에는 존재하지도 않았던 개념들이죠.

아마도 페르마는 자신이 발견한 방법에 작은 실수가 있다는 것을 미처 깨닫지 못했을 겁니다.
하지만 그 "실수 섞인 확신"이 책 여백에 남겨졌기에, 350년 넘게 수학자들이 도전했고, 그 과정에서 현대 수학의 거대한 영역이 탄생했습니다.

페르마의 진짜 유산은 정리 자체가 아닙니다.
"나는 증명을 알지만 여백이 좁다"는 그 장난스러운 한 줄이, 인류 역사상 가장 긴 지적 모험을 시작하게 만들었다는 것.
그것이야말로 책 여백에 남긴 가장 위대한 낙서입니다.