법관 페르마는 수학을 직업으로 삼지 않았다

페르마의 본업은 수학자가 아니라 사람을 재판하는 법관이었습니다.

요즘으로 치면 낮에는 법원에서 판결문을 쓰고, 밤에는 집에 와서 노트북을 열어 세계급 문제를 푸는 사람입니다.
그런데 그 밤의 메모들이 나중에 수학 교과서의 한복판으로 들어갑니다.

피에르 드 페르마는 프랑스 남부 툴루즈의 고등법원에서 일했습니다.
툴루즈는 당시 프랑스의 중요한 도시였고, 고등법원은 지역의 큰 사건을 다루는 법원이었습니다.
그러니까 페르마는 강단 위의 교수가 아니라, 문서와 재판 사이에서 하루를 보내는 관리였습니다.

그래서 더 이상합니다.
현대 수학에서 그의 이름은 아주 크게 남아 있습니다.
하지만 그는 수학으로 월급을 받은 사람이 아니었습니다.

그에게 수학은 직업이 아니라 퇴근 뒤에도 머릿속에서 꺼지지 않는 불에 가까웠습니다.
친구들과 편지를 주고받고, 책 여백에 메모를 남기고, 혼자 문제를 밀어붙였습니다.
요즘으로 치면 논문 사이트에 올린 게 아니라 단톡방과 개인 노트에 역사를 남긴 셈입니다.

그런데 이 방식이 오히려 페르마를 더 위험한 사람으로 만들었습니다.
공식 발표를 기다리는 사람이 아니었거든요.
그는 문제를 보면 바로 달려들었고, 답을 찾으면 짧게 남겼습니다.

“이건 이렇게 되지 않을까?”

그 짧은 문장들이 뒤에 온 사람들을 오래 괴롭힙니다.
페르마는 법정에서는 질서를 다루는 사람이었지만, 수학에서는 질서를 흔드는 사람이었습니다.

페르마는 디오판토스 책 여백에 폭탄을 남겼다

페르마는 논문이 아니라 책 여백에 358년짜리 숙제를 남겼습니다.

회의록 끝에 누가 “이 프로젝트는 사실 불가능함. 증거 있음. 칸이 좁아 못 씀”이라고 적어놓았다고 해봅시다.
그런데 그 한 줄 때문에 회사 전체가 수십 년 동안 매달립니다.
페르마가 한 일이 거의 그런 일이었습니다.

그가 읽던 책은 디오판토스의 『산술』입니다.
디오판토스는 고대 그리스의 수학자로, 정수로 풀 수 있는 문제들을 다룬 사람입니다.
정수는 1, 2, 3처럼 딱 떨어지는 수입니다.

페르마가 붙잡은 문제는 아주 단순해 보입니다.
두 수를 각각 제곱해서 더하면, 또 다른 수의 제곱이 되는 경우가 있습니다.
예를 들면 3의 제곱 9와 4의 제곱 16을 더하면 25가 되고, 이것은 5의 제곱입니다.

여기까지는 중학교 수학처럼 보입니다.
그런데 페르마는 질문을 한 칸 위로 올립니다.
“그럼 제곱이 아니라 세제곱이면? 네제곱이면?”

그의 답은 차갑습니다.
세제곱 이상에서는 그런 식의 정수 해가 없다는 겁니다.
쉽게 말해, 같은 방식으로 딱 떨어지는 숫자 세 개를 찾을 수 없다는 말입니다.

그리고 그는 여백에 이렇게 남깁니다.
“나는 참으로 놀라운 증명을 발견했지만, 이 여백은 그것을 담기에는 너무 좁다.”

이 문장은 수학사에서 가장 유명한 미완성 메모가 됩니다.
증명은 왜 중요할까요.
수학에서 증명은 “내가 맞는 것 같아”가 아니라 “누가 봐도 빠져나갈 구멍이 없어”라는 확인서입니다.

그래서 사람들은 미칩니다.
페르마가 정말 증명을 알고 있었을까.
아니면 순간적으로 착각했을까.

더 무서운 점은 문제 자체가 너무 쉬워 보인다는 겁니다.
초등학생도 질문은 이해할 수 있습니다.
하지만 답의 문은 300년 넘게 열리지 않습니다.

도박꾼의 질문이 확률론의 문을 열었다

확률론의 출발점은 카지노가 아니라 편지 속 공정한 계산이었습니다.

엄숙한 강의실에서 태어난 학문이 아닙니다.
중단된 도박판에서 “그럼 돈은 어떻게 나눠야 공평하지?”라는 질문이 튀어나왔습니다.
그 질문이 나중에 보험, 통계, 인공지능까지 이어지는 길을 엽니다.

이 문제를 던진 사람은 슈발리에 드 메레입니다.
그는 프랑스 귀족이었고, 도박과 계산에 관심이 많던 사람이었습니다.
그가 묻고 싶었던 건 운명이 아니라 돈이었습니다.

상황은 이렇습니다.
두 사람이 점수를 쌓는 게임을 합니다.
그런데 게임이 끝나기 전에 멈춰야 합니다.

그러면 상금은 어떻게 나눠야 할까요.
지금 앞선 사람이 다 가져가야 할까요.
아니면 지금 점수만 보고 나누면 될까요.

페르마와 블레즈 파스칼은 이 문제를 편지로 주고받습니다.
파스칼은 프랑스의 수학자이자 사상가로, 계산기와 철학 글로도 유명한 인물입니다.
두 사람은 도박판의 불평을 수학의 질문으로 바꿉니다.

핵심은 “이미 나온 점수”가 아니라 “앞으로 이길 가능성”을 보는 것입니다.
확률은 점쟁이의 예언이 아닙니다.
아직 일어나지 않은 여러 길을 펼쳐놓고, 각 길이 얼마나 그럴듯한지 세는 일입니다.

그래서 이 장면이 놀랍습니다.
확률론은 처음부터 세상을 예측하려고 태어난 게 아닙니다.
먼저 돈을 공평하게 나누려고 태어났습니다.

“아직 끝나지 않은 게임의 몫은 어떻게 계산해야 하지?”

이 질문 하나가 사람들의 생각을 바꿉니다.
운은 그냥 하늘에서 떨어지는 것이 아니라, 경우를 나누어 셀 수 있는 대상이 됩니다.
도박판 위의 동전과 주사위가 수학의 실험도구가 된 순간입니다.

1994년 와일스가 페르마의 빈칸을 메웠다

페르마의 여백은 1994년에야 채워졌지만, 그 답은 페르마가 썼을 법한 답이 아니었습니다.

이건 정답만 적힌 시험지의 풀이를 358년 뒤 다른 언어로 완성한 일과 비슷합니다.
문제는 같았습니다.
하지만 풀이 도구는 완전히 달랐습니다.

그 빈칸을 메운 사람은 앤드루 와일스입니다.
와일스는 영국 수학자로, 현대 수학의 복잡한 도구들을 이용해 페르마의 마지막 정리를 증명했습니다.
여기서 마지막 정리는 “페르마가 남긴 여러 주장 중 끝까지 증명되지 않고 남아 있던 것”이라는 뜻입니다.

그런데 이 결말에는 이상한 그림자가 있습니다.
와일스가 증명한 것은 맞습니다.
하지만 페르마가 정말 같은 증명을 알고 있었는지는 여전히 의심스럽습니다.

왜냐하면 와일스의 증명에는 페르마 시대에 없던 수학이 들어가기 때문입니다.
페르마가 살던 17세기에는 그런 도구 자체가 없었습니다.
그러니까 페르마가 본 길과 와일스가 걸은 길은 같을 수가 없습니다.

그래서 사람들은 다시 묻게 됩니다.
페르마는 정말 “놀라운 증명”을 알고 있었을까.
아니면 자신이 본 작은 길을 너무 크게 믿었을까.

하지만 이 질문 때문에 페르마가 작아지지는 않습니다.
오히려 더 커집니다.
그가 남긴 한 줄이 수학자들을 세기 단위로 움직였기 때문입니다.

법관 페르마는 아마 퇴근 뒤 책상에 앉아 조용히 펜을 들었을 겁니다.
그에게는 그저 좁은 여백이었을지 모릅니다.
하지만 후대 사람들에게는 그 여백이 문이었습니다.

그 문 앞에서 수학자들은 358년 동안 서성였습니다.
그리고 마침내 문이 열렸을 때, 안쪽에는 페르마의 목소리보다 더 오래 남은 질문이 있었습니다.

“정말 그는 어디까지 알고 있었을까?”