수학자가 본업이 아니었던 페르마는 낮에 판사였다

페르마는 수학자로 먹고산 적이 단 한 번도 없다.
그는 프랑스 툴루즈의 형사 법관이었다.
아침에는 법정에서 판결을 내리고, 퇴근 후에야 펜을 들어 수학 문제를 풀었다.

오늘날로 치면 회사원이 퇴근 후 침대에서 수학 노트를 끄적이는 상황이다.
단, 그 끄적임이 동시대 최고의 지성인들인 데카르트와 파스칼과 나란히 17세기 수학사에 이름을 새기는 수준이었다는 게 다를 뿐이다.

그는 논문도 거의 내지 않았다.
발견한 것들을 친구들에게 보내는 편지에만 적었다.
그러니까 후대 수학자들을 300년 넘게 괴롭힌 문제를 남긴 사람이, 학계에 정식으로 단 한 편의 논문도 발표하지 않은 '아마추어'였다.

페르마는 책 여백에 '증명을 적기엔 너무 좁다'고 썼다

수학사 최고의 도발은 본문이 아니라 여백에서 나왔다.
1637년 무렵, 피에르 드 페르마는 디오판토스의 『산학』이라는 책을 읽고 있었다.
기원후 3세기 고대 그리스 수학자가 쓴 수론 책의 라틴어 번역본으로, 정수들 사이에 숨어 있는 규칙을 탐구하는 내용이 담겨 있다.

그 책에는 이런 내용이 있었다.
x² + y² = z²을 만족하는 정수가 존재한다는 것이다.
3, 4, 5가 바로 그 예로, 3² + 4² = 9 + 16 = 25 = 5²이 성립한다.

페르마는 이걸 보다가 문득 뭔가를 발견했다.
제곱(n=2)이 아니라 세제곱(n=3), 네제곱(n=4), 그 이상으로 올라가면 어떨까.
x^n + y^n = z^n을 만족하는 정수 조합은 단 하나도 나오지 않았다.

그래서 페르마는 그 페이지 여백에 라틴어로 이렇게 적었다.

"나는 이를 증명할 놀라운 방법을 찾았다. 하지만 여백이 너무 좁아 적지 못한다."

친구에게 "나 이거 답 알아, 근데 여기에 적기엔 좀 길어"라고 문자 보내고 사라진 상황이다.
단, 그 한 줄이 350년간 전 세계 최고 수학자들을 전부 끌어들이는 블랙홀이 됐다는 게 다르다.

페르마의 아들이 아버지의 메모를 출판해 수수께끼를 세상에 풀었다

페르마의 마지막 정리는 페르마가 발표한 적이 없다.
그는 1665년에 세상을 떠났고, 그 여백 메모는 그냥 개인 책에 남긴 낙서로 조용히 사라질 수도 있었다.

하지만 5년 뒤, 페르마의 아들 클레망사뮈엘이 아버지의 책들을 정리했다.
여백에 아버지가 남긴 메모들을 하나씩 옮겨 적어 『관찰을 곁들인 디오판토스의 산학』이라는 책으로 묶어 출판했다.

그 책에 바로 그 메모가 실렸다.
"여백이 너무 좁아 못 적겠다"는 바로 그 문장이다.
아들은 효심으로 아버지의 낙서를 세상에 공개했고, 결과적으로 이후 350년간 전 세계 수학자들의 인생을 갈아넣는 숙제를 만들어버린 셈이 됐다.

부모님이 돌아가신 뒤 일기장을 책으로 묶어 출판했더니, 그 한 줄이 전 세계 학자들의 평생 숙제가 된 상황이다.
그 숙제에 이름이 붙었다. 페르마의 마지막 정리.

앤드루 와일스는 358년 만에 페르마의 한 줄을 무너뜨렸다

페르마가 여백이 좁아 못 적었다는 증명은, 350년 뒤 200쪽이 필요했다.
오일러, 가우스, 코시 같은 역대 최고의 수학자들이 달려들었다.
n=3이나 n=4 같은 특수한 경우는 각각 증명해 냈지만, 모든 n>2에 대한 일반 증명은 아무도 내놓지 못했다.

1986년, 영국 수학자 앤드루 와일스가 나섰다.
그는 집 다락방 서재에 홀로 틀어박혔다.
7년간 거의 혼자 연구했고, 가족 외에는 아무에게도 연구 중임을 알리지 않았다.

1995년, 와일스는 마침내 증명을 완성했다.
분량은 200쪽이 넘었고, 동원한 수학은 현대 대수기하학이었다.
페르마가 살았던 17세기에는 존재조차 하지 않았던 도구들로만 겨우 풀린 문제였다.

그래서 지금도 수학자들 사이에 이런 의문이 남는다.
페르마는 정말 증명을 알고 있었을까, 아니면 착각이었을까.
17세기 수학으로는 절대 닿을 수 없는 증명이었는데, 그 "여백이 너무 좁다"는 말은 아직도 아무런 해명 없이 여백 속에 그냥 있다.