피에르 드 페르마 마지막 정리, 책 여백 한 줄이 350년 수학 난제가 된 이야기

옛날 수학자들은 왜 자꾸 '이건 증명 못 해!'라고 포기했을까?

1637년, 한 남자가 책을 읽다가 여백에 뭔가를 끄적였어요. "나는 이 문제에 대한 정말 놀라운 증명을 발견했는데, 이 여백이 너무 좁아서 다 쓸 수가 없네." 그리고는... 그냥 넘어갔어요. 문제는 이거였죠. 그가 남긴 수식은 보기엔 단순했어요. x³ + y³ = z³ 같은 방정식은 정수 해가 없다는 거였죠. 중학생도 이해할 수 있는 문장이었지만, 세계 최고의 수학자들조차 "어? 이게 왜 맞는 거지?"하며 머리를 쥐어뜯었어요. 증명하려고 덤볐다가 몇 년씩 날린 천재들이 한둘이 아니었거든요.

변호사가 취미로 풀던 숫자 게임이 세상에서 가장 어려운 퍼즐이 되다

피에르 드 페르마는 직업이 변호사였어요. 법정에서 일하고, 퇴근하면 책상에 앉아 숫자로 노는 게 낙이었죠. 요즘으로 치면 회사 다니면서 유튜브에 수학 문제 푸는 영상 올리는 사람 같았달까요? 근데 이 사람이 취미로 푼 문제들이 진짜 레전드였어요. 확률론의 기초를 세웠고, 빛이 움직이는 원리를 설명했고, 정수론이라는 분야를 거의 혼자 개척했거든요. 친구들한테 편지로 "이런 문제 풀어봤는데 재밌더라~" 하면, 그게 유럽 전체 수학자들을 흥분시키는 난제가 되곤 했죠. 전업 수학자도 아닌 사람이 밤마다 책상에서 400년 뒤까지 쓸 무기를 만들고 있었던 거예요.

그가 여백에 남긴 한 줄 때문에 수학자들이 350년간 밤을 샜다

페르마가 죽고 나서 그의 아들이 아버지 책을 정리하다가 그 유명한 여백 메모를 발견했어요. 그때부터 지옥이 시작됐죠. 오일러, 가우스 같은 레전드 수학자들이 달려들었지만 완전한 증명엔 실패했어요. 20세기 컴퓨터가 나와서도 마찬가지였죠. 1993년, 앤드루 와일스라는 수학자가 7년간 다락방에 틀어박혀 연구 끝에 드디어 증명했어요. 논문이 100페이지가 넘었죠. 페르마가 "여백이 좁아서"라고 했던 그 증명 말이에요. 사람들은 깨달았어요. 페르마가 실제로 증명을 알았을 리 없다고요. 하지만 그 한 줄 때문에 수학이 350년 동안 미친 듯이 발전했어요. 숫자론, 대수기하학, 타원곡선 이론... 다 이 문제를 풀려다 나온 부산물이었거든요.

네가 지금 쓰는 비밀번호가 안전한 건 다 이 사람 덕분이야

지금 이 글 읽으면서 와이파이 쓰고 있죠? 카톡하고, 유튜브 보고, 배달 앱으로 치킨 시키잖아요. 그 모든 게 안전한 이유가 페르마예요. 그가 만든 "페르마의 소정리"가 RSA 암호라는 기술의 심장이거든요. 큰 소수를 곱하기는 쉬운데 다시 나누기는 거의 불가능하다는 원리죠. 해커가 네 비밀번호를 뚫으려면 수천 년이 걸려요. 17세기 변호사가 취미로 끄적인 숫자 법칙이, 21세기 스마트폰을 지키는 방패가 된 거예요. 다음에 결제할 때 자물쇠 아이콘 보면 생각해봐요. 그 안에 350년 전 책상 여백에서 시작된 마법이 숨어 있다는 걸요.