수학자들이 300년간 매달린 문제를 스물한 살 청년이 '풀 수 없다'고 증명해버렸다

모든 수학자의 꿈: 방정식의 '만능 열쇠'를 찾아라

자물쇠 장인의 이야기를 상상해 보세요.

그는 1차 자물쇠를 열었습니다.
2차 자물쇠도 열었습니다.
3차, 4차 자물쇠도 차례로 따냈습니다.

당연히 그는 믿었겠죠.
5차 자물쇠도 언젠가는 열릴 것이라고.

수학자들이 꼭 그랬습니다.

2차 방정식의 근의 공식은 기원전 바빌로니아 시대부터 알려져 있었습니다.
3차 방정식의 공식은 16세기 이탈리아 수학자들이 피와 자존심을 걸고 싸우며 발견했습니다.
4차 방정식의 공식은 그로부터 얼마 지나지 않아 뒤따라왔습니다.

패턴이 보이죠.
계단을 하나씩 오르면 꼭대기에 도달한다는 믿음.
수학의 역사는 그 믿음을 한 번도 배신한 적이 없었으니까요.

그래서 1600년대부터 유럽 최고의 수학자들은 5차 방정식의 공식을 찾기 시작했습니다.
라이프니츠가 도전했습니다.
오일러가 도전했습니다.
라그랑주가 도전했습니다.

아무도 찾지 못했습니다.

그들은 생각했습니다.
'더 영리한 사람이 나타나면 풀릴 것이다.'
'아직 발견되지 않은 방법이 있을 것이다.'
'우리가 부족한 것이다.'

아무도 이 가능성을 진지하게 생각하지 않았습니다.
'그런 공식 자체가 존재하지 않을 수도 있다'는 가능성을.

그 생각을 처음으로 끝까지 밀어붙인 사람은, 놀랍게도 노르웨이 시골의 가난한 청년이었습니다.

노르웨이 시골의 가난한 소년, 종이 한 장으로 전쟁을 선포하다

1802년, 닐스 헨리크 아벨은 노르웨이 서남쪽 핀뇌이섬의 작은 마을에서 태어났습니다.
아버지는 시골 목사였습니다.
집에는 돈이 없었고, 책도 없었습니다.

그러나 아벨에게는 한 가지가 있었습니다.
낡고 닳은 수학 교과서.

그는 혼자 읽었습니다.
혼자 풀었습니다.
혼자 물었습니다.

열다섯 살에 크리스티아니아(지금의 오슬로) 대성당 학교에 입학하면서 그의 삶이 바뀌었습니다.
수학 교사 베른트 홀름보에가 그의 재능을 알아봤기 때문입니다.
홀름보에는 당대 최전선 수학 논문들을 구해다 주었습니다.
아벨은 그것들을 밤새 읽었습니다.

그리고 아버지가 세상을 떠났습니다.
아벨이 열여덟 살 때의 일이었습니다.

가난은 더 깊어졌습니다.
생계는 자신이 책임져야 했습니다.
그런데도 수학을 손에서 놓지 않았습니다.

스무 살이 되던 해, 아벨은 충격적인 결론에 도달했습니다.
5차 방정식의 일반적인 대수적 풀이는 불가능하다.
300년간 수학자들이 찾아 헤매던 공식이, 애초에 존재하지 않는다.

그는 이것을 논문으로 썼습니다.
그러나 논문을 학술지에 투고할 돈이 없었습니다.

그래서 스스로 인쇄비를 댔습니다.
종이값을 아끼려고 증명을 최대한 압축했습니다.
6페이지.
그 얇은 종이 묶음이 수학의 역사를 영원히 바꾸게 됩니다.

'풀 수 없다'를 증명한다는 건 무슨 뜻일까?

여기서 잠깐, 중요한 질문을 해야 합니다.

'풀 수 없다는 걸 어떻게 증명하나요?'

열쇠 비유로 돌아가 봅시다.

당신에게 자물쇠가 하나 있습니다.
열쇠를 못 찾았다면, 두 가지 경우가 있습니다.
첫 번째, 열쇠가 있는데 아직 못 찾은 것.
두 번째, 애초에 그 자물쇠를 여는 열쇠가 존재하지 않는 것.

첫 번째 경우라면, 계속 찾으면 됩니다.
두 번째 경우라면, 아무리 찾아도 소용없습니다.

수학자들은 300년 동안 '첫 번째 경우'라고 가정하고 찾았습니다.
아벨이 증명한 것은 '두 번째 경우'였습니다.

이것이 왜 어려울까요?

'열쇠가 있다'를 증명하려면, 열쇠 하나를 보여주면 됩니다.
그러나 '열쇠가 없다'를 증명하려면, 무한히 많은 가능성을 전부 부정해야 합니다.
'내가 아직 못 찾은 것일 수도 있잖아?'라는 반론을 원천 차단해야 합니다.

아벨이 사용한 도구는 대칭성이었습니다.

쉽게 말하면 이렇습니다.
방정식의 근들 사이에는 특정한 교환 구조가 있습니다.
그 구조가 허용하는 연산의 범위가 정해져 있습니다.
5차 이상의 방정식에서 그 구조는, 사칙연산과 거듭제곱근만으로는 절대 표현될 수 없는 복잡함을 가집니다.

마치 삼각형은 자와 컴퍼스로 그릴 수 있지만, 특정한 각도는 이 도구들로는 절대 만들 수 없는 것처럼요.
도구가 부족한 게 아닙니다.
그 도구로는 구조적으로 불가능한 것입니다.

이런 '불가능성의 증명'이 수학에서 왜 중요할까요?

왜냐하면 그것은 가장 강력한 형태의 지식이기 때문입니다.
'아직 모른다'와 '절대 그럴 수 없다'는 완전히 다릅니다.
전자는 미래에 뒤집힐 수 있습니다.
후자는 영원히 확실합니다.

수학자들은 300년간 잘못된 질문을 하고 있었습니다.
아벨은 그 질문 자체가 틀렸음을 보여준 것입니다.

가우스는 읽지 않았고, 코시는 잃어버렸다

아벨은 자신의 논문이 세상을 뒤흔들 것이라고 믿었습니다.
그래서 그 6페이지짜리 소논문을 당대 최고의 수학자들에게 보냈습니다.

첫 번째 수신자는 카를 프리드리히 가우스였습니다.
당시 살아있는 가장 위대한 수학자.
'수학의 왕자'라 불리던 인물.

가우스는 읽지 않았습니다.

정확히는, 논문을 받은 기록은 있습니다.
그러나 가우스의 서신과 일기 어디에도 아벨의 이름은 등장하지 않습니다.
무명 청년이 쓴 얇은 논문은, 그의 책상 어딘가에서 조용히 먼지를 뒤집어쓴 것으로 보입니다.

아벨은 포기하지 않았습니다.

1825년, 스물두 살의 아벨은 유럽 수학의 중심지를 순례하는 여행을 떠났습니다.
베를린, 파리.
이 여행을 위해 노르웨이 정부로부터 장학금을 겨우 얻어냈습니다.

파리에서 그는 오귀스탱 루이 코시를 만나고자 했습니다.
코시는 당시 프랑스 수학계의 중심인물이었습니다.

아벨은 코시에게 논문을 건넸습니다.
훨씬 더 심화된 연구 결과였습니다.
타원 함수에 관한 획기적인 내용이 담겨 있었습니다.

코시는 잃어버렸습니다.

아벨의 논문은 코시의 서재 어딘가에서 수십 년간 행방불명 상태였습니다.
나중에 발견되었을 때는, 아벨은 이미 오래전에 이 세상 사람이 아니었습니다.

파리 체류 중에도 아벨의 삶은 나아지지 않았습니다.
돈은 바닥났습니다.
아는 사람도 없었습니다.
프랑스어도 서툴렀습니다.

그러나 그는 연구를 멈추지 않았습니다.

남은 여행 내내, 그리고 노르웨이로 돌아온 뒤에도, 아벨은 가르치고 쓰고 생각했습니다.
빈곤 속에서.
점점 깊어지는 결핵 속에서.

1828년, 그의 상태는 심각해졌습니다.
겨울 여행 중 증상이 악화되었고, 그는 연인 크리스틴의 가족 집에서 앓아누웠습니다.
스물여섯 살.
그가 가진 것은 쌓여가는 원고와, 쌓여가는 청구서뿐이었습니다.

편지는 사후에 도착했다 — 그리고 수학은 영원히 달라졌다

1829년 4월 6일, 아벨이 숨을 거뒀습니다.

이틀 뒤, 편지가 도착했습니다.

베를린 대학교에서 온 공식 서한이었습니다.
아벨을 수학 교수로 임용한다는 통보였습니다.

편지는 죽은 자의 손에 닿지 못했습니다.

이 이야기를 처음 들었을 때 느끼는 감정에는 이름이 없습니다.
분노도 아니고, 슬픔도 아니고, 억울함도 아니고.
그 모든 것이 한꺼번에 밀려오는 무언가.

그러나 역사는 아벨을 잊지 않았습니다.

아벨이 세상을 떠난 뒤, 유럽 수학계는 서서히 그의 업적을 이해하기 시작했습니다.
카를 구스타프 야코비가 비슷한 연구를 독립적으로 발표하면서 타원 함수 이론이 주목받았고, 코시의 서재에서 아벨의 논문이 뒤늦게 발견되었습니다.

프랑스 과학 아카데미는 1830년, 아벨과 야코비에게 그랑프리를 수여했습니다.
아벨은 이미 죽은 지 1년이 지나 있었습니다.

그가 시작한 이야기는 계속되었습니다.

프랑스 청년 에바리스트 갈루아는 아벨의 연구를 이어받아 훨씬 더 깊은 구조를 발견했습니다.
그것이 오늘날 '군론(Group Theory)'의 기초가 되었습니다.
갈루아 역시 스물한 살에 결투로 세상을 떠났습니다.
수학의 신은 재능 있는 청년들에게 유독 가혹했습니다.

그러나 그들이 남긴 유산은 오늘 이 순간에도 살아 있습니다.

군론은 현대 암호학의 뼈대입니다.
당신이 인터넷 뱅킹을 할 때 사용되는 암호화 알고리즘.
당신이 스마트폰으로 메시지를 보낼 때 작동하는 보안 프로토콜.
그 안에 아벨의 이름이 붙은 구조, 아벨 군(Abelian Group)이 있습니다.

AI가 학습하는 방식을 이해하는 데에도 군론이 쓰입니다.
물리학에서 입자의 대칭성을 기술하는 데에도 군론이 쓰입니다.
결정체의 구조를 분류하는 데에도, 양자역학의 언어를 만드는 데에도.

스물여섯 살에 세상을 떠난 가난한 노르웨이 청년의 생각이, 200년 뒤 문명의 곳곳에 새겨져 있습니다.

2002년, 노르웨이 정부는 아벨의 탄생 200주년을 기념해 수학 분야 최고 권위의 상을 제정했습니다.
노벨상에는 수학 부문이 없습니다.
그래서 많은 사람들이 아벨 상(Abel Prize)을 수학의 노벨상이라고 부릅니다.

매년 봄, 오슬로에서 수여되는 이 상의 이름을 들을 때마다 저는 생각합니다.

낡은 교과서로 혼자 공부하던 소년을.
6페이지짜리 논문을 혼자 인쇄하던 청년을.
가우스가 읽지 않은 편지를, 코시가 잃어버린 원고를.
그리고 이틀 늦게 도착한 그 봉투를.

수학은 때로 잔인하리만치 느립니다.
그러나 결국 옳은 것을 기억합니다.

아벨은 '풀 수 없다'는 것을 증명했습니다.
그러나 그의 이야기가 증명한 것은 다른 무언가였습니다.

진리는, 그것을 알아보는 눈이 없더라도, 사라지지 않는다는 것.