바이어슈트라스 연속함수론, 마흔 넘은 시골 교사가 수학 천재들을 뒤집은 이야기

40살 시골 교사가 수학 천재들을 전부 틀렸다고 증명한 날 — 카를 바이어슈트라스 이야기

당신이 지금 스마트폰으로 지도 앱을 켜면, 화면 위에 매끈한 곡선이 그려집니다.
도로가 꺾이고, 강이 흐르고, 등고선이 산을 감쌉니다.
수학자들은 오랫동안 이 곡선들을 믿었습니다.
매끄러우면 기울기가 존재한다고, 연속이면 미분 가능하다고.

그 믿음을 한 방에 부순 사람이 있었습니다.
놀라운 건 그가 명문 대학 교수가 아니었다는 겁니다.
그는 시골 중학교에서 아이들에게 분수를 가르치던 교사였습니다.
나이는 마흔이 넘어 있었고, 수학계에는 완전히 무명이었습니다.

아버지는 세무서, 아들은 술집 — 대학 4년을 날린 청년

1815년, 독일 뮌스터란트의 작은 마을에서 카를 바이어슈트라스가 태어났습니다.
아버지는 세무공무원이었고, 실용적인 사람이었습니다.
아들에게 원하는 건 하나였습니다.
안정된 직업.

카를은 열아홉 살에 본 대학에 입학합니다.
전공은 법학과 경제학이었습니다.
아버지가 골라준 길이었습니다.

그런데 대학이라는 곳은 묘합니다.
처음으로 혼자가 되고, 처음으로 선택이 생기고, 처음으로 진짜 자신을 만납니다.
카를이 만난 건 법전이 아니라 펜싱 클럽과 맥주였습니다.

4년이 지났습니다.
그는 학위 없이 집으로 돌아왔습니다.
아버지의 실망이 어땠을지, 굳이 상상하지 않아도 됩니다.

그런데 그 4년이 완전히 낭비였을까요.
그렇지 않습니다.
카를은 술집 한쪽 구석에서, 펜싱 연습 뒤 지친 몸으로, 몰래 수학책을 읽고 있었습니다.
아무도 시키지 않았습니다.
아무도 알아주지 않았습니다.
그냥 좋았습니다.

실패한 청년이 집으로 돌아갑니다.
그리고 교사 자격증을 땁니다.
수학, 체육, 독일어를 가르칠 수 있는 자격증이었습니다.

칠판 앞의 비밀 — 중학교 교실에서 혼자 수학을 다시 만든 남자

브라운스베르크라는 마을을 지도에서 찾으려면 꽤 오래 들여다봐야 합니다.
지금도 그렇고, 1850년대에는 더욱 그랬습니다.
프로이센 변방의 작은 항구 마을, 그곳에 카를 바이어슈트라스가 부임합니다.

그는 낮에는 아이들에게 산수를 가르쳤습니다.
체육 수업도 맡았습니다.
수업이 끝나면 식사를 하고, 밤이 되면 혼자 책상 앞에 앉았습니다.

창밖은 어두웠습니다.
마을은 조용했습니다.
그는 거기서 수학의 기초를 처음부터 다시 쌓기 시작했습니다.

왜 처음부터였을까요.
당시 수학에는 이상한 구멍이 있었기 때문입니다.
뉴턴과 라이프니츠가 17세기에 미적분을 만들었지만, 그 토대는 놀랍도록 불안정했습니다.
"한없이 가까이 간다"거나 "무한히 작아진다"는 말로 모든 걸 설명했습니다.
직관적으로는 느껴지지만, 증명하려 들면 손가락 사이로 빠져나가는 모래 같은 말들이었습니다.

카를은 그 모래를 바위로 바꾸고 싶었습니다.

그가 쓴 논문들은 베를린 학회지가 아니라 브라운스베르크 고등학교 연보에 실렸습니다.
읽은 사람이 몇 명이나 됐을까요.
손에 꼽을 정도였을 겁니다.
어쩌면 아무도 안 읽었을 수도 있습니다.

그래도 그는 썼습니다.
15년 동안, 매일 밤, 혼자서.

수학계 입장에서 바이어슈트라스는 존재하지 않는 사람이었습니다.
하지만 수학 입장에서는, 그 15년 동안 무언가 엄청난 일이 조용히 일어나고 있었습니다.

매끄러워 보이는데 꺾이지 않는 곳이 없는 괴물 곡선

스웨터 하나를 상상해 보세요.
실이 촘촘하게 짜여 있고, 표면은 부드럽게 이어집니다.
손가락으로 쓸면 아무 걸림이 없습니다.

그런데 돋보기를 가져다 대면 어떨까요.
실과 실 사이에 작은 굴곡들이 보입니다.
더 강한 돋보기를 대면, 그 굴곡 안에 또 더 작은 굴곡들이 있습니다.
현미경으로 보면, 그 굴곡 안에 또.

끝이 없습니다.
어느 스케일로 들여다봐도, 매끄러운 구간은 단 하나도 없습니다.

이게 바이어슈트라스가 1872년에 수학계 앞에 내놓은 함수였습니다.
연속이지만 어디에서도 미분 불가능한 함수.

연속이라는 건 선이 끊기지 않는다는 뜻입니다.
미분 불가능하다는 건 어디에서도 기울기를 잴 수 없다는 뜻입니다.

당시 수학자들은 이게 불가능하다고 생각했습니다.
"연속 함수는 거의 모든 점에서 미분 가능하다"는 게 200년 된 상식이었습니다.
코시도 그렇게 믿었습니다.
리만도 암묵적으로 그렇게 가정했습니다.

바이어슈트라스는 그 상식이 틀렸다는 걸 증명해 버렸습니다.

반응은 두 가지였습니다.
충격, 그리고 분노.

프랑스 수학자 샤를 에르미트는 이렇게 썼습니다.
"미분 불가능한 연속 함수의 창안은 끔찍함 그 자체다."

하지만 끔찍하다고 해서 틀린 게 아닙니다.
수학은 아름다워야 한다는 법이 없습니다.
참이면 됩니다.

그리고 바이어슈트라스의 함수는 참이었습니다.

이 순간이 중요합니다.
직관은 오랫동안 수학의 길잡이였습니다.
그런데 직관이 틀릴 수 있다는 게 드러났습니다.
이제 직관이 아니라 증명만이 진실의 기준이 되어야 했습니다.

수학이 달라지는 순간이었습니다.

엡실론과 델타 — 수학에 '거의'와 '대충'을 추방한 두 글자

활쏘기 대회를 상상해 보세요.
목표는 과녁 한가운데를 맞히는 겁니다.

어떤 심판이 이런 규칙을 만들었습니다.
"당신이 원하는 만큼 작은 원을 과녁 중심에 그려보세요. 어떤 원이든 좋습니다. 내가 쏜 화살은 반드시 그 원 안에 떨어집니다."

말이 쉽지, 아무 원이나 아닙니다.
아주 작은 원도 괜찮다고 했습니다.
바늘구멍만한 원도.

그리고 이 조건이 성립하면, 우리는 그 화살이 "과녁 중심에 수렴한다"고 말합니다.

바이어슈트라스가 미적분의 극한에 붙인 정의가 정확히 이것입니다.
엡실론(ε)은 당신이 그린 작은 원입니다.
원하는 만큼 작게 잡아도 됩니다.
델타(δ)는 화살이 출발할 수 있는 범위입니다.

규칙은 이렇습니다.
어떤 ε을 가져오더라도, 그에 맞는 δ를 내가 찾아드릴 수 있다면, 그 함수는 극한값을 가진다.

복잡해 보이지만 핵심은 간단합니다.
"얼마나 정확하게 원하든, 그만큼 정확하게 보장할 수 있다."

뉴턴 이후 200년 동안 수학자들은 "한없이 가까이 간다"는 말로 버텨왔습니다.
그게 무슨 뜻인지 물으면 "그냥 느끼면 된다"고 했습니다.
학생들은 느꼈고, 계산은 맞았고, 아무도 이의를 제기하지 않았습니다.

그런데 느낌으로는 바이어슈트라스의 괴물 함수 같은 반례를 막을 수 없었습니다.

엡실론-델타 정의는 수학에서 '거의'와 '대충'과 '느낌'을 완전히 추방했습니다.
이제 극한은 게임의 규칙처럼 명확했습니다.
이기는지 지는지 논쟁할 여지가 없었습니다.

오늘날 대학교 수학과 1학년이 배우는 해석학의 첫 번째 내용이 바로 이것입니다.
전 세계 어느 대학에서나 같습니다.
그 정의를 만든 사람이 바이어슈트라스입니다.
시골 중학교 교사 출신의, 마흔이 넘어서야 세상에 알려진 그 사람.

소피아가 문을 두드렸을 때 — 늦깎이가 남긴 것

1870년, 베를린 대학.

한 젊은 여성이 교수 연구실 문을 두드립니다.
소피아 코발렙스카야, 러시아에서 온 스물 살의 수학도였습니다.

당시 프로이센 대학은 여성에게 문을 열어주지 않았습니다.
강의를 들을 수도 없었고, 학위를 받을 수도 없었습니다.
소피아는 그냥 돌아섰어야 했습니다.

바이어슈트라스는 문을 열어줬습니다.

그는 학교 강의와는 별도로, 개인적으로 소피아를 가르쳤습니다.
4년 동안, 일주일에 한 번씩.
비공식이었고, 아무런 공식 기록도 없었습니다.

그 결과는 역사가 됩니다.
소피아 코발렙스카야는 1874년 괴팅겐 대학에서 박사학위를 받습니다.
수학 분야에서 박사학위를 받은 최초의 여성 중 하나였습니다.
그리고 훗날 편미분방정식에서 그의 이름이 붙은 정리를 남깁니다.

바이어슈트라스는 소피아에게 이렇게 말했다고 합니다.
"당신은 내가 만난 학생 중 가장 재능 있는 사람이오."

그가 가르친 것은 수학만이 아니었습니다.
자격이 없다고 쫓겨나야 할 곳에서, 자격이 있다고 말해주는 사람이 있다는 것.
그것이 한 사람의 삶을 어떻게 바꾸는지.

바이어슈트라스 자신이 그 증거였습니다.

스물다섯에 대학을 학위 없이 떠난 청년.
서른다섯에도, 마흔에도 아무도 몰랐던 시골 교사.
마흔 살이 넘어서야 쓴 논문 하나로 베를린 대학의 초청을 받은 사람.
그리고 60대에 수학의 역사를 바꿔놓은 사람.

그의 이야기에서 "천재는 일찍 빛난다"는 법칙은 보이지 않습니다.
보이는 것은 다른 무언가입니다.

기초를 믿는 사람.
아무도 보지 않는 밤에 계속 쓰는 사람.
직관이 틀릴 수 있다는 걸 알고, 증명으로 다시 쌓는 사람.

엡실론-델타 정의는 오늘도 살아 있습니다.
전 세계 대학생들이 그것을 배우며 머리를 싸맵니다.
처음엔 이게 왜 필요한지 모릅니다.
그냥 느껴도 답이 나오는데, 왜 이렇게 복잡하게 정의해야 하냐고 투덜댑니다.

하지만 결국 알게 됩니다.
느낌이 아니라 기초 위에서만 무너지지 않는다는 것.

그건 수학 이야기이기도 하고, 그렇지 않기도 합니다.