코시 엡실론-델타 논법, 수학에 증명이 없던 시절 이야기

다리가 무너지던 시대, 계산은 '감'으로 했다

교과서를 펼치면 맨 앞에 이런 말이 나옵니다.

"극한이란, x가 a에 한없이 가까워질 때…"

읽고 나서 더 모르겠다는 느낌, 받아본 적 있나요?

사실 이 문장은 200년 전에도 없었습니다.
19세기 초 유럽의 수학자들은 미적분을 아주 능숙하게 쓰고 있었지만, "왜 이게 되는 거야?"라는 질문에는 아무도 제대로 답하지 못했습니다.

다리를 생각해봅시다.

1800년대 프랑스에서는 나폴레옹의 전쟁과 산업화 덕분에 수백 개의 다리가 지어졌습니다.
공학자들은 다리의 하중을 계산할 때 미적분을 썼습니다.
그런데 그 계산의 밑바닥에 깔린 '무한히 작은 양'이 뭔지, '극한값이 진짜 존재하는지'는 아무도 확인하지 않았습니다.
그냥 써왔으니까 맞겠지.
뉴턴이 했으니까 괜찮겠지.
결과가 일단 쓸 만하니까 됐겠지.

이건 마치 설계도 없이 경험으로만 쌓은 건물과 같습니다.
대부분은 서 있습니다.
하지만 언젠가는 무너집니다.

실제로 당시 몇몇 다리들은 예고 없이 무너졌습니다.
계산 자체가 문제였다기보다, 그 계산이 언제 틀릴 수 있는지를 아무도 알지 못했기 때문입니다.
수학이 답은 내놓는데 그 답이 맞는다는 보장을 해주지 못하는 상황이었습니다.

이 불안한 시대에 한 소년이 책상 앞에 앉아 있었습니다.

나폴레옹의 소년 천재, 책상 위에서 혁명을 시작하다

파리, 1802년.

열세 살짜리 소년이 수학 문제를 풀고 있었습니다.
옆에 서 있던 노인 두 명은 그 풀이를 보며 서로 눈빛을 교환했습니다.
한 명은 라그랑주, 당대 최고의 수학자였습니다.
다른 한 명은 라플라스, 천체역학을 완성한 과학자였습니다.

라그랑주가 말했습니다.
"이 아이는 반드시 위대한 수학자가 될 것이오."
그러면서 덧붙였습니다.
"하지만 수학을 가르치기 전에 문학부터 시키시오."
왜냐고요?
소년의 계산은 틀린 게 없었지만, 그 풀이가 왜 맞는지를 말로 설명하지 못했기 때문입니다.

그 소년이 오귀스탱 루이 코시입니다.

코시는 혁명과 나폴레옹 전쟁의 혼란 속에서 자랐습니다.
아버지는 법률가였고, 어린 코시는 나폴레옹의 측근들이 드나드는 집에서 자연스럽게 최고 수준의 교육을 받았습니다.
열여섯 살에 에콜 폴리테크니크에 입학했고, 거기서도 단연 두드러졌습니다.

졸업 후 코시는 수학자가 아닌 토목 엔지니어로 일하기 시작합니다.
당시 나폴레옹은 셰르부르 항구를 군사 항구로 개조하는 거대한 공사를 벌이고 있었습니다.
코시는 그 현장에 파견되었습니다.

그곳에서 코시는 이상한 걸 봤습니다.

공학자들이 미적분으로 계산을 하는데, 그 기초가 흔들립니다.
'무한히 작은 양'을 더하다가 어느 순간 그냥 0으로 놓아버립니다.
왜 그렇게 해도 되는지 설명하는 사람이 없습니다.
그냥 '그렇게 하면 답이 맞더라'는 경험칙이 전부였습니다.

엔지니어 코시의 눈에는 이게 무너질 다리처럼 보였습니다.

현장에서 돌아온 코시는 책상에 앉아 빨간 펜을 들었습니다.
"이 수학, 처음부터 다시 써야겠어."

'무한히 가까워진다'를 어떻게 증명할까 — 엡실론-델타의 탄생

줄다리기 게임을 상상해봅시다.

두 팀이 줄을 당깁니다.
바닥에는 아주 가느다란 선이 그어져 있습니다.
목표는 줄이 그 선에 최대한 가까이 가되, 선을 넘지 않는 것입니다.

심판이 "1센티미터 이내로 붙여봐"라고 합니다.
당신 팀이 해냅니다.

심판이 다시 말합니다.
"1밀리미터 이내로."
또 해냅니다.

"0.001밀리미터 이내로."
여전히 해냅니다.

심판이 아무리 작은 오차를 요구해도, 당신 팀이 항상 그 안에 들어올 수 있다면?
그때 우리는 "줄이 그 선에 한없이 가까워진다"고 말할 수 있습니다.

이게 코시가 발명한 아이디어의 핵심입니다.

"극한이 L이다"라는 말을 코시는 이렇게 바꿨습니다.
"네가 아무리 작은 오차 ε(엡실론)를 가져와도, 나는 항상 그 오차 안에 들어오는 δ(델타)를 찾아줄 수 있다."

이것이 바로 엡실론-델타 논법입니다.

이게 왜 혁명이냐고요?

이전까지 '무한히 가까워진다'는 말은 그냥 직관이었습니다.
눈에 보이는 것 같기도 하고, 뭔가 맞는 것 같기도 한 느낌.
하지만 '느낌'으로는 틀린 계산과 맞는 계산을 구분할 수 없습니다.

코시의 방법은 달랐습니다.
그것은 게임이었습니다.
상대가 얼마나 작은 수를 들고 와도 내가 이길 수 있으면, 극한은 존재합니다.
상대가 이기는 경우가 단 하나라도 있으면, 극한은 존재하지 않습니다.

느낌이 아니라 규칙으로 판가름합니다.
그래서 수학이 됩니다.

코시는 이 아이디어를 바탕으로 1821년 《해석학 교정》을 씁니다.
이 책은 수학의 역사에서 몇 안 되는 '진짜 새로운 언어'였습니다.
미적분을 처음부터 다시 썼고, 모든 문장에 증명을 붙였습니다.
학생들은 어리둥절했습니다.
"전에는 그냥 계산하면 됐는데 왜 이렇게 복잡하게 해요?"

코시는 대답했습니다.
"복잡한 게 아니라 정확한 겁니다."

동료들이 코시를 싫어한 이유 — 789편의 논문과 끝없는 논쟁

코시는 평생 789편의 수학 논문을 썼습니다.

이것은 어마어마한 숫자입니다.
어느 정도냐면, 프랑스 학술원이 그의 논문 제출 속도를 감당하지 못해 논문 한 편의 최대 길이를 제한하는 규정을 새로 만들 정도였습니다.
그 규정은 지금도 남아 있습니다.

그러나 코시는 학계에서 외로운 사람이었습니다.

왜냐고요?

그는 자신이 옳다는 것을 너무 잘 알았고, 그것을 숨기지 않았습니다.
강의실에서 동료의 풀이에 대고 "틀렸습니다"를 서슴없이 말했습니다.
공개 발표장에서 상대방의 증명 오류를 하나하나 짚었습니다.
학문적으로는 맞는 행동이었지만, 사람들이 좋아할 리 없었습니다.

정치적으로도 문제가 많았습니다.
코시는 왕당파 가톨릭 신자였습니다.
나폴레옹이 물러나고 왕정이 복고되자 코시의 시대가 왔습니다.
하지만 1830년 혁명으로 왕이 다시 쫓겨나자, 코시는 새 정부에 충성 서약을 거부하고 스스로 망명을 택했습니다.

그가 파리를 떠난 사이, 두 개의 원고가 먼지를 뒤집어쓰고 있었습니다.

한 편은 닐스 헨릭 아벨이 보낸 것이었습니다.
타원함수에 관한 혁명적인 논문이었지만, 코시의 책상 서랍 어딘가에서 잠들었습니다.
아벨은 결핵으로 스물여섯에 죽었고, 자신의 논문이 어떻게 됐는지도 모른 채 눈을 감았습니다.

다른 한 편은 에바리스트 갈루아의 논문이었습니다.
군론의 씨앗을 담은 천재적인 작업이었지만, 코시는 그것을 분실했거나 심사를 미루었습니다.
갈루아는 결투에서 스물한 살에 죽었고, 그의 논문은 수십 년 뒤에야 세상에 알려졌습니다.

코시가 의도적으로 묻어버렸는지, 그냥 잊어버린 건지는 지금도 논쟁거리입니다.
어쨌든 결과는 같습니다.
두 천재의 작업이 당대에 인정받지 못했습니다.

수학의 역사는 코시를 위인으로 기록합니다.
동시에 이 두 가지 사건을 지울 수 없는 그림자로 함께 기록합니다.

위대함과 결함은 한 사람 안에 공존합니다.
코시가 그 증거입니다.

오늘 당신이 수학 시험에서 '증명하시오'를 만나는 진짜 이유

수학 시험지에 이런 문제가 나옵니다.

"다음을 증명하시오."

많은 학생이 생각합니다.
'계산해서 답 나오면 됐지, 왜 또 증명이야?'

이 질문에 코시가 답한다면 이렇게 말할 것입니다.
"답이 맞아 보이는 것과, 항상 맞는다는 것은 다른 이야기입니다."

코시가 세운 엄밀함의 전통은 수학을 바꿨고, 그 변화는 지금 이 순간에도 계속되고 있습니다.

컴퓨터 프로그램을 생각해봅시다.

당신이 쓰는 모든 앱, 카카오톡부터 유튜브까지, 그 안에는 수십만 줄의 코드가 있습니다.
그 코드가 어떤 상황에서도 올바르게 작동한다는 것을 어떻게 확인할까요?
테스트를 많이 하면 됩니다.
하지만 테스트는 '이 경우들에서는 됐다'는 것을 보여줄 뿐, '모든 경우에서 된다'를 보장하지 않습니다.

그래서 컴퓨터 과학자들은 코시의 방식을 씁니다.
코드가 항상 맞다는 것을 수학적으로 증명합니다.
이것을 형식 검증이라고 합니다.

암호학도 마찬가지입니다.
당신의 카드 번호가 인터넷에서 안전한 이유는 누군가 '아마도 안전할 것 같은' 방법을 쓰기 때문이 아닙니다.
수학적으로 증명된 방법을 쓰기 때문입니다.
그 증명의 언어는 코시가 만들었습니다.

AI도 다르지 않습니다.
머신러닝 모델이 학습을 반복하면 점점 나아진다는 것, 그 수렴이 실제로 일어난다는 것을 보장하려면 극한과 연속의 엄밀한 정의가 필요합니다.
코시가 없었다면 수렴의 의미 자체가 흔들립니다.

그러니까 '증명하시오'는 시험 출제자의 고집이 아닙니다.
그것은 코시가 200년 전에 쌓은 전통입니다.

계산이 맞는 것 같다는 느낌 대신, 계산이 항상 맞는다는 보장.
그 보장을 만드는 행위가 바로 증명입니다.

현대 도시는 눈에 보이지 않는 뼈대 위에 서 있습니다.
도로 밑 하수관, 벽 속 전선, 건물 안 철골.
수학도 마찬가지입니다.
우리가 매일 쓰는 기술 문명 아래에는 코시가 쌓은 증명의 뼈대가 있습니다.
무너지지 않는 건 '운이 좋아서'가 아니라, 누군가 처음부터 제대로 세웠기 때문입니다.

1789년 파리에서 태어난 한 소년이 있었습니다.
혁명의 총성을 들으며 자랐고, 위대한 수학자들의 칭찬을 받았고, 토목 현장에서 흔들리는 계산을 보았고, 책상으로 돌아와 수학을 처음부터 다시 썼습니다.
독선적이었고 논쟁을 즐겼고 동료들을 잃었고 천재들의 논문을 서랍 속에 묻었습니다.

하지만 코시가 빨간 펜을 들지 않았다면, 수학은 아직도 '대충 맞겠지'의 세계에 머물고 있었을지도 모릅니다.