타르탈리아 3차 방정식, 말더듬이 소년이 수학사를 바꾼 이야기

열두 살, 칼자국이 남긴 것

1512년, 이탈리아 북부의 작은 도시 브레시아. 프랑스 군대가 도시를 침략했다. 병사들은 닥치는 대로 사람을 베었다. 그날 열두 살 소년 니콜로 폰타나도 칼을 맞았다. 턱과 입술을 가르는 깊은 상처였다.

소년은 기적적으로 살아남았다. 하지만 상처가 아문 뒤에도 말을 제대로 할 수 없었다. 혀와 입천장이 칼에 베여서, 말할 때마다 더듬거렸다. 사람들은 그를 "타르탈리아"라고 불렀다. 이탈리아어로 "말더듬이"라는 뜻이다.

그냥 잔인한 별명이었다. 본명 니콜로 폰타나를 기억하는 사람은 거의 없었다. 하지만 훗날 이 별명은 수학사에서 가장 유명한 이름 중 하나가 된다.

타르탈리아의 집안은 가난했다. 아버지는 우편배달부였는데, 타르탈리아가 여섯 살 때 세상을 떠났다. 학교에 다닐 돈이 없었다. 알파벳도 절반밖에 배우지 못한 채 학교를 그만둬야 했다.

그런데 이 소년에게는 한 가지 특별한 점이 있었다. 숫자를 좋아했다. 묘비에 새겨진 숫자, 시장에서 물건값을 계산하는 방식, 건물의 기하학적 구조. 세상 모든 것에서 숫자를 읽어냈다. 돈이 없으니 책을 빌려 읽었고, 종이가 없으니 묘비 위에 문제를 풀었다.

말은 더듬었지만, 숫자 앞에서는 누구보다 유창했다.

수백 년 동안 아무도 못 푼 문제

여기서 잠깐, 수학 이야기를 하나 해보자.

중학교 때 배우는 방정식을 떠올려 보자. x + 3 = 7 같은 것. x는 4다. 쉽다.

조금 더 어려운 것도 있다. x² + 5x + 6 = 0 같은 2차 방정식. 이건 "근의 공식"이라는 만능 열쇠가 있다. 공식에 숫자만 넣으면 답이 나온다. 이 공식은 이미 고대 바빌로니아 사람들도 알고 있었다.

그런데 여기서 한 단계만 올라가 보자. x³이 들어간 3차 방정식. 예를 들어 x³ + 6x = 20 같은 것. 겨우 제곱이 세제곱으로 바뀌었을 뿐인데, 이 문제는 수백 년 동안 아무도 풀지 못했다.

비유를 하나 들어보겠다. 2차 방정식을 푸는 건 자물쇠를 여는 것과 비슷하다. 열쇠(근의 공식)가 있으니까. 그런데 3차 방정식은 자물쇠 구멍이 세 개인 금고다. 열쇠를 어떻게 만들어야 하는지조차 감이 안 잡혔다.

16세기 이탈리아에서는 수학자들이 공개 결투를 벌이곤 했다. 서로 문제를 내고, 정해진 시간 안에 더 많이 푸는 사람이 이기는 방식이었다. 지면 명예를 잃었고, 때로는 대학 자리까지 잃었다. 수학이 곧 스포츠이자 생존이었던 시대였다.

그리고 3차 방정식을 풀 수 있는 사람은, 결투에서 절대 질 수 없는 비밀 무기를 가진 셈이었다.

수학 결투의 밤

1535년, 베네치아. 수학자 안토니오 피오르가 타르탈리아에게 도전장을 내밀었다.

피오르에게는 비장의 카드가 있었다. 그의 스승 시피오네 델 페로가 3차 방정식의 특수한 유형 하나를 푸는 법을 몰래 알려준 것이다. 페로는 이 비밀을 세상에 공개하지 않은 채 세상을 떠났고, 피오르만이 그 비법을 물려받았다.

피오르는 자신만만했다. 타르탈리아에게 3차 방정식 30문제를 던졌다. "이걸 풀 수 있으면 풀어봐라"는 식이었다.

문제는, 타르탈리아도 3차 방정식을 연구하고 있었다는 것이다. 그것도 피오르가 아는 것보다 훨씬 일반적인 형태를.

결투 마감 직전, 타르탈리아에게 영감이 번뜩였다. 결투 전날 밤부터 새벽까지 매달린 끝에, 그는 3차 방정식의 일반적인 풀이법을 완성했다. 그리고 단 두 시간 만에 30문제를 전부 풀어버렸다.

반면 피오르는 타르탈리아가 낸 문제를 단 하나도 풀지 못했다.

완벽한 승리였다. 말을 더듬는 가난한 독학 수학자가, 대학에서 교육받은 수학자를 30 대 0으로 이긴 것이다. 브레시아의 칼자국을 가진 소년이, 숫자로 복수한 순간이었다.

타르탈리아는 이 풀이법을 절대 공개하지 않기로 했다. 이것은 그의 생존 무기였다. 이 비밀이 있는 한 어떤 수학 결투에서도 질 수 없었으니까.

약속은 깨지고, 비밀은 새어나갔다

소문은 빠르게 퍼졌다. "타르탈리아가 3차 방정식을 푸는 법을 안다." 이탈리아 수학계가 들끓었다.

그중 가장 적극적으로 접근한 사람이 밀라노의 의사이자 수학자 제롤라모 카르다노였다. 카르다노는 당대 최고의 지식인 중 한 명이었다. 의학, 점성술, 도박 확률론까지 섭렵한 르네상스형 천재였다.

카르다노는 타르탈리아를 찾아가 간청했다. "제발 그 풀이법을 알려달라. 나는 지금 수학 책을 쓰고 있다."

타르탈리아는 거절했다. 몇 번이고 거절했다. 하지만 카르다노는 집요했다. 편지를 보내고, 선물을 보내고, 밀라노 총독에게 타르탈리아를 추천해주겠다고 약속했다.

결국 1539년, 타르탈리아는 한 가지 조건 아래 비밀을 넘겼다.

"절대로 공개하지 않겠다고 맹세하라."

카르다노는 맹세했다. 타르탈리아는 풀이법을 25행짜리 시(詩)로 암호화하여 전달했다. 누가 봐도 무슨 뜻인지 알 수 없도록.

그로부터 6년 뒤인 1545년. 카르다노는 수학사에 길이 남을 책 《위대한 기술(Ars Magna)》 을 출판했다. 그 책에는 3차 방정식의 풀이법이 고스란히 담겨 있었다.

카르다노는 책에 이렇게 썼다. "이 풀이법은 타르탈리아에게서 배웠다." 출처를 밝힌 것이다. 하지만 타르탈리아에게는 아무 소용이 없었다. 비밀이 세상에 나온 이상, 그의 비밀 무기는 사라진 것이다.

타르탈리아는 분노했다. 카르다노를 공개적으로 비난하고, 법적 조치를 고려했다. 하지만 시대는 카르다노의 편이었다. 카르다노의 변명은 이랬다. 델 페로가 타르탈리아보다 먼저 일부 풀이법을 알고 있었으니, 타르탈리아만의 독점적 비밀이 아니라는 것이었다.

현대의 시각에서 보면, 이것은 단순한 표절 논쟁이 아니다. 지식은 한 사람이 독점해야 하는가, 세상에 공유되어야 하는가? 라는 근본적인 질문이다.

카르다노가 맹세를 어긴 것은 분명하다. 하지만 그가 책을 쓰지 않았다면, 3차 방정식의 풀이법은 역사 속에 묻혔을 수도 있다. 타르탈리아는 끝내 자신의 풀이법을 책으로 정리하지 못했기 때문이다.

아이러니하게도, 오늘날 이 공식의 이름은 카르다노의 공식이다. 발견한 사람의 이름이 아니라, 공개한 사람의 이름이 붙은 것이다.

말더듬이가 남긴 것

타르탈리아는 1557년에 세상을 떠났다. 가난하게 살다, 가난하게 죽었다. 카르다노와의 논쟁에서 얻은 것은 분노뿐이었다.

하지만 그가 풀어낸 3차 방정식은 수학의 역사를 바꾸어 놓았다.

3차 방정식의 풀이법은 단순한 수학 퍼즐의 해답이 아니었다. 이 과정에서 수학자들은 음수의 제곱근, 즉 오늘날 "허수"라고 부르는 개념과 처음 마주쳤다. 허수가 뭐냐고? 간단히 말하면 이렇다.

우리가 아는 숫자로는 "제곱해서 -1이 되는 수"가 존재하지 않는다. 어떤 수를 제곱하면 항상 양수가 되니까. 그런데 3차 방정식을 풀다 보면, 이런 "있을 수 없는 수"를 계산 중간에 거쳐야 정답이 나오는 경우가 있다. 마치 서울에서 부산을 가는데, 지도에 없는 다리를 건너야 하는 것처럼.

수학자들은 이 "있을 수 없는 수"에 이름을 붙였다. 허수(imaginary number). 상상 속의 수라는 뜻이다. 처음에는 "이런 게 진짜 수학이냐"며 무시당했지만, 이 허수가 없으면 현대 과학의 절반이 무너진다.

전기 회로 설계? 허수 없이는 불가능하다. 비행기 날개의 공기역학? 허수가 핵심이다. 스마트폰의 신호 처리? 허수 덕분이다. 양자역학의 파동 방정식? 허수 없이는 쓸 수조차 없다.

타르탈리아가 열어젖힌 문 뒤에는, 상상도 못 한 세계가 펼쳐져 있었던 것이다.

3차 방정식 자체도 오늘날 곳곳에서 쓰인다. 3D 게임에서 캐릭터가 부드럽게 움직이는 것, 건축가가 곡선형 건물을 설계하는 것, 자동차의 차체 곡면을 디자인하는 것. 이 모든 곳에 3차 이상의 방정식이 관여한다.

그리고 이 이야기에는 더 큰 교훈이 있다.

타르탈리아는 학교를 제대로 다니지 못했다. 얼굴에는 칼자국이 있었고, 말을 할 때마다 더듬었다. 돈도, 배경도, 스승도 없었다. 그가 가진 것이라고는 묘비 위에서 수학 문제를 풀던 집요함뿐이었다.

하지만 그 집요함 하나로, 수백 년간 인류가 풀지 못한 문제를 풀었다.

세상은 그에게 "말더듬이"라는 이름을 붙여주었다. 그는 그 이름 그대로, 역사에 남았다. 다만, 사람들이 기억하는 이유는 그가 말을 더듬었기 때문이 아니라, 숫자 앞에서만큼은 누구보다 완벽했기 때문이다.