계산기가 에러를 뱉었다

스마트폰 계산기를 열어보자. 9의 제곱근을 누르면 3이 나온다. 16의 제곱근은 4. 여기까진 아무 문제 없다.
그런데 -1의 제곱근을 입력하면? 계산기는 "오류"를 뱉거나, 아예 반응하지 않는다.

왜 그럴까? 제곱근이란 "어떤 수를 두 번 곱해서 나오는 원래 수"를 찾는 것이다. 3 × 3 = 9이니까 √9 = 3이다. 그런데 -1은? 양수 × 양수 = 양수이고, 음수 × 음수도 양수다. 어떤 수를 자기 자신과 곱해도 음수가 나올 수 없다. 그러니 √(-1)은 존재할 수 없다. 적어도 우리가 아는 숫자 세계에서는.

16세기 유럽의 수학자들도 같은 벽에 부딪혔다. 그런데 그 벽 앞에서 대부분이 돌아섰을 때, 한 남자가 벽을 통과하는 방법을 찾아냈다. 그의 이름은 라파엘 봄벨리. 직업은 놀랍게도 수학 교수가 아니라 늪지대 배수 기술자였다.

늪지대 기술자, 수학 전쟁에 뛰어들다

1526년, 이탈리아 볼로냐에서 태어난 봄벨리는 대학 교육을 받지 못했다. 그의 스승은 건축가였고, 봄벨리 자신은 토목 기술자로 일했다. 늪에 물이 차면 빼는 방법을 설계하고, 다리 놓을 자리를 측량하는 것이 그의 일상이었다.

그런 그가 어떻게 수학사를 바꿨을까? 이야기는 한 권의 책에서 시작된다.

당시 유럽 수학계에는 록스타 같은 인물들이 있었다. 제롤라모 카르다노라는 의사 겸 수학자가 1545년에 출판한 책 《위대한 술법(Ars Magna)》이 수학계를 뒤흔들었다. 이 책에는 인류 역사상 처음으로 3차 방정식의 일반 해법이 실려 있었다.

3차 방정식이 뭐냐고? 우리가 중학교에서 배우는 x² + 3x + 2 = 0 같은 것은 2차 방정식이다. 여기서 x의 지수가 하나 더 올라가면, 예를 들어 x³ + 6x = 20 같은 형태가 3차 방정식이다. 2차 방정식은 근의 공식이 있어서 기계적으로 풀 수 있다. 하지만 3차 방정식의 공식은 수천 년 동안 아무도 찾지 못했다.

카르다노는 이 비밀 공식을 출판해버렸다. 문제는, 이 공식이 완벽하지 않았다는 것이다.

수학계의 가장 치열했던 결투

사실 카르다노의 공식에는 비하인드 스토리가 있다. 이 공식을 처음 발견한 사람은 니콜로 타르탈리아라는 수학자였다. 타르탈리아는 어린 시절 전쟁에서 얼굴에 칼을 맞아 말을 더듬었고, 그래서 "말더듬이"라는 뜻의 별명 타르탈리아로 불렸다.

타르탈리아는 카르다노에게 "절대 비밀로 해달라"는 조건으로 공식을 알려줬다. 그런데 카르다노는 그걸 책에 실어버렸다. 이 배신극으로 둘 사이에 공개적인 수학 결투까지 벌어졌다. 16세기판 학술 스캔들이었다.

하지만 진짜 문제는 사람 사이의 다툼이 아니었다. 공식 자체에 있었다.

카르다노의 공식을 어떤 3차 방정식에 적용하면, 답이 분명히 존재하는데도 계산 과정에서 √(-1), 즉 음수의 제곱근이 튀어나왔다. 존재할 수 없는 수가 공식 한가운데에 떡하니 나타난 것이다.

카르다노 자신도 이걸 어찌할 바를 몰랐다. 그는 이 수들을 "정신적 고문만큼이나 미묘한 것"이라며 사실상 손을 들었다. 다른 수학자들도 마찬가지였다. "공식은 맞는 것 같은데, 중간에 불가능한 수가 나오니 쓸 수가 없다." 마치 네비게이션이 목적지까지 가는 길을 알려주는데, 중간에 "바다를 건너세요"라고 안내하는 것과 비슷했다.

없는 수로 있는 답을 찾다

봄벨리는 이 문제를 전혀 다른 각도에서 바라봤다.

그의 발상은 이랬다. √(-1)이 진짜로 존재하든 안 하든, 일단 존재한다고 치자. 이름을 붙여주자. 그리고 그냥 계산을 밀고 나가보자.

이것은 엄청나게 대담한 생각이었다. 비유하자면 이렇다. 당신이 퍼즐을 맞추고 있는데, 중간에 투명한 유령 조각이 있다. 다른 사람들은 "이건 진짜 조각이 아니야"라며 퍼즐을 포기한다. 하지만 봄벨리는 "일단 끼워보자"고 했다. 그랬더니 유령 조각들이 서로 만나서 상쇄되고, 최종 그림은 완벽하게 실체가 있는 그림이 완성됐다.

구체적인 예를 보자. x³ = 15x + 4라는 방정식이 있다. 눈으로 봐도 x = 4가 답이다. (4³ = 64이고, 15 × 4 + 4 = 64이니까.) 하지만 카르다노의 공식에 이 방정식을 넣으면, 계산 과정에서 √(-121)이 나온다. 답은 분명히 4인데, 공식이 "불가능한 수"를 내뱉는 것이다.

봄벨리는 √(-1)을 하나의 기호로 취급하고 계산을 계속했다. √(-121)은 11 × √(-1)이라고 쓸 수 있다. 그는 이런 수들에 대한 덧셈, 곱셈 규칙을 정리했다. 핵심 규칙은 간단했다.

√(-1) × √(-1) = -1

이 규칙 하나만 지키면 나머지는 보통 수처럼 계산하면 된다. 그리고 카르다노 공식의 복잡한 계산을 끝까지 밀고 나가면, √(-1)이 포함된 항들이 서로 짝을 이루어 깔끔하게 사라진다. 남는 것은? 정확히 4.

봄벨리 자신도 이 결과에 놀랐다. 그는 자신의 방법이 "상식 밖의 일(selvático)"이라고 적었다. 야생적이라는 뜻이다. 하지만 답은 맞았다. 그것이 중요했다.

봄벨리는 이 모든 것을 1572년 출판한 저서 《대수학(L'Algebra)》에 정리했다. 이 책은 단순히 공식을 나열한 것이 아니라, √(-1)을 포함한 수의 연산 체계를 최초로 세운 작업이었다. 수학사에서 허수(imaginary number)라는 개념의 진짜 출발점이다.

유령 숫자가 세상을 움직이다

봄벨리 이후, √(-1)은 점차 수학의 정식 시민권을 얻어갔다. 18세기에 오일러가 이 수에 i라는 이름을 붙였다. 가우스가 복소수 체계를 완성했다. "허수"라는 이름은 데카르트가 비꼬는 의미로 붙인 것이지만, 이 수는 전혀 허황되지 않았다.

오늘날 허수가 없으면 작동하지 않는 것들을 나열하면 끝이 없다.

전기 회로 설계. 교류(AC) 전류는 방향이 계속 바뀐다. 이 흐름을 수학으로 표현하는 가장 자연스러운 방법이 복소수다. 전기 기술자들은 매일 허수로 계산한다.

스마트폰의 신호 처리. 당신이 전화를 걸 때, 음성은 전파로 바뀌어 날아간다. 이 전파를 분석하고 복원하는 수학적 도구가 푸리에 변환인데, 이것의 심장에 허수가 있다.

양자역학. 원자보다 작은 세계를 기술하는 슈뢰딩거 방정식에는 i가 빠질 수 없다. 허수 없이는 양자역학의 첫 줄도 쓸 수 없다. 반도체, 레이저, MRI 같은 기술은 모두 양자역학 위에 서 있다.

봄벨리가 "일단 있다고 치자"라고 했던 그 유령 같은 숫자가, 지금 우리가 사는 세상의 기반을 이루고 있는 셈이다.

여기서 한 가지 생각해볼 것이 있다. 봄벨리는 왜 할 수 있었을까? 어쩌면 그가 학계 밖의 사람이었기 때문일지도 모른다. 대학 교수들은 "존재하지 않는 수"를 받아들이는 것이 학문적 자살처럼 느껴졌을 것이다. 하지만 늪지대에서 현실의 문제를 풀던 기술자 봄벨리에게는, 이론적으로 말이 되느냐보다 실제로 답이 나오느냐가 더 중요했다.

수학은 가끔 우리에게 이런 교훈을 준다. 이해할 수 없는 것을 거부하지 않고, 일단 받아들이고 끝까지 밀고 나갈 때, 전혀 예상치 못한 문이 열린다는 것. 봄벨리가 믿은 것은 결국 숫자가 아니라, "답이 있을 것"이라는 가능성 그 자체였다.