수학자들이 '이건 말도 안 돼'라고 외친 순간

잠깐 머릿속으로 실험 하나만 해보자. 어떤 수를 제곱하면 — 그러니까 자기 자신을 한 번 곱하면 — 결과가 마이너스가 될 수 있을까?

2 × 2 = 4. 양수다. (-3) × (-3) = 9. 이것도 양수다. 마이너스끼리 곱하면 플러스가 되니까. 0 × 0 = 0. 제로다.

어떤 수를 골라도 제곱하면 결과는 0 아니면 양수다. 마이너스가 나올 방법이 없다. 이건 초등학생도 아는 사실이다.

그런데 16세기 이탈리아에서, 수학자들은 곤란한 상황에 빠졌다. 3차 방정식 — 그러니까 x³ 같은 게 들어간 복잡한 수식 — 을 풀다 보니, 중간 계산에서 자꾸 "제곱하면 마이너스가 되는 수"가 튀어나온 것이다.

1545년, 이탈리아 수학자 제롤라모 카르다노가 3차 방정식의 일반 풀이법을 발표했다. 획기적인 업적이었다. 그런데 문제가 있었다. 그의 공식에 숫자를 대입하면, 가끔 √(-1) 같은 것이 나타났다. 제곱해서 -1이 되는 수의 제곱근. 존재할 수 없는 수.

카르다노 본인도 이걸 "미묘하고 쓸모없는 것"이라고 불렀다. 당대 수학자들 대부분이 같은 반응이었다. "계산 과정에서 나오는 노이즈일 뿐이야. 무시하면 돼."

하지만 한 사람이 달랐다.

대장장이 아들, 수학의 금기를 건드리다

라파엘 봄벨리(Rafael Bombelli). 1526년, 이탈리아 볼로냐에서 태어났다. 아버지는 양모 상인이었고, 할아버지 대에는 대장장이 집안이었다. 대학 교육? 받은 적 없다. 그는 건축 엔지니어였다. 습지를 메우고, 다리를 놓고, 수로를 설계하는 사람.

엔지니어에게 수학은 도구였다. 철학이 아니라 실용이었다. 다리가 무너지지 않으려면 계산이 맞아야 한다. 답이 "존재할 수 없다"는 건 그에게 납득할 수 없는 말이었다.

봄벨리가 이 문제에 매달린 건 우연이었다. 1560년대, 그가 참여하던 습지 간척 프로젝트가 교황청 사정으로 중단됐다. 갑자기 시간이 생긴 그는, 카르다노의 3차 방정식 풀이법을 연구하기 시작했다.

그리고 이상한 점을 발견했다.

어떤 3차 방정식은 답이 분명히 존재한다. 그래프를 그려보면 x축과 만나는 점이 뚜렷하게 보인다. 예를 들어 x = 4 같은 깔끔한 답이 있다. 그런데 카르다노의 공식에 이 방정식을 넣으면, 중간 과정에서 √(-1)이 등장한다. 답은 있는데, 공식이 "불가능한 수"를 경유하는 것이다.

당대 수학자들은 이걸 공식의 결함이라고 봤다. 봄벨리는 다르게 생각했다. "공식이 틀린 게 아니라, 우리가 이 수를 이해하지 못하는 것뿐 아닐까?"

정규 학계에 속하지 않은 엔지니어였기에 가능한 발상이었을지도 모른다. 그에게는 지켜야 할 학문적 체면이 없었다.

'존재하지 않는 수'로 진짜 답을 구하다

봄벨리의 접근법을 이해하려면, 터널을 떠올려보자.

서울에서 부산까지 가는 길에 거대한 산이 있다. 산 위로 올라가면 길이 없다. 돌아가면 너무 멀다. 하지만 산 아래로 터널을 뚫으면? 터널 안에서는 하늘이 보이지 않는다. GPS도 안 잡힌다. "지금 내가 어디 있는 거지?" 싶은 순간이 있다. 하지만 터널을 빠져나오면, 부산에 도착해 있다.

봄벨리에게 √(-1)은 그 터널이었다. 중간 과정에서는 현실에 존재하지 않는 수를 지나가지만, 최종 답에 도달하면 깔끔한 실수(실제 존재하는 수)가 나온다.

그는 대담한 결정을 내렸다. "이 수가 뭔지 모르겠지만, 일단 규칙을 정해서 써보자."

봄벨리는 √(-1)을 "più di meno"(마이너스의 플러스)라고 이름 붙였다. 그리고 이 수의 사칙연산 규칙을 만들었다. 마치 새로운 주사위 게임의 규칙을 정하듯이.

핵심 규칙은 간단했다.

• (+i) × (+i) = -1
• (-i) × (-i) = -1
• (+i) × (-i) = +1
• (-i) × (+i) = +1

여기서 i가 바로 √(-1)이다. (봄벨리 시대에는 i라는 기호가 없었지만, 현대 표기로 바꾸면 이렇다.)

자, 이게 왜 대단한 걸까? 구체적인 예를 보자.

x³ = 15x + 4 라는 방정식이 있다. 답은 x = 4다. 그냥 대입하면 바로 확인된다. 4³ = 64, 15 × 4 + 4 = 64. 맞다.

그런데 카르다노의 공식을 쓰면, 이 답을 구하는 과정에서 √(-121)이 튀어나온다. √(-121), 즉 제곱해서 -121이 되는 수. 당시 수학자들은 여기서 멈췄다. "불가능."

그런데 봄벨리는 자신의 규칙을 적용했다. 그는 2 + √(-1)을 세제곱하면 2 + 11√(-1)이 되고, 2 - √(-1)을 세제곱하면 2 - 11√(-1)이 된다는 것을 계산으로 보여줬다. 이 둘을 더하면? √(-1) 부분이 상쇄되면서 답 4가 깔끔하게 나온다.

터널 속에서는 정체불명의 수가 날뛰지만, 터널을 빠져나오면 진짜 답이 기다리고 있었다.

봄벨리는 1572년, 이 모든 내용을 담은 책 《대수학(L'Algebra)》을 출간했다. 수학 역사에서 허수를 체계적으로 다룬 최초의 책이다. 그는 스스로도 이 발상이 "미친 짓"처럼 보인다는 걸 알았다.

실제로 책에 이렇게 썼다. "처음에 이 일은 내게 미친 것이 아닌가 하는 느낌이 들었다(La quale cosa mi parve più tosto sofistica che reale)." 하지만 계산은 맞았다. 답은 나왔다. 미친 짓이 아니었다.

상상의 수가 현실을 움직인다

봄벨리 이후 수백 년이 흘렀다. 허수는 이제 "상상 속의 수"가 아니다. 현실을 설명하는 핵심 도구가 됐다.

지금 손에 들고 있는 스마트폰. 전화를 걸 때, 스마트폰은 목소리를 전파에 실어 보낸다. 이 전파를 수학적으로 다루려면, 파동의 크기(진폭)와 타이밍(위상)을 동시에 표현해야 한다.

실수만으로는 이 두 가지를 한꺼번에 담을 수 없다. 허수를 쓰면 된다. 복소수 하나로 진폭과 위상을 동시에 나타낼 수 있다.

쉽게 말하면, 실수가 "숫자 직선" 위의 한 점이라면, 복소수는 "숫자 평면" 위의 한 점이다. 한 차원이 더 생기는 것이다. 마치 지도에서 동서 방향만 있던 것에 남북 방향까지 추가된 것과 같다.

이 추가 차원 덕분에 할 수 있는 일이 폭발적으로 늘었다.

전기 회로 설계. 교류 전기는 방향이 초당 수십 번 바뀐다. 이 복잡한 흐름을 분석할 때, 엔지니어들은 복소수(실수 + 허수)를 쓴다. 허수가 없으면 전기 회로 설계가 지금보다 훨씬 복잡해진다.

항공기 날개 설계. 비행기 날개 주변의 공기 흐름을 계산할 때도 복소수가 쓰인다. 20세기 초 비행기 개발의 핵심 수학 도구 중 하나였다.

양자역학. 원자보다 작은 세계를 설명하는 물리학. 양자역학의 기본 방정식인 슈뢰딩거 방정식에는 i(허수 단위)가 처음부터 들어가 있다. 허수 없이는 양자역학이 성립하지 않는다. 반도체, 레이저, MRI — 이 모든 것이 양자역학 위에 서 있다.

봄벨리가 "미친 짓"이라고 느끼면서도 밀어붙인 그 계산이, 400년 뒤에는 비행기를 날리고, 스마트폰을 작동시키고, 병원에서 뇌를 촬영하는 데 쓰이고 있다.

틀린 것처럼 보이는 답이 정답일 때

봄벨리의 이야기에서 가장 인상적인 건, 그가 "정답"을 발견한 게 아니라 "정답에 이르는 이상한 길"을 받아들였다는 점이다.

당대 수학자들도 답이 4라는 건 알았다. 그래프를 그리면 보이니까. 문제는 공식이 그 답까지 가는 도중에 "존재할 수 없는 수"를 거쳐간다는 것이었다. 대부분은 그 길을 거부했다. "이런 수는 존재하지 않으니까, 이 길은 틀렸어."

봄벨리는 달랐다. "길이 이상하더라도, 도착지가 맞으면 가볼 만하지 않을까?"

이건 수학만의 교훈이 아니다. 우리는 자주 "말이 되는 길"만 정답이라고 생각한다. 과정이 이상하면 결과도 틀렸을 거라고 단정한다. 하지만 때로는 상식 바깥의 경로가 유일한 해법이다.

봄벨리는 대학 학위도 없는 엔지니어였다. 학계의 권위에 기댈 수 없었다. 대신 그에게는 실용주의가 있었다. "이론적으로 불가능하다고? 하지만 계산하면 답이 나오는걸."

수학사에서 허수의 이름은 오랫동안 모욕에 가까웠다. 17세기 철학자 데카르트가 "상상의 수(imaginary number)"라고 비꼬는 이름을 붙였고, 그 이름이 굳어졌다. 하지만 이름이 뭐든, 허수는 작동했다. 쓸모가 이름을 이겼다.

봄벨리는 1572년 《대수학》을 출간한 뒤, 채 몇 년 지나지 않아 세상을 떠났다. 그의 책은 당대에 큰 주목을 받지 못했다. 허수가 수학의 정식 시민권을 얻기까지는 200년이 더 걸렸다.

18세기 오일러가 i라는 기호를 도입하고, 19세기 가우스가 복소수 평면을 정리하고 나서야, 세상은 봄벨리가 옳았다는 걸 인정했다.

불가능해 보이는 것이 사실은 아직 이해하지 못한 것일 수 있다. 제곱해서 마이너스가 되는 수가 실제로 비행기를 날리고, 전화를 연결하고, 원자의 세계를 열었다. 16세기의 한 엔지니어는 그걸 누구보다 먼저 알아챘다.

라파엘 봄벨리. 대장장이의 손자. 대학 학위 없는 수학의 이단자. 불가능한 수에 규칙을 부여한 사람. 그가 없었다면, 우리는 터널 없이 산을 넘고 있었을 것이다.