펜로즈 불가능한 삼각형, 에셔보다 먼저 그린 수학자 부자의 이야기

펜로즈 부자가 에셔의 그림을 먼저 그렸다

에셔의 그 유명한 영원히 내려가는 계단은, 사실 수학자 부자가 종이 위에 먼저 그린 것이었어요.

1958년, 27세의 수학자 로저 펜로즈는 아버지 라이오넬 펜로즈와 함께 이상한 도형 두 개를 고안해 영국 심리학 저널에 발표했어요.
하나는 '불가능한 삼각형', 3차원 공간에서는 절대 만들 수 없는데 2차원 종이 위에서는 멀쩡히 서 있는 삼각형이에요.
다른 하나는 '펜로즈 계단', 계속 올라가도 제자리로 돌아오는 끝없는 계단이었어요.

그런데 아버지 라이오넬은 수학자가 아니라 정신의학자였어요.
뇌와 착각을 연구하던 아버지와 수학을 연구하던 아들이 함께 앉아, 인간 눈이 속아 넘어가는 도형을 수식으로 설계한 거예요.
결과물은 논문 한 편이었지만, 파장은 예상 밖의 곳에서 터졌어요.

네덜란드 판화가 M.C. 에셔가 그 논문을 읽고 영감을 받았어요.
에셔는 이후 '오르내리기'에서 수도사들이 펜로즈 계단을 영원히 걷는 판화를 그렸고, '폭포'에서는 물이 끝없이 아래로 떨어지면서 동시에 위로 올라오는 장면을 만들었어요.
SNS에서 "어떻게 이게 가능하지?"라며 돌아다니는 그 그림들의 원형은 수학자 부자의 노트 위에 있었던 거예요.

펜로즈 타일이 화장지에 찍혀 소송이 됐다

세계적인 수학자가 화장지 회사를 법정에 세운 사건이 있어요.

1974년, 펜로즈는 '펜로즈 타일'이라는 개념을 발표했어요.
두 종류의 마름모만 사용해서 평면 전체를 덮되, 패턴이 절대로 반복되지 않는 타일링 방식이에요.
욕실 바닥 타일처럼 깔되 아무리 넓게 깔아도 같은 무늬가 다시 나오지 않는 거예요.

이건 수학적으로 꽤 충격적인 발견이었어요.
규칙이 있으면 패턴이 반복되는 게 당연하다고 느끼거든요.
하지만 펜로즈 타일은 규칙이 있으면서도 반복이 없어요.

그런데 1997년, 미국 기업 킴벌리클라크가 클리넥스 퀼티드 화장지 표면에 이 패턴을 엠보싱으로 찍어 판매했어요.
수십 년을 들여 설계한 수학적 패턴이 화장지 질감을 부드럽게 만들기 위해 무단으로 쓰인 거예요.
내가 수년간 개발한 폰트가 동네 마트 영수증에 아무 허락 없이 쓰이는 걸 발견한 기분이랄까요.

펜로즈는 저작권 침해를 이유로 킴벌리클라크를 고소했어요.
수학적 패턴의 표현에도 저작권이 생길 수 있다는 사실이 이 소송을 통해 주목받았어요.
"수학은 발견이지 발명이 아니다"라는 통념이 화장지 한 롤 앞에서 흔들렸어요.

펜로즈는 AI에 600쪽짜리 반론을 썼다

모두가 컴퓨터가 인간을 닮아간다고 믿던 1989년, 한 수학자가 "뇌는 컴퓨터가 아니다"라는 600쪽짜리 반론을 썼어요.

책의 제목은 『황제의 새 마음』이었어요.
당시 AI 연구자들은 뇌도 결국 입력과 출력이 있는 알고리즘 시스템이라고 생각했고, 충분히 복잡한 프로그램이라면 의식도 구현할 수 있다고 봤어요.
펜로즈는 그 믿음에 정면으로 도전했어요.

그의 무기는 수학자 쿠르트 괴델의 연구였어요.
괴델의 불완전성 정리는, 어떤 수학 체계도 그 체계 안에서 모든 참인 명제를 증명할 수 없다는 사실을 밝힌 이론이에요.
펜로즈는 이걸 근거로 이렇게 주장했어요. "인간은 증명할 수 없는 것이 참임을 직관으로 알 수 있는데, 어떤 알고리즘도 이걸 할 수 없어."

더 나아가 마취의학자 스튜어트 해머로프와 손을 잡았어요.
두 사람은 뇌 신경세포 안의 미세소관이라는 아주 작은 구조에서 양자 물리 현상이 일어나고, 그 붕괴 순간이 의식을 만들어낸다는 가설을 내놨어요.
미세소관은 세포 골격을 이루는 단백질 튜브로, 지름이 머리카락의 수만 분의 일밖에 안 되는 구조예요.

당시 AI 학계는 그를 정중히 무시했어요.
평생 수학으로 우주를 기술한 사람이 "수학으로는 마음을 만들 수 없다"고 선을 그은 셈이었으니까요.
결국 ChatGPT가 얼마나 유창하게 말해도 "저 친구가 진짜로 느끼는 건 아닐 텐데"라는 직감이 드는 사람이라면, 그 직감을 1989년에 수식으로 증명하려 했던 사람을 기억해둘 만해요.

노벨상은 펜로즈가 89세가 되어서야 왔다

노벨상이 펜로즈를 부른 건 그가 89세가 된 2020년이었어요. 그 논문을 쓴 지 55년이 지나 있었어요.

1965년, 34세의 펜로즈는 '특이점 정리'를 증명한 논문을 발표했어요.
블랙홀이 형성될 때 그 중심에는 밀도가 무한대로 치솟는 지점이 반드시 존재한다는 걸 수학적으로 보인 논문이에요.
달리 말하면, 블랙홀은 SF 소설 속 상상이 아니라 아인슈타인의 일반상대성이론이 필연적으로 예측하는 현상임을 처음으로 엄밀하게 증명한 거예요.

하지만 노벨 물리학상은 2020년에 왔어요.
55년이라는 시간 동안 블랙홀은 관측되고, 사진으로 찍히고, 학계의 상식이 됐어요.
그제야 노벨위원회가 "이 모든 것의 수학적 토대를 세운 사람이 있었다"며 그를 불렀어요.

아이러니한 건, 정작 펜로즈가 가장 소중히 여기는 이론은 아직도 학계 주류에서 외면받고 있다는 거예요.
블랙홀이 아니라 의식 이야기요. 『황제의 새 마음』과 미세소관 양자 가설은 지금도 논쟁 중이에요.
노벨상을 받은 수학자가 아직 인정받지 못한 이론에 가장 집착하고 있다는 게, 어쩌면 그가 남긴 가장 큰 수수께끼일지도 몰라요.