정답표가 없을 때 기계는 어떻게 배울까

기계에게 모든 정답을 미리 줄 수 있다면 학습은 비교적 단순해 보여요. 사진을 보여 주고 “이건 고양이”, “이건 자동차”라고 알려 주면, 기계는 그 표지를 따라 패턴을 익힐 수 있죠. 그런데 현실에는 정답표가 처음부터 없는 문제가 많아요.

예를 들어 어떤 기계가 낯선 환경 안에서 선택을 해야 한다고 생각해 볼게요. 왼쪽으로 가도 되고, 오른쪽으로 가도 되고, 잠시 기다려도 돼요. 누가 매 순간 “이게 정답이야”라고 알려 주지는 않지만, 어떤 행동 뒤에는 좋은 결과가 오고 어떤 행동 뒤에는 덜 좋은 결과가 와요.

강화학습은 바로 이런 상황을 다루는 학습 방식이에요. 핵심은 간단해요. 에이전트가 행동을 하고, 그 뒤에 오는 보상 신호를 보고, 다음 행동을 조금 더 낫게 고쳐 가는 거예요.

여기서 에이전트는 환경 안에서 선택을 하고 결과를 받는 학습 주체예요. 게임을 하는 플레이어처럼 보면 쉬워요. 플레이어가 움직이면 점수를 얻거나 잃고, 그 점수를 보고 다음에는 어떤 움직임이 나을지 감을 잡아 가는 식이에요.

보상 신호는 행동이 얼마나 좋았는지 알려 주는 피드백이에요. 꼭 “정답”이라고 말해 주지는 않아요. 다만 “이번 선택은 더 좋았어” 또는 “이번 선택은 별로였어”에 가까운 신호를 주고, 기계는 그 신호를 따라 행동을 조정해요.

이 차이가 중요해요. 강화학습은 기계가 정답표를 외우는 문제를 넘어, 행동하고 결과를 보고 다시 고치는 문제를 세워요. 그래서 “기계는 어떻게 맞히는가”보다 “기계는 어떻게 더 나은 행동을 배우는가”라는 질문에 가까워져요.

이 질문을 이해하면 앤드루 바토의 위치도 조금 다르게 보여요. ACM은 2025년 3월 5일 앤드루 G. 바토와 리처드 S. 서튼을 2024년 ACM A.M. 튜링상 공동 수상자로 발표했어요. 바토는 매사추세츠 대학교 애머스트의 명예교수이지만, 이 글에서 더 중요한 점은 그가 단순히 상을 받은 인물이 아니라 정답표 없는 학습 문제를 이해하게 해 주는 입구라는 점이에요.

보상이라는 직관이 계산 문제가 되기까지

“보상을 보고 배운다”는 말은 아주 쉬워 보여요. 아이가 뜨거운 컵을 만졌다가 놀라면 다음에는 조심하듯이, 어떤 행동 뒤에 좋은 결과나 나쁜 결과가 오면 행동을 고치면 되니까요. 그런데 컴퓨터에게는 이 쉬운 말이 곧바로 어려운 질문이 돼요.

컴퓨터는 먼저 지금 자기가 어떤 상황에 있는지 알아야 해요. 이것을 상태라고 부를 수 있어요. 그리고 그 상황에서 무엇을 할 수 있는지도 정해야 해요. 이것이 행동이에요. 마치 게임 캐릭터가 “지금 왼쪽에 벽이 있고, 오른쪽에 길이 있으며, 앞으로 갈지 멈출지 고를 수 있다”는 식으로 세계를 읽는 것과 비슷해요.

문제는 보상이 바로 오지 않을 때예요. 지금 한 선택이 나중에 좋은 결과를 만들 수도 있고, 당장은 좋아 보여도 뒤에서 손해가 될 수도 있어요. 그래서 강화학습의 중요한 점은 환경을 처음부터 다 아는 기계가 아니라, 모르는 환경에서 보상을 보며 행동을 배운다는 문제 설정에 있어요.

ACM에 따르면 1980년대 초 바토와 당시 박사과정 학생이던 서튼은 심리학의 관찰에서 자극을 받아, 보상으로 배우는 문제를 일반적인 계산 문제로 정식화하기 시작했어요. 여기서 재미있는 전환이 생겨요. “칭찬받으면 더 한다”는 생활 속 직관이 “상태를 보고, 행동을 고르고, 보상을 받아, 다음 선택을 고친다”는 계산 가능한 구조로 바뀐 거예요.

예를 들어 1983년 논문에서는 막대를 세워 균형을 잡는 제어 문제를 통해 보상 기반 학습 시스템을 보였어요. 막대가 쓰러지지 않게 움직이는 일은 겉으로 보면 단순해 보여요. 하지만 기계 입장에서는 매 순간 기울기와 움직임을 보고, 어떤 조작이 나중의 균형에 도움이 되는지 배워야 하는 문제예요.

이때 시간차 학습이라는 생각도 짧게 잡아둘 만해요. 보상이 한참 뒤에 올 때, 기계가 “내가 조금 전에 예상한 것과 지금 보이는 결과가 다르네” 하고 예측을 조금씩 고치는 접근이에요. 시험 점수가 나온 뒤에야 지난 공부법을 돌아보는 것처럼, 결과가 늦게 와도 중간중간 기대를 수정하는 방식이라고 보면 돼요.

ACM은 바토와 서튼의 공헌이 시간차 학습, 정책 그래디언트 방법, 학습된 함수를 표현하기 위한 신경망 사용, 학습과 계획을 결합한 에이전트 설계 같은 알고리즘 접근으로 이어졌다고 설명해요. 중요한 건 특정 응용 사례 하나가 아니에요. 시행착오라는 흐릿한 말을, 기계가 다룰 수 있는 학습 문제로 바꾸었다는 점이에요.

그래서 강화학습의 핵심은 보상을 받는 장면 자체가 아니에요. 정말 중요한 것은 그 장면을 “모르는 환경에서 어떻게 행동을 고칠 것인가”라는 계산 문제로 만든 데 있어요. 이 지점에서 바토와 서튼의 연구는 좋은 아이디어를 넘어, 한 분야가 계속 질문을 쌓아 갈 수 있는 토대가 돼요.

튜링상이 인정한 것은 한 사람의 전설이 아니다

튜링상은 ACM이 수여하는 컴퓨터과학 분야의 대표적 상이에요. 그래서 수상 소식을 들으면 우리는 쉽게 “천재 한 명이 모든 걸 해냈구나” 하고 받아들이기 쉬워요. 하지만 앤드루 바토를 그렇게만 기억하면, 강화학습이 왜 중요한 성취였는지가 오히려 흐려져요.

ACM이 인정한 수상 사유는 바토와 리처드 서튼이 함께 강화학습의 개념적·알고리즘적 토대를 발전시킨 공로였어요. 여기서 개념적 토대는 “무엇을 문제로 볼 것인가”에 가깝고, 알고리즘적 토대는 “그 문제를 기계가 실제로 계산하게 하려면 어떻게 할 것인가”에 가까워요. 말하자면 지도를 그리는 일과, 그 지도를 따라 움직일 방법을 만드는 일이 함께 있었던 셈이에요.

이 차이는 중요해요. 바토의 의미는 강화학습의 모든 응용을 직접 만들었다는 데 있지 않아요. 보상과 시행착오라는 익숙한 말을, 연구자들이 공유하고 가르치고 확장할 수 있는 학습 문제의 언어로 남긴 데 있어요.

바토의 연구 관심은 기계 학습에만 머물지 않았어요. 보상 신호와 뇌의 학습 방식까지 이어졌다고 알려져 있어요. 다만 이것을 “강화학습이 인간 뇌를 그대로 설명했다”는 식으로 말하면 너무 멀리 가는 거예요. 더 안전한 이해는, 행동과 보상이라는 질문이 컴퓨터과학 바깥의 여러 학문과도 맞물려 커졌다는 쪽이에요.

이런 성격을 학제적이라고 불러요. 여러 학문이 각자 따로 서 있는 게 아니라, 같은 문제를 다른 방향에서 비춰 보는 상태예요. 아이가 뜨거운 컵을 만졌다가 손을 떼고 다음에는 조심하는 장면을 생각해 보면, 심리학은 행동의 변화를 보고, 뇌과학은 신호의 흐름을 보고, 컴퓨터과학은 그 과정을 계산 가능한 학습 문제로 묻는 식이에요.

서튼과 바토의 『Reinforcement Learning: An Introduction』도 이 맥락에서 중요해요. 이 책은 1998년에 처음 출간되었고, 2018년에 크게 확장된 2판이 MIT Press에서 나왔어요. 강화학습을 배우는 대표적 입문서로 자리 잡았다는 점은, 이 연구가 논문 몇 편의 아이디어를 넘어 교육과 연구의 공통 언어가 되었다는 뜻이에요.

후대의 여러 AI 성과가 강화학습의 토대와 연결되어 발전한 것은 맞아요. 하지만 여기서 붙잡아야 할 핵심은 화려한 응용 목록이 아니에요. 현대 AI를 볼 때 “이 기계는 어떤 보상을 보고, 무엇을 행동으로 고치고 있나”라고 묻는 습관이에요. 바토를 가장 정확하게 기억하는 방법도 거기에 있어요. 단독 전설이 아니라, 정답표 없는 학습을 컴퓨터가 다룰 수 있는 문제로 만든 연구의 한 축으로 보는 거예요.

결국 앤드루 바토의 의미는 “강화학습을 혼자 만든 전설”이 아니라, 정답표 없는 기계가 보상과 시행착오로 행동을 배울 수 있다는 질문을 컴퓨터과학의 중요한 토대로 세운 데 있어요. ACM이 바토와 리처드 서튼을 2024년 튜링상 공동 수상자로 발표한 이유도, 두 사람이 강화학습의 개념적·알고리즘적 토대를 발전시킨 공로에 있었어요.

강화학습을 볼 때 핵심은 화려한 응용 사례보다 더 단순한 질문이에요. 이 기계는 무엇을 보상으로 받고, 어떤 행동을 더 낫게 고치도록 배우고 있을까요? 바토를 그렇게 기억하면, AI를 “얼마나 똑똑한가”로만 보지 않고 “어떤 방식으로 배워 가는가”까지 함께 보게 돼요.