리처드 서튼은 왜 강화학습의 문법을 만들었나

정답 대신 보상으로 배우는 문제

리처드 서튼은 앤드루 바토와 함께 2024년 ACM A.M. 튜링상 수상자로 선정되었어요. 공식 수상 사유는 두 사람이 강화학습의 개념적·알고리즘적 기반을 발전시킨 공로였어요. 여기서 중요한 출발점은 “AI가 더 똑똑해졌다”가 아니라, AI가 무엇을 보고 배워야 하는지를 다르게 잡았다는 점이에요.

많은 사람이 AI 학습을 떠올리면 먼저 정답지가 있는 장면을 생각해요. 사진을 보여 주고 “이건 고양이야”라고 알려 주면, AI가 다음 사진에서 고양이를 더 잘 맞히는 식이죠. 그런데 세상에는 매 순간 정답표가 붙어 있지 않은 문제가 많아요.

강화학습은 바로 그런 문제를 다뤄요. 강화학습은 에이전트가 행동 뒤에 받는 보상 신호를 바탕으로 더 나은 행동 방식을 배워 가는 접근이에요. 쉽게 말하면, 누군가가 모든 정답을 미리 알려 주는 대신 “그 행동은 좋았어” 또는 “그 행동은 별로였어”라는 단서를 보고 조금씩 방향을 고치는 학습이에요.

여기서 에이전트는 환경을 보고 행동하는 학습 주체예요. 게임 속 캐릭터를 떠올리면 쉬워요. 캐릭터가 오른쪽으로 움직이거나, 기다리거나, 어떤 선택을 했을 때 점수를 얻거나 잃는다면 그 점수가 보상 신호가 돼요.

보상 신호는 행동이 얼마나 좋았는지 학습에 전달되는 단서예요. 시험 문제의 정답처럼 “이 선택이 유일한 답”이라고 말해 주지는 않아요. 대신 어떤 행동 뒤에 좋은 결과가 왔는지를 남겨서, 다음 행동을 바꾸게 만들어요.

이 차이가 중요해요. 강화학습의 핵심 압력은 정답을 외우는 데 있지 않고, 행동하고 결과를 겪은 뒤 더 나은 행동 방식을 찾아가는 데 있어요. 그래서 서튼의 업적도 단순히 “보상으로 배우는 AI”라는 말의 인기가 아니라, 에이전트가 경험에서 배울 문제를 연구할 수 있는 형태로 세운 흐름 안에서 봐야 해요.

수상 발표 기준으로 서튼은 앨버타대학교 컴퓨팅 사이언스 교수, Keen Technologies 연구 과학자, Amii 최고과학고문으로 소개돼요. 하지만 이 글에서 먼저 붙잡아야 할 것은 직함보다 문제의 모양이에요. 강화학습은 “정답이 없을 때도 배울 수 있는가”라는 질문을, 에이전트와 행동과 보상이라는 간단한 단위로 바꿔 놓은 출발점이에요.

시간차 학습이 바꾼 질문

좋은 선택의 보상은 늘 즉석에서 오지 않아요. 오늘 한 선택이 괜찮았는지는 내일, 혹은 한참 뒤에야 더 분명해질 때가 많죠. 그래서 강화학습의 질문은 단순히 “보상을 얼마나 받았나”에서 “새 경험이 이전 예측을 어떻게 바꾸나”로 옮겨 가요.

시간차 학습은 이 지점을 붙잡는 생각이에요. 쉽게 말하면, 시간이 지나며 드러나는 차이를 이용해 예측을 고치는 학습 방향이에요. 버스를 기다릴 때 “5분 뒤에 오겠지”라고 예상했는데 전광판이 바뀌면, 우리는 방금 전의 예상을 조금 수정하죠.

이게 중요한 이유는 보상이 늦게 오기 때문이에요. 어떤 행동이 정말 좋았는지 즉시 알 수 없다면, 학습은 최종 결과만 기다리는 방식으로는 답답해져요. 시간차 학습은 중간중간 들어오는 단서를 이용해 “내가 앞으로 받을 결과에 대한 예측”을 계속 고쳐 가는 방식으로 문제를 바라보게 해요.

ACM은 시간차 학습을 앤드루 바토와 리처드 서튼의 대표적 기여로 설명해요. 여기서 핵심은 서튼 혼자 무엇을 완성했다는 이야기가 아니라, 바토와 서튼의 공동 작업이 강화학습을 더 다룰 수 있는 연구 문제로 밀어 올렸다는 점이에요. 1980년대 초, 바토와 당시 그의 박사과정 학생이던 서튼은 심리학적 관찰과 마르코프 결정 과정의 수학적 틀을 바탕으로 강화학습을 일반 문제 틀로 정리하기 시작했어요.

마르코프 결정 과정은 어렵게 들리지만, 핵심은 단순해요. 어떤 상태에서 어떤 행동을 하면 다음 상태로 넘어가고, 그 과정에서 결과가 생긴다는 틀이에요. 게임판 위의 말이 현재 칸에 있고, 한 칸 움직이면 새 칸으로 가며 점수를 얻거나 잃는다고 생각하면 돼요.

서튼의 1988년 논문은 시간차 학습을 예측 문제의 방법으로 다룬 주요 1차 문헌이에요. 예측 문제란 앞으로의 결과를 추정하고, 새 경험이 들어오면 그 추정을 고쳐 가는 문제예요. 그러니 시간차 학습은 “많이 해 보고 좋은 행동을 찾는다”보다 더 섬세한 질문을 던져요. “지금 막 얻은 경험은, 내가 미래를 보던 방식을 얼마나 바꿔야 할까?”라는 질문이에요.

이 전환이 재미있는 이유는 강화학습을 단순한 시행착오로만 보지 않게 만들기 때문이에요. 에이전트는 보상을 기다리는 존재가 아니라, 경험이 올 때마다 자기 예측을 갱신하는 존재로 보이기 시작해요. 그래서 시간차 학습은 서튼의 업적을 이해하는 중요한 단서예요. 보상 자체보다, 경험이 예측을 바꾸는 방식을 연구 가능한 언어로 만든다는 점에서요.

알고리즘 하나가 아니라 연구 언어

서튼의 이름을 시간차 학습 하나에만 붙이면, 오히려 핵심이 작아져요. 더 큰 의미는 경험, 예측, 행동, 계획을 강화학습의 언어로 함께 말할 수 있게 만든 데 있어요.

위대한 AI 성과를 보면 우리는 눈에 띄는 제품이나 사건을 먼저 떠올리기 쉬워요. 하지만 서튼과 바토의 연구를 AlphaGo나 RLHF 같은 훗날의 응용을 직접 만든 일로 말하면 과해져요. 더 조심스럽고 정확한 표현은, 그런 응용들이 기대는 강화학습 연구 언어의 일부 기반을 두 사람이 다져 왔다는 쪽이에요.

여기서 연구 언어란 “무엇을 문제로 볼 것인가”를 정하는 말의 틀이에요. 예를 들어 같은 길 찾기라도, 그냥 “빨리 도착해라”라고 말할 수도 있고, “행동을 고르고, 결과를 보고, 다음 예측을 고쳐라”라고 말할 수도 있어요. 두 번째 방식이 생기면 연구자는 문제를 쪼개고, 비교하고, 더 나은 방법을 만들 수 있어요.

Dyna는 이 관점을 잘 보여 주는 아이디어예요. Dyna는 학습, 계획, 반응을 한 에이전트 구조 안에서 연결하려는 서튼의 대표적 아이디어로 설명할 수 있어요. 쉽게 말하면, 실제로 부딪혀 배우는 일과 머릿속으로 미리 굴려 보는 일을 완전히 따로 보지 않는 거예요.

정책 그래디언트도 같은 방향에서 볼 수 있어요. 정책은 에이전트의 행동 방식을 뜻하고, 정책 그래디언트는 그 행동 방식을 경험에서 얻은 신호로 조정하는 방법 계열이에요. 서튼은 공동저자들과 함께 함수근사를 쓰는 강화학습에서 이런 정책 그래디언트 방법을 정식화하는 데 기여했어요.

또 하나 중요한 것은 정리의 힘이에요. 서튼과 바토의 『Reinforcement Learning: An Introduction』은 강화학습의 핵심 아이디어와 알고리즘을 정리한 널리 알려진 교재로 소개할 수 있고, 2판은 2018년에 MIT Press에서 출간되었어요. 한 분야가 자라려면 좋은 아이디어만큼이나, 사람들이 같은 문제를 같은 단어로 토론할 수 있는 정리도 필요해요.

그래서 ACM의 공식 수상 사유가 말하는 “강화학습의 개념적·알고리즘적 기반”이라는 표현이 중요해요. 이것은 서튼과 바토가 어떤 응용 하나를 만들었다는 뜻이 아니라, 에이전트가 경험에서 배우는 방식을 연구 가능한 틀로 발전시켰다는 뜻에 가까워요. 리처드 서튼은 보상 학습이라는 쉬운 표어보다, 경험을 예측과 행동의 문제로 바꾸어 말할 수 있게 만든 연구자로 기억하는 편이 더 정확해요.

리처드 서튼은 앤드루 바토와 함께 2024년 ACM A.M. 튜링상 수상자로 선정되었고, 그 이유는 강화학습의 개념적·알고리즘적 기반을 발전시킨 공로에 있어요. 여기서 핵심은 “보상을 받는 AI”라는 쉬운 표어보다 조금 더 깊어요.

강화학습은 에이전트가 행동하고, 그 결과로 받은 보상 신호를 바탕으로 더 나은 행동 방식을 배워 가는 접근이에요. ACM이 시간차 학습을 두 사람의 대표적 기여로 설명하는 것도, 경험이 예측을 어떻게 고치게 만드는지 보여 주는 중요한 단서이기 때문이에요.

그래서 서튼의 의미는 어떤 후대 응용 하나를 직접 만들었다는 데 있지 않아요. 에이전트가 경험에서 배우는 방식을 시간차 학습과 더 넓은 연구 틀로 말할 수 있게 만든 연구자, 다시 말해 경험을 연구 가능한 언어로 바꾼 사람으로 기억하는 편이 더 정확해요.