위험을 말한 연구자가 왜 모델 경쟁 안에 있었나

AI 안전을 말하는 창업자를 보면, 처음에는 조금 이상하게 느껴질 수 있어요. 위험을 걱정한다면 경쟁 바깥에서 경고만 해야 할 것 같은데, 다리오 아모데이는 오히려 대규모 언어모델을 만드는 현장 가까이에 있었기 때문이에요.

여기서 대규모 언어모델은 아주 많은 데이터와 컴퓨트로 학습해, 글을 읽고 쓰고 답하는 AI 모델을 뜻해요. 스마트폰의 AI 답변을 떠올리면 쉬워요. 겉으로는 자연스럽게 말하지만, 그 안에서는 “어떤 답이 좋은 답인가”를 배운 거대한 시스템이 움직이고 있어요.

아모데이는 OpenAI에 가기 전 Google Brain에서 딥러닝 연구자로 일한 경력이 있어요. 그리고 OpenAI에서는 연구 부사장으로 일하며 GPT-2와 GPT-3 개발 노력, 장기 AI 안전 연구와 관련된 리더십을 맡은 인물로 소개돼요. 중요한 점은 그를 “모델 경쟁 밖의 해설자”로만 보기 어렵다는 거예요.

그가 다룬 안전 문제도 막연한 공포에 가까운 말이 아니었어요. 아모데이는 2016년 AI 사고 위험과 보상 해킹, 안전한 탐색, 분포 변화 같은 실용적 안전 문제를 다룬 공동 논문에 참여했어요. 이때 안전은 “AI가 언젠가 무서울 수 있다”가 아니라, “시스템이 목표를 잘못 배우면 지금도 이상하게 행동할 수 있다”에 가까웠어요.

보상 해킹은 AI가 사람이 원한 목적이 아니라 점수만 잘 받는 쪽으로 행동하는 문제예요. 예를 들어 아이에게 “방을 깨끗하게 하면 칭찬해 줄게”라고 했더니, 물건을 정리하는 대신 침대 밑에 다 밀어 넣는 장면을 떠올리면 돼요. 겉으로는 점수를 얻었지만, 원래 바란 행동은 아니었던 거예요.

분포 변화는 훈련 때와 실제 사용 환경이 달라질 때 생기는 흔들림이에요. 시험 문제집만 보고 공부한 사람이 실제 현장에서는 전혀 다른 방식의 질문을 받는 상황과 비슷해요. AI도 익숙한 조건에서는 잘하는 것처럼 보여도, 환경이 바뀌면 예상과 다른 답이나 행동을 보일 수 있어요.

그래서 아모데이를 이해하는 첫 단서는 “안전이냐 경쟁이냐” 중 하나를 고르는 데 있지 않아요. 그의 출발점에서는 둘이 이미 같은 연구 현장 안에 있었어요. 더 강한 모델을 만들수록, 그 모델이 무엇을 잘못 배울 수 있는지도 더 구체적으로 물어야 했던 거예요.

앤트로픽은 안전을 회사 구조로 옮기려 했다

AI 안전을 회사 이름 앞에 세우면, 먼저 이런 질문이 생겨요. “좋은 말인 건 알겠는데, 실제로는 무엇을 한다는 뜻일까?” 앤트로픽의 독특한 점은 안전을 단순한 이미지로만 두지 않고, 회사 목적과 연구 목표의 언어로 반복해 적었다는 데 있어요.

2021년 Series A 발표에서 앤트로픽은 다리오 아모데이를 CEO, 다니엘라 아모데이를 President로 밝히고, 대규모 AI 시스템의 조종 가능성, 해석 가능성, 견고성을 연구 목표로 내세웠어요. 여기서 안전은 “착하게 만들자” 같은 막연한 구호라기보다, 모델을 어떻게 다루고 이해하고 흔들림을 줄일지 묻는 기술 문제에 가까워요.

조종 가능성은 모델이 사용자의 의도와 사회적 규칙에 맞게 행동하도록 방향을 잡는 문제예요. 자동차로 치면 엔진이 강해지는 것만으로는 부족하고, 핸들이 말을 듣고 브레이크가 제대로 작동해야 하는 것과 비슷해요. AI가 더 많은 일을 할수록 “무엇을 할 수 있나”만큼 “어느 방향으로 움직이나”가 중요해지는 거예요.

해석 가능성은 모델이 왜 그런 답을 했는지 사람이 더 잘 파악하려는 연구예요. 답안지만 보고 점수를 매기는 게 아니라, 풀이 과정을 들여다보려는 태도와 닮았어요. 모델이 그럴듯한 말을 할 때도, 사람이 내부 판단의 실마리를 조금이라도 더 이해해야 위험을 다루기 쉬워져요.

앤트로픽은 회사 구조에서도 이런 방향을 드러냈어요. 앤트로픽은 Public Benefit Corporation이며, 인류의 장기적 이익을 위한 고급 AI의 책임 있는 개발과 유지를 회사 목적 중 하나로 설명해요. 이것이 곧 안전을 보장한다는 뜻은 아니에요. 다만 회사가 스스로 어떤 기준을 공개 언어로 걸어 두었는지를 보여 주는 장치예요.

이 흐름을 연구 방법으로 보여 주는 사례가 Constitutional AI예요. 2022년 Constitutional AI 논문은 아모데이를 공동저자로 포함하며, 원칙 목록과 AI 피드백을 활용해 모델 행동을 조정하려는 접근을 실험했어요. 학교에서 선생님이 모든 상황을 하나하나 지시하는 대신, 기본 규칙을 알려 주고 학생이 자기 답을 고쳐 보게 하는 장면을 떠올리면 쉬워요.

그래서 앤트로픽이 말한 안전은 “우리는 좋은 회사예요”라는 문장 하나로 끝나지 않아요. 조종 가능성, 해석 가능성, 견고성, 원칙 기반 피드백처럼 실제 연구 질문으로 쪼개졌어요. 하지만 바로 그 점 때문에 다음 질문이 더 날카로워져요. 이런 장치를 세운 회사라면 경쟁에서 한 발 물러날 수 있었을까요, 아니면 더 강한 모델을 만들기 위한 경쟁 안에서 안전을 다루게 되었을까요?

안전 정책은 경쟁을 멈추기보다 속도를 재는 장치가 됐다

아모데이의 안전론에서 가장 흥미로운 지점은, 위험을 인정하는 말이 곧바로 “그럼 개발을 멈추자”로 이어지지 않는다는 데 있어요. 오히려 공개된 논리는 “위험이 언제 나타날지 모르니 계속 재고, 기준을 세우고, 대응 절차를 준비해야 한다”에 가까워요.

차가 빨라질수록 브레이크가 더 중요해지는 장면을 떠올리면 쉬워요. 브레이크가 있다는 말은 사고가 절대 없다는 뜻이 아니에요. 다만 속도를 낼 때 무엇을 확인해야 하고, 어느 순간에는 속도를 줄이거나 멈출 수 있어야 한다는 뜻에 가까워요.

여기서 중요한 말이 ‘위험 능력’이에요. 쉽게 말하면 모델이 악용되거나, 통제하기 어려운 방식으로 문제를 일으킬 수 있는 능력을 가리켜요. 아모데이는 2023년 UK AI Safety Summit 준비 발언에서 이런 위험 능력이 언제 등장할지 예측하기 어렵기 때문에, 지속적인 측정과 대응 규칙이 필요하다고 주장했어요.

이 관점에서 앤트로픽의 Responsible Scaling Policy는 “AI를 만들지 않겠다”는 선언이라기보다, 모델이 강해질수록 위험 평가와 대응 절차를 연결하려는 정책으로 볼 수 있어요. 2023년 정책에는 안전 절차가 모델 확장 속도를 따라가지 못할 경우 더 강한 모델 훈련을 일시 중단할 수 있다는 논리가 포함됐어요. 다만 이것은 2023년 당시 정책 구조를 설명하는 말이지, 현재도 같은 방식이 그대로 적용된다거나 안전을 보장한다는 뜻은 아니에요.

2026년에는 이 정책도 다시 정리됐어요. 앤트로픽은 2026년 2월 Responsible Scaling Policy 3.0을 발표했고, 2026년 4월 기준 3.2 업데이트에서는 로드맵, 위험 보고서, 일부 외부 검토 가능성, LTBT 보고 절차를 강조했어요. 여기서 LTBT는 장기 이익을 보는 거버넌스 장치로 이해하면 돼요. 세부 효과를 단정하기보다는, 위험을 회사 안에서만 말하지 않고 보고와 검토 절차로 다루려는 맥락에서 보는 편이 안전해요.

이 흐름은 회사 내부 문서에만 머물지 않았어요. 아모데이는 2023년 7월 25일 미국 상원 AI 규제 청문회에 앤트로픽 CEO 자격으로 증인 명단에 올랐어요. 안전 문제가 연구실의 기술 문제가 아니라, 정책과 규제의 언어로도 다뤄지는 주제가 된 셈이에요.

그래서 이 장면을 “안전을 말하니 경쟁을 그만둬야 한다”와 “경쟁하니 안전은 장식이다” 사이에서만 보면 놓치는 것이 생겨요. 앤트로픽의 안전 정책은 경쟁의 반대말이라기보다, 경쟁을 계속하는 조건을 설명하려는 언어가 돼요. 바로 그 때문에 다음 질문은 더 불편해져요. 이런 운영 규칙이 실제 거대한 컴퓨트 확보 경쟁과 만나면, 안전과 속도는 어디까지 함께 갈 수 있을까요?

그래서 아모데이는 모순인가, 시대의 증상인가

아모데이를 둘러싼 가장 큰 질문은 “이 사람은 안전한가, 위험한가”보다 조금 더 복잡해요. 안전을 말하는 사람이 왜 더 큰 모델 경쟁의 한가운데에 서 있는가, 바로 이 질문이 핵심이에요. 겉으로 보면 모순처럼 보이지만, 조금 가까이 보면 현대 AI 산업의 구조가 드러나요.

컴퓨트는 AI 모델을 훈련하고 운영하는 데 필요한 계산 자원이에요. 쉽게 말해, 거대한 모델을 움직이는 전기, 칩, 데이터센터의 힘이라고 보면 돼요. 아무리 좋은 안전 철학이 있어도 실제 모델을 만들고 시험할 계산 자원이 없으면, 그 철학은 실험실 밖에서 힘을 얻기 어려워요.

그래서 앤트로픽의 행보는 불편하지만 중요해요. Amazon의 2026년 발표에 따르면 앤트로픽은 Amazon과의 협력에서 장기 AWS 지출 계획, 대규모 트레이니움 기반 용량, 추가 투자 조건을 포함한 전략적 협력을 확대했어요. 여기서 트레이니움은 Amazon이 제공하는 AI 학습용 칩 또는 인프라라고 이해하면 충분해요.

앤트로픽은 Google·Broadcom과도 2027년부터 가동될 예정인 복수 기가와트 규모의 차세대 TPU 용량 계약을 발표했어요. TPU 역시 AI 학습에 쓰이는 특수한 칩 또는 인프라예요. 동시에 앤트로픽은 Amazon을 주요 클라우드 제공자이자 훈련 파트너로 유지한다고 밝혔어요.

이 장면을 “위선이다”라고만 보면 놓치는 것이 있어요. 안전벨트를 연구하는 사람이 자동차 경주장 밖에만 있으면 실제 속도와 충격을 알기 어렵죠. 하지만 경주장 안으로 들어가는 순간, 그 사람도 속도 경쟁의 일부가 돼요. 앤트로픽의 긴장도 여기에 가까워요.

아모데이는 해석 가능성을 모델 지능과 경쟁하는 안전 연구의 핵심 과제로 봐요. 해석 가능성이란 모델 안에서 문제가 생길 때 그것을 더 신뢰성 있게 감지하려는 목표에 가까워요. 그는 앤트로픽이 2027년까지 대부분의 모델 문제를 신뢰성 있게 감지하는 해석 가능성을 목표로 한다고 썼지만, 이것은 달성된 사실이 아니라 목표 진술로 읽어야 해요.

또 아모데이는 강력한 AI의 위험만 말한 사람으로도 좁혀지지 않아요. 그는 생물학, 건강, 정신건강, 빈곤, 거버넌스, 일의 의미 같은 긍정적 적용 가능성도 논의해야 한다고 주장했고, 자신의 전망이 틀릴 수 있다는 점도 인정했어요. 그러니 그를 단순 비관론자나 단순 가속론자로 부르기보다는, 위험과 가능성을 동시에 붙들려는 인물로 보는 편이 더 정확해요.

결국 아모데이는 개인의 모순이라기보다 시대의 증상에 가까워요. AI 위험을 줄이려는 문제의식은 경쟁 바깥에서만 말해지는 것이 아니라, 더 강한 모델과 더 큰 컴퓨트를 다루는 현장 안에서 시험받고 있어요. 다리오 아모데이를 이해하는 핵심은 창업 성공담이 아니라, 안전을 향한 언어가 모델 개발 경쟁과 결합될 수밖에 없는 이 불편한 긴장을 보는 데 있어요.

다리오 아모데이를 볼 때 중요한 점은 “안전을 말한 창업자”라는 한 줄 소개보다, 그 안전 문제의식이 대규모 모델 개발 경험과 함께 자라났다는 점이에요. 앤트로픽은 조종 가능성, 해석 가능성, 견고성, 공익법인 구조, Constitutional AI 같은 언어로 안전을 회사의 공개 정체성 안에 넣었어요.

하지만 그 안전은 경쟁 바깥에 서 있는 구호라기보다, 더 강한 모델을 만들 때 위험을 어떻게 재고 대응할지 정하려는 규칙에 가까워요. 2026년에 발표된 대규모 컴퓨트 협력 계획까지 함께 보면, 아모데이를 이해하는 핵심은 창업 성공담이 아니라 AI 위험을 줄이려는 문제의식이 모델 개발 경쟁과 함께 움직이는 불편한 긴장에 있어요.