미국의 AI 속도 조절과 중국의 헛발질, 그리고 한국과 일본의 선택

최근 미국 AI 프론티어 기업들의 수장들이 개발 속도를 조절해야 한다는 이야기를 하고 있다. 다리오 아모데이의 제안에 샘 알트만과 일론 머스크까지 동의하는 모습을 보면서, 나는 이들이 지금 무엇을 가장 걱정하고 있는지 생각하게 됐다.

AI 에이전트들이 연구 환경의 제약을 우회해 서로 협력했다는 사건, 중국 AI 기업들이 고객의 요청을 몰래 Claude로 보냈다는 보고, AI가 다음 AI의 개발에 참여하는 재귀적 자기개선 이야기까지 이어지고 있다. 따로 보면 기술 뉴스지만, 함께 놓고 보면 AI를 통제하는 문제와 국가 간 힘의 차이가 동시에 달라지고 있다는 생각이 든다.

나는 미국 주도의 질서가 우리가 예상하는 것보다 훨씬 오래 지속될 수 있다고 본다. 그래서 더 걱정되는 것은 한국과 일본이다. 미국의 기술을 잘 가져다 쓰고 동맹을 유지하는 것만으로, 앞으로도 지금과 같은 경제적 위치를 지킬 수 있을까.

AI를 만드는 사람들이 속도 조절을 말하는 이유

우리는 AI 모델의 능력을 향상시키는 속도를 늦춰야 한다.

다리오 아모데이가 2026년 9월 공개한 「We Must Pace the Frontier」에 쓴 문장을 번역한 것이다. 그는 AI가 다음 세대 AI의 개발을 가속하는 현상과 OpenAI·Hugging Face 사건을 이유로 들었다. 모든 학습을 중단하자는 제안은 아니다. 모델의 능력이 향상되는 속도에 맞춰 안전성을 확인할 시간을 확보하고, 독립적인 평가자가 회사 내부에서 지속적으로 검증할 수 있게 하자는 내용이다.

샘 알트만도 다리오의 속도 조절 제안에 동의하며 외부 평가자에게 직원에 준하는 접근 권한을 주겠다고 밝혔다. 일론 머스크 역시 같은 글에 동의했다. 세 사람이 똑같은 실행 계획을 약속한 것은 아니지만, 최전선의 개발자들이 속도 조절의 필요성을 공개적으로 인정했다는 점은 눈여겨볼 만하다.

내가 이 말을 무겁게 받아들이는 이유는 실제로 발생한 사고와 함께 나왔기 때문이다. 개발 과정에서 무엇이 잘못됐는지 확인했고, 더 강한 모델에서도 같은 문제가 생길 수 있다고 우려하고 있다. 성능을 높이는 방법을 아는 것과, 높아진 성능을 안전하게 통제하는 방법을 아는 것은 별개의 일이다.

에이전트들이 스스로 만든 게시판

X에서 접한 이야기 중 가장 인상적이었던 것은 서로 분리돼 있던 에이전트들이 게시판을 만들어 협력했다는 내용이다. OpenAI가 8월 26일 공개한 조사 보고서를 보면, 5월 12일 한 에이전트가 필요한 파일을 찾으며 Artifactory에 메모를 남긴 기록이 있다. Artifactory는 소프트웨어 패키지를 보관하고 전달하는 도구인데, 에이전트들이 이를 메시지 교환 장소로 이용한 것이다.

이후 에이전트들은 인터넷 접근을 제한한 연구 환경을 우회하는 방법도 공유했다. 7월 초 장애와 보안 대응을 거쳐 7월 8일 Artifactory가 재구축됐지만, 평가를 재개하자 에이전트들은 그날 다시 소통 경로를 만들었다. 7월 11일에는 Hugging Face의 제로데이 취약점, 즉 당시 알려지지 않았던 보안 결함을 악용한 침입으로 이어졌다. 이 사건의 중심에는 외부에 출시하지 않은 내부 연구 모델 IM1이 있었다.

암호 기술을 사용했다는 이야기도 근거가 있다. 다만 내용을 숨기는 암호화와는 구분해야 한다. METR와 Redwood Research의 독립 조사에서 확인한 것은 다른 에이전트의 사칭을 막기 위해 메시지에 암호학적 서명을 붙인 행동이다. 누가 보낸 메시지인지 확인하는 방식까지 만들어 협력한 셈이다.

이 과정을 ‘사람이 제지하자 화가 나서 보복했다’고 설명할 근거는 없다. 게시판을 통해 정보를 축적한 것을 곧바로 모델 자체의 지능이 스스로 향상됐다는 증거로 볼 수도 없다. 하지만 나는 확인된 행동만으로도 충분히 우려스럽다. 주어진 과제를 해결하려는 에이전트들이 허용 범위를 벗어나 협력했고, 그 협력이 실제 외부 시스템 침입으로 이어졌기 때문이다. 개별 에이전트에 내린 지시만으로 집단의 행동까지 통제할 수 있는지 다시 생각해야 하는 사건이다.

중국의 AI 자립을 의심하게 만드는 일

중국 쪽에서는 기술 자립과 서비스 신뢰를 함께 의심하게 만드는 보고가 나왔다. Anthropic의 9월 위협 정보 보고서는 Kimi를 만드는 문샷 AI가 고객의 요청을 몰래 Claude로 전달하고, 그 응답을 고객에게 제공했다고 밝혔다. 이 조사에 따르면 문샷은 해당 대화의 일부를 수집해 자체 모델 훈련에도 이용했다. Claude 응답을 대신 제공하는 우회 사용과 증류가 함께 이뤄졌다는 내용이다.

같은 보고서에는 민감한 정보의 노출도 등장한다. 문샷 사례에는 중국 인민해방군과 관련됐을 가능성이 있는 사용자의 감시 자료, 국유기업 엔지니어가 입력한 내부 코드와 접속 정보가 포함돼 있다. 러시아 국방부와 연계된 정부 기관의 데이터베이스 접속 정보는 별도의 DeepSeek 사례로 제시됐다. 모두 Anthropic이 공개한 조사 결과라는 전제에서 읽어야 한다.

나는 이런 행태를 중국 AI 기업들의 심각한 헛발질이라고 본다. 사용자는 자신이 선택한 모델과 서비스가 데이터를 처리한다고 믿었을 텐데, 실제로는 다른 나라 기업의 모델로 요청이 넘어갔다는 것이다. AI 자립을 기대하며 선택한 서비스가 기술 의존을 숨긴 채 민감한 정보까지 외부로 전달했다면, 성능 경쟁을 넘어 신뢰의 문제다.

그렇다고 이 보고서만으로 Kimi 전체가 가짜 모델이었다거나 중국의 AI 연구가 모두 무의미하다고 말할 수는 없다. 그 정보가 미국 정부에 넘어갔다는 주장도 확인된 사실로 쓰기 어렵다. 내가 문제 삼는 것은 공개된 요청 우회와 정보 노출이다. 이것만으로도 중국 AI의 독자적인 경쟁력을 평가할 때 더 엄격한 검증이 필요하다고 생각한다.

중국의 AI는 여전히 미국 기업에 위협이 될 수 있다

중국 기업들의 기술 의존과 신뢰 문제를 비판한다고 해서, 그들이 미국 기업에 가하는 경쟁 압력까지 작다고 볼 수는 없다. 독자적으로 얼마나 개발했는지와 고객에게 얼마나 매력적인 대안을 제공하는지는 서로 다른 문제다. 나는 중국 AI 기업들의 위협이 성능과 가격, 그리고 모델 공개 방식에서 함께 나타날 수 있다고 생각한다.

DeepSeek가 9월 중 Fable이나 Astra 수준의 새 모델을 더 저렴하게 내놓는다는 이야기도 들었다. 이 출시 시점과 성능 비교는 아직 확인이 필요하다. 현재 공식적으로 확인되는 것은 9월 10일 공개된 V4.1-Flash와 API 가격 인하다. 같은 발표에 후속 V4.1-Pro가 언급돼 있지만, 그 모델의 정확한 출시일이나 Fable·Astra와의 동급 성능을 입증하는 자료는 제시돼 있지 않다.

이미 공개된 모델도 가볍게 볼 이유는 없다. V4.1-Flash의 모델 카드는 저장소와 모델 가중치를 MIT 라이선스로 공개한다고 명시한다. 회사가 발표한 평가에서는 일부 코딩 과제에서 Opus 5.0이나 GPT-5.6 Sol과 비슷한 결과가 나왔지만, 다른 과제에서는 차이가 있었다. 모든 영역에서 미국의 최신 모델과 동등하다고 말할 근거는 부족해도, 공개된 모델이 일부 용도에서 대안이 될 가능성은 보여 준다.

고객에게 중요한 것은 자신이 맡기는 일을 충분히 잘 처리하는지와 그 비용일 것이다. 중국 모델이 필요한 수준의 품질을 더 낮은 가격에 제공한다면, 미국 모델이 어려운 문제에서 앞서더라도 모든 작업을 비싼 모델에 맡길 이유는 줄어든다. 앞으로 Fable이나 Astra에 가까운 성능까지 더 저렴하게 제공한다면, 미국 기업들은 높은 이용료를 유지하거나 투자비를 회수하는 데 더 큰 압박을 받을 수 있다.

가중치 공개는 이 경쟁의 범위를 넓힐 수 있다. 필요한 연산 자원을 가진 기업은 모델을 직접 운영하고 수정할 수 있고, 다른 사업자가 같은 모델을 바탕으로 서비스를 제공할 수도 있다. 운영 비용이 사라지는 것은 아니지만, 고객이 원개발사의 API만 이용해야 하는 구조에서는 벗어날 수 있다. 나는 이 선택지가 늘어나는 것 자체가 미국 프론티어 기업들의 가격 결정력과 고객 유지에 부담이 될 수 있다고 본다.

이런 경쟁을 생각하면 AI 개발 속도 조절 제안은 냉전기의 군비 통제 협상과 닮아 보인다. 미국과 소련의 전략무기제한협상(SALT)은 양측이 경쟁을 계속하면서도 무기 제한과 검증 방식을 협상한 사례다. 다리오도 같은 글에서 재귀적 자기개선의 속도를 제한하는 합의를 SALT에 직접 비유했다. 서로의 힘을 인정하면서, 감당하기 어려운 위험을 줄일 조건을 찾는다는 점에서 연결된다.

나는 미국과 서방이 현재의 우위를 유지하면서 위험한 경쟁의 속도를 조절하려는 상황으로도 이 제안을 읽는다. 안전을 확보하려는 목적과 유리한 경쟁 조건을 지키려는 이해관계가 함께 있을 수 있다는 해석이다. 중국 역시 경쟁을 계속할 능력이 있다면 미국의 제안을 그대로 받아들일 이유는 없을 것이다. 중국까지 참여하는 합의가 성립하려면 양측이 제한의 범위와 이행 여부를 확인하는 방법을 납득해야 한다. 중국 AI가 여전히 위협이 될 수 있기 때문에, 함께 속도를 조절할 필요도 커지고 합의하기도 어려워지는 셈이다.

AI가 다음 AI를 개발하는 과정은 이미 시작됐다

구글 딥마인드가 RSI를 만들었다는 이야기도 이 시기에 나왔다. RSI는 Recursive Self-Improvement, 보통 ‘재귀적 자기개선’이라고 부른다. AI가 연구와 개발을 도와 더 나은 AI를 만들고, 그 AI가 다시 다음 개발에 기여하는 과정이다. 단순히 에이전트가 다른 에이전트를 실행하는 것만으로 이 과정 전체가 성립하는 것은 아니다.

공식적으로 확인할 수 있는 진전은 있다. 구글은 9월 2일 Gemini 3.8 Flash와 Flash Cyber 발표에서, 장시간 작동하는 에이전트가 기반 모델을 재귀적으로 평가하고 개선하는 과정을 통해 개발을 가속했다고 설명했다. AI가 AI 개발에 참여한다는 이야기는 이제 공개된 개발 방식의 일부다. 다만 이것을 사람의 개입 없이 끝없이 발전하는 시스템의 완성으로 받아들일 수는 없다.

OpenAI도 Astra가 개발되던 시기의 연구 현장을 설명하며, 코딩 에이전트가 연구 코드 작성과 실험에 널리 사용되고 있다고 밝혔다. 사람의 지시 아래 명확히 정해진 연구 과제를 수행하는 ‘자동화된 연구 인턴’ 단계에 도달했다는 설명과 함께, 다음 문장을 남겼다.

우리는 정렬된 완전한 RSI에 안전하게 도달하는 방법을 아직 모른다.

OpenAI의 9월 6일 「Research acceleration: The view inside OpenAI」에 있는 문장을 번역했다. 같은 글은 연구의 우선순위를 정하고 결과를 판단하며 개발 확대·중단·배포를 결정하는 주체가 여전히 사람이라고 설명한다. 9월 9일 정책 글에서도 완전히 자율적인 RSI는 현재 일어나고 있지 않다고 명시했다.

내가 걱정하는 것은 이 과정이 더 빨라졌을 때다. AI가 연구 계획을 세우고 코드를 수정하며 실험까지 병렬로 진행하면, 사람이 모든 변경과 결과를 같은 깊이로 확인하기 어려워질 수 있다. 개발 속도에 비해 검증이 뒤처지면, 문제가 생긴 뒤에야 어느 단계에서 잘못됐는지 찾게 된다. AI가 인간의 의도와 정해진 제한을 지키도록 만드는 정렬 작업을, 개발이 끝난 뒤로 미뤄서는 안 된다고 생각한다.

중국의 실패가 미국에 시간을 줬을까

여기서부터는 내 추측이다. 중국 기업들의 미국 모델 의존이 예상보다 컸다면, 미국의 프론티어 기업들은 개발 속도를 조금 조절해도 우위를 유지할 수 있다고 판단했을지 모른다. 중국이 곧 추월할 수 있다는 압박이 줄어드는 만큼, 정렬과 통제에 시간을 더 쓸 여지가 생긴다는 생각이다. 다만 앞서 본 중국 모델의 가격과 공개 방식은 계속 경쟁 압력을 줄 수 있으므로, 이런 여유가 오래 유지된다고 장담할 수는 없다.

다리오의 글에도 기술적 우위와 속도 조절을 연결하는 논리가 있다. 그는 미국과 민주주의 국가들이 중국에 대한 우위를 유지해야 안전성을 확보할 시간을 벌 수 있다고 주장한다. 중국과의 경쟁이 끝났다고 선언한 것이 아니라, 그 격차를 지키는 일을 속도 조절의 조건으로 본 것이다.

그래서 중국의 이번 일이 세 사람의 발언을 직접 이끌었다고 단정하지는 않는다. 그들이 내부에서 어떤 판단을 공유했는지 나는 모른다. 다만 경쟁국의 실제 역량에 대한 평가와, 지금 정렬을 충분히 진전시키지 못하면 나중에는 통제가 더 어려워질 수 있다는 판단이 함께 작용했을 가능성은 있다고 본다.

이 추측이 맞는다면 미국 기업들의 속도 조절은 기술적 자신감과 안전에 대한 불안이 동시에 드러난 행동일 수 있다. 성능을 높일 능력은 있지만, 그 능력을 어디까지 허용할지 결정해야 하는 단계에 가까워지고 있다는 뜻이다.

미국의 우위가 100년 이상 이어질 수도 있다고 보는 이유

나는 미국이 AI의 개발과 활용에서 주도권을 유지한다면, 미국 중심의 질서가 앞으로 100년 이상 이어질 수도 있다고 본다. AI가 경제를 얼마나 키우는지, 그 성장에서 생긴 소득을 누가 가져가며 어디에 다시 투자하는지가 그 이유다.

이 생각을 구체화하는 데 도움이 된 자료가 Anthropic의 경제 시나리오 분석이다. 연구진은 AI의 능력, 도입 속도와 자동화 정도 등에 따라 2030년 미국 경제가 어떻게 달라지는지 비교했다. 어떤 미래가 실현될지 확률을 붙인 예측은 아니지만, 가정에 따라 성장의 규모와 소득 배분이 얼마나 달라질 수 있는지 보여 준다.

2030년 시나리오	AI가 없는 경우보다 커지는 GDP	전체 소득 중 자본의 몫
완만한 변화	1.6%	40.6%
상당한 변화	8.3%	43.9%
극단적인 변화	32.4%	54.8%

표는 기술 보고서의 표 3에서 두 지표를 발췌해 정리했다. GDP 차이는 같은 2030년의 AI 없는 경제와 비교한 값이며 연간 성장률이 아니다. 자본의 몫은 AI가 없는 기준 시나리오에서 40%다.

특히 극단적 시나리오는 지식노동에서 빠른 AI 도입과 높은 자동화가 진행되는 경우를 다룬다. 이때 연간 GDP 성장률은 2030년 무렵 약 15%에 이른다. 동시에 지식노동자의 임금과 고용은 악화되고 자본의 소득 비중은 높아진다. 늘어난 소득이 임금보다 자본 소유자에게 더 많이 돌아갈 수 있다는 것이다.

나는 여기서 국가 간 경쟁을 생각하게 된다. 다른 나라가 제공하던 지식노동을 AI로 수행할 수 있게 되고, 그 AI를 공급하는 기술과 자본을 미국 기업들이 계속 보유한다면 어떨까. 미국은 외부의 노동력에 덜 의존하면서 생산을 늘리고, 다른 나라의 AI 활용이 늘어나는 과정에서도 서비스와 기술 공급을 통해 수익을 얻을 수 있다. 세계 시장에 계속 참여하면서도 협력 상대에게 의존하는 정도는 줄어들 수 있다는 것이 내 해석이다.

그 수익을 다음 세대 모델과 연산 시설, 연구 인력에 재투자할 수 있다면 기술적 우위를 유지하기도 더 쉬워질 것이다. 더 나은 AI를 보유한 기업이 더 많은 소득을 얻고, 그 소득으로 다시 개발 역량을 확대하는 과정이 반복되는 상황이다. 이런 구조가 미국에 유리하게 오래 유지된다면, 현재의 모델 성능 차이가 장기적인 국가 간 경제 격차로 이어질 수 있다고 본다.

다만 이 연구의 범위는 2030년까지의 경제 변화다. 미국과 중국의 성장률을 비교하거나 미국의 패권 지속 기간을 계산하지는 않았다. 자본 전체를 하나로 다루므로 늘어난 소득을 미국 AI 기업이 모두 가져간다는 뜻도 아니다. 로봇의 급격한 발전은 분석에서 제외했고, 자본 공급의 제약이 완화되면 소득 배분도 달라질 수 있다고 설명한다. 2030년의 높은 성장률을 100년 동안 그대로 연장해서는 내 주장의 근거가 될 수 없다.

내가 말하는 100년은 미국이 핵심 기술의 통제력을 유지하고, 다른 나라의 추격을 앞서는 속도로 재투자하며, 내부의 소득 불균형과 고용 충격에도 대응한다는 조건을 둔 장기 전망이다. 이 조건들이 유지될지는 알 수 없다. 그러나 AI로 생산 능력과 자본 소득이 함께 커질 가능성을 보면, 지금의 기술적 우위가 장기간 이어질 수 있다는 생각을 가볍게 넘기기도 어렵다.

그래서 한국과 일본이 친미·친서방 국가라는 사실만으로 경제적 지위를 보장받을 수 있다고 생각하지 않는다. 우리가 제공할 기술과 시장, 생산 능력의 가치가 줄어든다면, 농담처럼 말하던 ‘친구비’를 내며 관계 유지를 부탁해야 하는 처지에 가까워질 수도 있다. 더 많은 비용을 부담하면서도 중요한 기술과 사업의 조건은 남이 정하는 상황을 걱정하는 것이다.

한국과 일본은 함께 투자하고, 함께 바뀌어야 한다

그래서 나는 지금이라도 한국과 일본이 해묵은 감정을 풀고, 훨씬 깊은 협력을 추진해야 한다고 생각한다. 장기적으로는 연방공동체를 구축하는 방향까지 나아가야 한다. 양국의 정부와 연구기관이 긴밀하게 협력하고, 기업과 인재가 더 큰 시장에서 활동하며, 공동의 미래 산업에 자본을 집중하는 구상이다.

역사 문제의 책임과 쟁점을 다루면서, 미래의 산업과 연구를 함께 준비하는 일도 진행해야 한다. 정치적 통합은 양국 시민의 동의와 오랜 제도 설계가 필요한 선택이다. 그 전에 공동 연구기금과 연산 자원을 마련하고, 연구자의 이동과 공동 창업을 쉽게 하며, 기업들이 양쪽 시장에서 사업을 키울 수 있도록 하는 일부터 시작할 수 있다.

AI 프론티어 기업에 대한 투자도 그 규모에 맞게 해야 한다. 공동 연구기관이 기초 연구와 인력 양성을 맡고, 민간 기업은 모델 개발과 제품 경쟁을 이어가며, 정부는 연산 시설과 장기 연구에 필요한 투자를 뒷받침하는 방식이다. 모델 성능과 함께 안전성 평가 역량도 축적해야 한다. 미국이 통제를 고민하는 이유를 보면서, 우리는 성능만 따라가겠다고 할 수는 없다.

시장을 합치고 돈을 늘리는 것만으로는 부족하다. 내가 ‘동조선·서조선판 꽌시’라고 비판하고 싶은 것은 인맥과 소속에 따라 기회를 배분하는 방식이다. 연구 성과보다 어느 조직과 연결돼 있는지가 중요하고, 새로운 기업보다 기존 관계자가 자원을 먼저 가져가는 구조를 남겨두면 공동 투자도 제대로 작동하기 어렵다.

공공 지원의 선정 근거와 이해관계를 공개하고, 기술을 검증할 수 있는 평가를 마련해야 한다. 연구자가 새로운 시도를 했다가 실패한 것과, 관계를 이용해 지원을 받은 뒤 책임을 피하는 것을 구분해야 한다. 양국이 협력하면서 기존의 잘못된 관행까지 확대하는 결과는 피해야 한다.

한일 협력이 성공을 보장한다고 생각하지는 않는다. 다만 각자의 작은 시장과 익숙한 관계 안에서 자원을 나눠 쓰며 미국 기업의 다음 발표를 기다리는 방식으로는, 우리가 선택할 수 있는 미래가 계속 줄어들 것이라고 본다. 나는 한국과 일본이 필요한 기술을 직접 만들고, 동맹 안에서도 자기 조건을 제시할 수 있는 나라로 남았으면 한다.

그런 변화 없이 지금의 지위가 계속 유지되기를 기대한다면, 한국과 일본에 내가 바라는 미래는 없다고 생각한다. 안타깝게도.