다리오 아모데이, "AI 지수함수 시대의 정책" 정리

https://darioamodei.com/post/policy-on-the-ai-exponential

Dario Amodei — Policy on the AI Exponential

 

다리오 아모데이, "AI 지수함수 시대의 정책" 정리ㄷ

요약

Anthropic CEO 다리오 아모데이가 2026년 6월에 낸 정책 에세이다. 주장은 하나로 모인다. 그동안 AI 안전 진영이 밀어온 "투명성 중심" 접근은 한계에 왔고, 이제는 강제력 있는 규제로 넘어가야 한다는 것이다.

지금까지의 방식은 기업이 위험을 스스로 공개하게 만드는 쪽이었다. 미국 캘리포니아의 SB 53, 뉴욕의 RAISE 법안 같은 것이 여기에 해당한다. 그런데 Claude Mythos Preview가 실제 사이버 위협 능력을 보이면서 위험이 말이 아니라 현실이 됐다. 아모데이는 이 시점을 정책을 바꿀 기회로 본다.

핵심 메시지는 이렇게 정리할 수 있다. "AI는 지수함수처럼 빨리 발전하는데 정책은 느리게 움직인다. 그 격차를 좁히려면 자율 공개에서 의무 규제로 단계를 올려야 한다." 이 글에서 그는 5개 정책 영역을 다시 설계하자고 제안한다.

---

핵심: 투명성에서 구속력으로

먼저 두 단계를 구분해 두면 글 전체가 쉽게 읽힌다.

• 투명성 단계: 기업이 위험 정보를 공개하게 한다. 강제는 약하다. 지금까지의 주류 접근이다.
• 구속력 단계: 정부가 기준을 정하고, 기준을 못 맞추면 배포를 막는다. 아모데이가 이제 가야 한다고 보는 단계다.

이 전환을 정당화하는 근거가 Mythos Preview 사례다. 위험이 가설이 아니라 입증된 능력으로 바뀌었기 때문에, 자율 공개만으로는 부족하다는 논리다.

---

5대 정책 영역

1. 규제와 공공안전 — "AI를 비행기처럼 다루자"

아모데이는 미국 연방항공청(FAA) 모델을 가져온다. 비행기는 안전 검사를 통과해야 뜬다. AI 프론티어 모델도 똑같이, 배포 전에 기술 심사와 감사를 거치고, 안전 기준을 못 맞추면 배포를 막자는 것이다.

구체적인 제안은 이렇다.

• 일정 수준 이상의 연산량으로 학습한 모델은 4대 리스크에 대해 제3자 의무 평가를 받는다. 4대 리스크는 사이버 보안, 생물무기, 통제 상실, 자동화 R&D다. 여기서 "통제 상실"은 AI가 사람의 통제를 벗어나는 위험, "자동화 R&D"는 AI가 스스로 더 강한 AI를 만들어내는 위험을 말한다. 참고로 실제 시행 중인 캘리포니아 SB 53은 학습에 10^26 FLOP(부동소수점 연산) 이상 들어간 모델을 프론티어 모델로 규정한다. 연산량이 곧 기준선이 되는 구조다.
• 정부가 배포를 막을 권한을 가진다. 다만 정치적으로 멋대로 쓰지 못하게 막는 장치도 같이 둔다.
• 평가는 정부기관이 직접 하거나, 인증받은 민간 평가기관이 한다. 후자를 "regulatory markets"라고 부른다. 정부가 다 떠안지 않고, 검증된 민간이 평가를 맡는 구조다.
• 모델 가중치(모델의 핵심 데이터) 보안, 정기 레드팀(취약점 공격 테스트), 안전사고 즉시 보고를 의무화한다.

여기서 가장 눈여겨볼 대목이 있다. 아모데이는 AI가 결국 "핵물질에 가까운 위험"이 될 수 있다고 본다. AI를 일반 소프트웨어 제품이 아니라, 핵물질만큼 위험한 물건으로 분류한다는 뜻이다.

이 비유의 무게가 핵심이다. 핵물질은 사람이 다루는 것 중 가장 위험한 축에 든다. 잘못 쓰이면 도시 하나를 날릴 수 있어서, 국가가 가장 엄격하게 다룬다. 아모데이는 강력한 AI가 그 수준의 파괴력에 도달할 수 있다고 본다. 사이버 공격, 생물무기 설계, 통제 상실 같은 경로로 대규모 피해를 낼 수 있다는 것이다.

그래서 규제 강도를 강하게 잡는 논리가 선다. 핵물질을 일반 공산품처럼 다루지 않듯, AI도 그렇게 다루면 안 된다는 것이다. 지금의 FAA식 사전 심사는 출발점이고, 위험이 핵물질 수준에 가까워질수록 규제도 그만큼 강해져야 한다는 입장이다. 다만 지금 당장 그 수준으로 묶자는 건 아니다. 현재 위험에 맞춰 설계하되, 위험이 커지면 단계를 올릴 수 있는 기반을 미리 깔아두자는 쪽이다.

2. 거시경제와 조세 — 성장과 불평등을 동시에

보통 경제는 "성장과 불평등 사이의 트레이드오프"가 있다고 본다. 둘 중 하나를 어느 정도 포기해야 한다는 통념이다. 아모데이는 강력한 AI가 이 통념 자체를 무력화할 수 있다고 본다. 초고속 성장이 일어나는 동시에, 노동시장이 영구적으로 흔들릴 수 있다는 것이다.

여기서 그가 짚는 위험이 하나 있다. 과거 기술 혁신은 일자리를 없애도 다른 곳에서 새 일자리를 만들어 충격을 흡수했다. 그 흡수 장치가 두 가지였다.

• 제번스 역설(Jevons paradox): 효율이 좋아지면 가격이 내려가고, 그러면 수요가 오히려 늘어나는 현상이다.
• 비교우위: 누군가 모든 걸 더 잘해도, 각자 상대적으로 잘하는 일에 집중하면 모두에게 일이 남는다는 무역 이론이다.

문제는 AI가 이 두 장치로 흡수되지 않을 위험이 있다는 점이다. 이 경우 정책으로 보완해야 한다. 권고는 단계별로 나뉜다.

• 측정·추적: 정부가 경제 통계를 더 넓게 잡는다. 무슨 일이 벌어지는지 먼저 봐야 대응한다.
• 고용 친화적 인센티브: 임금보험, 고용유지 세제, 직업훈련 보조금.
• 장기 거시 지원: 기본소득(UBI), 보편적 자본계좌(국민 모두에게 자본 자산을 배분하는 구조), 자본이득세 확대. 재원은 AI 기업 과세에서 끌어온다.

데이터센터가 늘면서 전기요금이 오르는 문제도 다룬다. 아모데이는 이 부담을 AI 기업이 흡수해야 한다고 보고, Anthropic은 이미 그렇게 하겠다고 서약했다고 밝힌다. 데이터센터에 대한 대중의 반감은 사실 더 넓은 경제 불안이 다른 통로로 터져 나온 것이라고 진단한다.

3. AI의 긍정적 영향 가속화 — 여기서는 규제가 발목

앞 두 영역과 방향이 반대다. AI 자체는 규제를 강화하자고 했지만, AI가 속도를 붙여줄 하방 산업에서는 규제가 발목을 잡는 게 더 큰 위험이라고 본다. 바이오메디컬, 에너지, 소재 같은 분야다.

대표 사례가 신약 승인이다. FDA(미국)나 EMA(유럽)의 신약 승인은 7~8년이 걸린다. AI가 연구 속도를 끌어올리는 시대에는 이 속도가 맞지 않는다는 것이다.

그래서 제안하는 개혁은 이렇다.

• AI 기반의 약물 분석 방법들에 대한 표준을 미리 만들어 둔다. 약물이 몸에서 어떻게 작용하는지 예측하는 모델링, 독성 예측, 용량 선택, 바이오마커 검증, 합성 대조군, 대리 종점 같은 것들이다. 여기서 "대리 종점"은 최종 결과(예: 사망률)를 직접 보는 대신, 그것을 대신할 지표로 효과를 판단하는 방식이다. 특히 노화와 신경퇴행 분야에서 중요하다.
• 가속 승인 제도를 더 유연하게 만든다. AI 덕분에 "갑자기 잘 듣는 치료법"이 한꺼번에 여러 개 나올 수 있는데, 그때 승인 절차가 병목이 되면 안 된다는 논리다.

4. 국가 권력과 시민 자유 — 권력의 균형이 흔들린다

강력한 AI는 권력의 무게중심을 바꾼다. 자율 무기, 대규모 감시, 정보 비대칭 같은 경로로 누군가 권력을 가져갈 수 있는데, 기존 헌법과 법률이 이런 경로를 미처 못 잡는다는 것이다.

권고는 다음과 같다.

• 자율무기 책임성: 자율 무기도 헌법과 지휘 책임 구조를 따르게 한다. 법원 명령, 입법, 사람 감독자의 응답 같은 절차를 지켜야 한다.
• 국내 자율무기 사용 금지: 법 집행 영역을 포함해 국내에서는 자율 무기를 쓰지 않는다.
• 데이터 브로커 허점 차단: 민간기업이 모아둔 데이터를 대량 분석해 감시에 쓰는 길을 막는다.
• 시민의 AI 자문 접근권 보장: 정부가 시민을 상대로 불리한 조치를 할 때, 시민이 AI의 도움을 받을 권리를 보장한다. 미국 행정절차법과 수정헌법 6조(변호인 조력권 등)를 확장하는 방향이다.

기업도 권력이 한쪽으로 쏠리는 주체가 될 수 있다. 그래서 Anthropic이 운영하는 Long-Term Benefit Trust 같은 구조를 더 넓히자고 제안한다. 회사의 장기 이익과 공익을 지키도록 설계된 거버넌스 구조다.

5. 민주주의 진영의 리더십 — AI는 통상이 아니라 안보

아모데이는 AI를 통상정책의 도구로 보지 말라고 한다. 핵무기에 준하거나 그 이상의 지정학 변수라는 것이다. AI를 가진 나라와 못 가진 나라(또는 3년 뒤처진 나라) 사이의 격차를 "2차대전 해병대 vs 중세 검사"에 비유한다. 그만큼 차이가 크다는 뜻이다.

그가 제안하는 민주주의 연합 구축 원칙은 이렇다.

• 공급망 통제: 칩과 반도체 장비(SME)를 연합 안에서는 공유하고, 밖으로는 차단한다. 기존 수출통제 법안(MATCH, OVERWATCH)을 확장하는 방향이다.
• 위험 대응 국제 공조: 위험에 함께 대응한다.
• 혜택 공유: 개도국과 의약품 승인 기준을 맞추는 등 이익을 나눈다.
• 상호 방위: AI 사이버 방어, 드론, 제조, 정보 공유에서 협력한다.
• AI 기반 억압 거부: AI를 시민 억압에 쓰는 것을 거부한다.
• 거시경제 협력: 한 나라의 고용 충격이 다른 나라로 번지는 것에 대비한다.

방식은 점진적이다. 이념이 맞는 민주국가부터 시작한다. 연합에 들어오면 이점을 크게 주고, 안 들어오면 비용이 분명하게 들도록 설계해 연합을 넓혀가자는 것이다.

---

투자 관점에서 본 신호

이 에세이는 정책 문서지만, 투자 입장에서 읽으면 신호가 여러 개 잡힌다.

첫째, 반도체 공급망이 '클럽 모델'로 굳어진다. 클럽 모델은 회원제 클럽을 떠올리면 쉽다. 회원끼리는 자유롭게 거래하고 혜택을 나누지만, 회원이 아니면 아예 들이지 않는 구조다. 여기서 회원은 민주주의 연합에 속한 나라, 비회원은 중국 같은 나라다. MATCH, OVERWATCH 법안을 직접 언급하며 수출통제 확장을 지지했다. 연합국 안에서는 칩과 장비를 자유롭게 공유하고, 비연합국에는 원천 차단하는 구조다. 디커플링이 일시적 조치가 아니라 제도로 굳어진다는 뜻이다. 한국의 삼성전자·SK하이닉스, 네덜란드의 ASML 같은 핵심 공급망 기업은 이 연합 체제에 편입돼 동맹 중심 매출 구조와 리쇼어링 압력을 받게 된다. HBM 같은 핵심 메모리도 이 클럽 안에서 배분되는 흐름이 강해진다.

둘째, 연산량 임계치는 그 자체로 진입장벽이 된다. 일정 연산량 이상 모델에 의무 평가를 매기면, 그 비용을 감당할 수 있는 곳은 결국 빅테크다. 평가·레드팀·보고 의무가 붙으면 컴플라이언스 비용이 새로 드는데, 이건 자본이 두꺼운 진영(Anthropic·구글·MS 등)에 유리한 해자로 작용한다. 반대로 중소 AI 스타트업은 기준을 맞추기 어려워 시장 진입이 더 막힐 수 있다. 임계치 규제가 기술 안전장치인 동시에 시장 구조를 빅테크 쪽으로 굳히는 장치라는 점을 같이 봐야 한다.

셋째, 전력·에너지 밸류체인이 AI 산업의 핵심 종속 변수다. 데이터센터 전기요금 인상분을 AI 기업이 흡수하겠다는 서약은 사회적 책임 선언에 그치지 않는다. 빅테크가 전력망 인프라 확보에 직접 자본을 넣고 비용을 통제하겠다는 신호로 읽을 수 있다. 원자력, 소형 모듈 원전(SMR), 신재생 에너지가 AI 수요에 묶이는 흐름을 눈여겨볼 지점이다. CEO가 전력을 AI 산업의 핵심 변수로 공식 인정한 셈이다.

넷째, 'Regulatory Markets'는 새로운 섹터를 연다. 정부가 직접 평가하지 않고 인증받은 민간 기관이 평가를 맡는 구조다. 모델의 보안, 생물무기 위험, 사이버 위협을 전문적으로 감사·평가하는 'AI 인증·보안 감사' 기업이 신생 고성장 섹터로 떠오를 수 있다. 표준을 먼저 선점하는 곳이 유리하다.

다섯째, FDA 규제 개혁은 AI 신약 파이프라인 수혜로 이어진다. 신약 승인 속도를 끌어올리는 방향이므로, 미리 수혜 영역을 식별해 둘 수 있다.

여섯째, 고용 충격 대응 입법은 세제 변화로 연결된다. 재원을 AI 기업 과세에서 끌어온다고 했으므로, 자본이득세와 법인세 인상 가능성을 거시 시나리오에 넣어둘 필요가 있다.

---

정리

아모데이는 지금을 정책을 바꿀 윈도우가 열린 시점으로 본다. 글에서는 "Treebeard(나무수염)가 깨어나는 시점"이라고 표현한다. 여기서 Treebeard는 AI 기업이 아니라 정부와 규제 당국을 가리킨다. 평소에는 느리고 신중하게 움직이지만 한번 깨어나면 강력하게 밀어붙이는 입법·규제 메커니즘을 비유한 것이다. 잠자던 규제가 마침내 움직이기 시작했다는 뜻이다.

그 배경에는 Mythos Preview의 사이버 위협 입증, 노동시장 충격(메타 정리해고 등), 규제를 지지하는 대중 여론, 트럼프 행정부의 행정명령이 겹쳐 있다.

Anthropic은 이 에세이와 함께 두 가지를 같이 냈다. 하나는 프론티어 모델 테스트 입법안, 다른 하나는 일자리 대체 정책 프레임워크다. 말만 한 게 아니라 실질적인 재정 지원 의사도 밝혔다.

한 줄로 줄이면 이렇다. AI 규제의 "투명성 단계"가 끝나고 "구속력 단계"로 넘어간다는 것을 공식화한 문서다. 투자자라면 반도체 공급망 클럽 모델, 연산량 임계치라는 진입장벽, 전력·에너지 종속, Regulatory Markets 신생 섹터, FDA 개혁 수혜, 세제 변화. 이 여섯 가지를 체크리스트로 들고 가면 된다.