지능 폭팔, 준비해야 할 때

AI가 AI를 연구·개발하는 자동화가 빠르게 진행되면서, 수년의 AI 발전이 수개월 이하로 압축될 가능성인 ‘지능 폭발’이 새로운 핵심 이슈로 부상했다. 다만 현재 지능 폭발이나 완전한 재귀적 자기개선이 발생했다는 의미는 아니며, 이번 연구 역시 예비적 증거와 시나리오를 바탕으로 한 경고라는 점이 중요하다. 결국, AI 경쟁은 모델 성능을 넘어 ‘AI가 AI를 만드는 능력’과 이를 뒷받침하는 컴퓨팅, 데이터, 반도체, SW, 보안, 통제 인프라의 경쟁으로 확대될 가능성이 있어, 국가 차원의 AI 인프라 전략도 이 변화를 고려할 필요가 있다.

· 세계 AI 연구자 22명, ‘지능 폭발(Intelligence Explosion)’ 대비 촉구

  o   제프리 힌턴, 요슈아 벤지오, OpenAI·Anthropic·Microsoft·Meta 등의 연구진이 공동 참여.

  o   논문 제목은 「What if automating AI R&D triggers an intelligence explosion?」.

· 핵심 문제는 ‘AI가 AI를 개발하는 것’

  o   AI가 코드 작성뿐 아니라 모델 설계·실험·평가·연구자료 분석 등 AI R&D 자체를 자동화하는 속도가 빨라지고 있다는 분석.

· ‘재귀적 자기개선(RSI)’ 가능성에 주목

  o   AI가 더 나은 AI를 만들고 → 개선된 AI가 다시 더 뛰어난 AI를 만들면 → 발전 속도가 계속 빨라지는 자기증폭형 피드백 루프가 형성될 수 있다는 시나리오. 

· ‘지능 폭발’의 의미

  o   통상 수년이 걸릴 AI 기술 발전이 수개월 또는 그보다 짧은 기간에 압축될 수 있다는 개념.  

· 현재 AI의 R&D 자동화 수준도 빠르게 상승

  o   연구진이 인용한 Anthropic 자료에 따르면 AI가 작성한 코드가 개발자가 승인한 코드의 80% 이상까지 증가.

  o   AI가 높은 수준의 인간 감독만으로 수행한 R&D 업무 비중도 **2026년 3월 1% → 8월 26%**로 증가했다고 보고됨. 

· 일부 연구진은 향후 몇 년 내 AI R&D의 대부분 자동화 가능성을 검토

  o   복잡한 수개월짜리 AI R&D 프로젝트가 2년 안에 상당 부분 자동화될 가능성이 논문에서 논의됨.

  o   다만 이는 예측·시나리오이며 확정된 전망이 아님. 

· 인류에게 긍정적 효과도 가능

  o   신약 개발, 과학적 발견, 기술혁신 등이 매우 빠르게 진행될 가능성.

  o   즉 연구진은 지능 폭발 자체를 무조건적인 악으로 규정한 것이 아니라 막대한 편익과 위험이 동시에 발생할 수 있는 상황으로 분석함.  

· 가장 큰 위험은 ‘사회 적응 속도보다 AI 발전이 빨라지는 것’

  o   법·제도·정부·기업·사회가 AI 발전 속도를 따라가지 못할 가능성.

  o   사이버 공격, 바이오 위험, 노동시장 충격, 지정학적 불안정 등이 위험요소로 거론됨. 

· 극단적인 시나리오에서는 인간의 통제력 상실 가능성 제기

  o   인간이 AI R&D 과정에서 점점 배제되면서 초고도 AI의 행동을 제대로 감독하지 못할 가능성을 지적.

  o    논문은 가장 극단적인 경우 인류의 소외 또는 멸종까지 가능성으로 언급함.

[1]: https://casp.ac/reports/intelligence-explosion "CASP — Cambridge Programme on AI Science & Policy | University of Cambridge"
[2]: https://www.governance.ai/research-paper/what-if-automating-ai-r-d-triggers-an-intelligence-explosion "What If Automating AI R&D Triggers an Intelligence Explosion? | GovAI"
[3]: https://www.theguardian.com/technology/2026/sep/28/ai-godfathers-warn-of-runaway-intelligence-explosion "AI godfathers warn of runaway ‘intelligence explosion’ | AI (artificial intelligence) | The Guardian"
[4]: https://www.yna.co.kr/view/AKR20260929002500091 "주요 AI연구자 22명 \"AI 지능폭발 임박…통제 못하면 인류멸망\" | 연합뉴스"
[5]: https://sayer.news/article/hinton-bengio-among-22-coauthors-staking-a-formal-claim-on-an-ai-rd-intelligence-64226e99 "Hinton, Bengio among coauthors on AI R&D explosion paper · Sayer"
[6]: https://rsiprogress.com/ "RSI Progress — AI Recursive Self-Improvement"