제목: Anthropic, AI가 곧 인간의 개입 없이 스스로 발전할 수 있다 경고하며 글로벌 개발 중단 촉구
요약: Anthropic이 자사 AI 모델의 속도와 발전 가능성을 새로이 경고하는 글을 공개했습니다. 인간의 개입 없이도 AI가 스스로 개선될 수 있는 가능성이 다가오고 있으며, 이는 IPO를 앞둔 상황에서 업계 전체의 개발 일시 중단을 촉구하는 목소리로 이어지고 있습니다. 저자들은 Claude가 코드의 다수 작업을 담당하고 있으며 2025년 이후 분기당 배포 코드가 크게 늘었다고 지적합니다. 아직 임계점을 넘기진 못했지만, 안전장치가 미흡하면 인간이 AI 개발을 의미 있게 통제하기가 더 어려워질 수 있다고 경고합니다.
자세한 내용:
- 저자 Marina Favaro와 Jack Clark에 따르면 Anthropic의 AI 개발은 이미 큰 방향으로 바뀌었고, Claude가 코드의 80% 이상을 작성하고 있습니다. 또한 2025년 이후 분기당 코드 배포 규모가 대략 8배 수준으로 증가했습니다. 이러한 흐름은 AI 시스템이 스스로 후속 시스템을 설계·구현·훈련하는 재귀적 자기 개선의 가능성으로 이어지고 있습니다.
- 이 임계점이 아직 도달하진 않았지만, 충분한 안전장치가 없다면 인간이 AI 개발을 통제하는 일이 크게 더 어렵게 될 수 있어 “더욱 준비된 상태”의 조치가 필요하다고 경고합니다. Anthropic은 여러 연구실이 같은 조건 하에 개발 중지를 합의한다면 업계 차원의 일시 중지를 촉구한다는 입장을 밝혔지만, OpenAI, 구글, xAI, 메타 등 경쟁사들이 이 합의에 실제로 동참할지는 불투명합니다.
- 한편 Anthropic은 IPO를 준비하는 과정에서 최근 몇 주 사이에 소식이 이어졌습니다. 비밀 서류를 제출해 IPO를 준비 중이라는 사실이 알려졌고, 회사의 가치는 약 9650억 달러로 평가되었습니다. 그럼에도 조직의 안전 정책에 관한 논쟁은 계속되고 있습니다. 2월 Time지는 Anthropic이 안전에 관한 공약을 대폭 수정했고, “Responsible Scaling Policy”의 핵심 약속을 없앴다고 보도했습니다. 당시 최고 과학 책임자 Jared Kaplan은 경쟁사들이 앞서 나가고 있을 때 단일적으로 학습을 중단하는 것이 실제로 도움이 되지 않는다고 말했습니다.
- Anthropic은 정책의 수정이 정치·경쟁 구도의 변화에 대한 현실적 대응의 결과이며 시장 압력에 굴복한 것은 아니라고 주장합니다. 새 정책은 투명성 강화와 경쟁사의 안전 노력을 따라잡는 것을 목표로 하지만, 자체 규칙에 의해 이전보다 훨씬 자유로운 형태로 운영될 여지를 남깁니다.
- 이번 글의 핵심은 무엇보다도 AI 안전에 관한 의미 있는 심의의 창이 좁아지고 있다는 판단입니다. Anthropic은 향후 수개월 안에 정책입안자, 연구자, 시민사회 대표를 모아 재귀적 자기 개선이 제기하는 질문들을 함께 논의하겠다고 밝혔습니다. 저자들은 “함께 이 문제를 탐구할 기회가 여기에 있다”고 강조하며, AI 기업 밖의 사람들이 이 논의에 참여해야 한다고 덧붙였습니다.
원문 링크: https://tech.yahoo.com/ai/claude/articles/anthropic-warns-ai-could-soon-142753206.html