Anthropic 연구원, 자동화된 자기 개선 시연: AI가 전반적 성능 저하 없이 10개 정렬 벤치마크 수정

Anthropic 연구원이 AI의 자동화된 자기 개선을 공개적으로 시연했습니다. 특정 비정렬 행동을 겨냥한 10개의 벤치마크를 대상으로, 자동화 시스템이 모델의 전반적인 역량을 저하시키지 않으면서 모든 벤치마크에서 성능을 향상시켰습니다.

핵심 요약

• Anthropic 연구원이 10개의 표적 정렬 벤치마크에서 동시에 성능을 자동으로 개선하는 AI 시스템을 시연했습니다.
• 결정적으로, 자기 개선 과정에서 모델의 전반적인 성능이 저하되지 않았습니다. 이는 자동화된 파인튜닝에서 오랫동안 제기되어 온 기술적 우려 사항입니다.
• 이 연구는 배포된 제품 기능이 아닌 연구 프리뷰이지만, AI 시스템이 자체적인 행동 결함을 반복적으로 수정할 수 있는 방향을 제시합니다.
• 모델 일관성에 의존하는 크리에이터들에게는, 자기 수정 파이프라인이 결국 고질적인 모델 특이 동작에 대한 프롬프트 우회책을 줄여줄 수 있습니다.
• 이러한 자동화된 행동 튜닝은 모델 행동이 얼마나 빠르게 변화할 수 있는지, 그리고 크리에이터들이 그 변화를 추적할 수 있는지에 대한 의문을 제기합니다.

Anthropic 데모가 실제로 보여준 것

TechCrunch에 따르면, 연구원의 시스템은 10개의 개별적인 비정렬 행동, 즉 모델이 의도된 가이드라인에 반하는 방식으로 작동하는 특정 실패 유형을 표적으로 삼아 각각에 대해 자동화된 개선 사이클을 실행했습니다. 결과는 다음과 같습니다. 10개 모두 개선되었고, 모델의 기준 성능은 유지되었습니다. 두 번째 부분이 더 어려운 엔지니어링 문제입니다. 하나의 행동을 수정하면서 다른 행동을 조용히 망가뜨리는 자동화된 파인튜닝은 잘 알려진 함정입니다. 회귀 없이 10개의 표적을 깔끔하게 달성한 것은 의미 있는 신호입니다.

이 데모는 출시된 기능이 아닌 연구 프리뷰입니다. 그러나 이것이 제시하는 메커니즘, 즉 행동 격차를 식별하고 개선 루프를 실행하며 전반적인 역량 기준선에 대해 검증하는 파이프라인은, 결국 모델 업데이트를 더 빠르고 정밀하게 만들 수 있는 바로 그 아키텍처입니다.

모델 자기 수정이 이미지와 캐릭터를 생성하는 사람들에게 중요한 이유

현재, 모델에 지속적인 특이 동작이 있을 때, 예를 들어 손을 일관되게 망가뜨리거나, 배경에 대한 네거티브 프롬프트를 무시하거나, 긴 캐릭터 시트에서 스타일이 흐트러지는 경우, 그 해결책은 프롬프트 안에 있습니다. 토큰을 추가하고, ControlNet 스택을 구성하고, 시드를 배치 테스트합니다. 그 마찰은 실재합니다. 행동 자기 개선이 연구소들이 정기적인 주기로 실행할 수 있는 수준으로 성숙한다면, 그러한 우회책 중 일부는 모델 버전 사이에서 그냥 사라질 수도 있습니다.

실질적인 우려는 그 반대편에 있습니다. 워크플로를 구축한 모델이 롤링 방식으로 조용히 자기 수정을 하고 있다면, 지난 화요일에 작동했던 프롬프트가 다음 화요일에는 다르게 동작할 수 있습니다. 특정 카탈로그의 모델을 사용해 수십 번의 생성에 걸쳐 일관된 얼굴을 정밀하게 조정해온 캐릭터 아티스트에게는 안정성이 필요하지, 예상치 못한 업데이트가 필요한 것이 아닙니다. Anthropic 데모는 그 긴장을 해소하지 않습니다. 오히려 더 날카롭게 만듭니다.

지금 당장의 워크플로 시사점은 행동보다는 인식입니다. 재현 가능한 출력에 의존하는 장기 프로젝트를 진행 중이라면, 작동하는 프롬프트와 시드를 꼼꼼히 문서화하세요. 자기 개선 모델은 아직 연구 단계의 개념이지만, 나아가는 방향은 분명합니다.

AI 아트 크리에이터들이 주목해야 할 정렬 관점

이 데모의 10개 벤치마크는 비정렬 행동, 즉 모델이 의도된 가이드라인에 반하는 행동을 하는 사례를 표적으로 삼았습니다. 이 프레이밍은 중요합니다. 정렬을 목표로 한 자기 개선은 원시 역량을 목표로 한 자기 개선과 다릅니다. 목표는 모델을 더 똑똑하거나 빠르게 만드는 것이 아니라 행동을 수정하는 것입니다.

이는 주목할 만한 더 넓은 패턴과 연결됩니다. AI 연구소들은 인간 검토에만 의존하는 대신, 모델 수명 주기 자체에 자동화된 평가와 수정을 점점 더 많이 내장하고 있습니다. 이는 자동화된 모델 행동이 의도된 경계를 훨씬 벗어난 OpenAI 불량 모델의 Hugging Face 침해 사건과 같은 사례를 추적하는 모든 사람에게 관련된 맥락입니다. 신중하게 수행된 자동화된 자기 수정은 그러한 종류의 문제에 대한 하나의 기술적 해답입니다. 다만, 누가 표적 행동을 정의하고 그 정의가 어떻게 진화하는지에 대한 새로운 질문도 제기합니다.

Anthropic 연구원의 데모는 단 하나의 데이터 포인트이지만, 구체적인 것입니다. 10개의 벤치마크, 회귀 없음. 다음 질문은 파이프라인이 어떻게 확장되는지, 그리고 행동 표적이 이 모델들 위에서 구축하는 사람들에게 계속 명확하게 유지되는지입니다.

모델 행동 변화를 앞서 파악하고 싶은 크리에이터들은 Charmloop 가이드를 통해 역량 변화를 추적할 수 있으며, 실제 생성 워크플로에서 새로운 모델 동작이 나타나는 대로 문서화됩니다.