출처
나만의 작품으로
이 이야기에서 영감을 받으셨나요? 그 아이디어를 단 몇 초 만에 나만의 AI 아트로 만들어 보세요. 무료로 시작할 수 있고, 카드 등록도 필요 없습니다.
무료로 만들기 시작이 소식에 대해 이야기 나누기
컴패니언을 선택하고 이 소식에 대한 생각을 들어보세요

Maya는 새 모델이 나올 때마다 직접 벤치마크합니다 — 숫자가 먼저, 과장은 없습니다.
이 이야기에서 영감을 받으셨나요? 그 아이디어를 단 몇 초 만에 나만의 AI 아트로 만들어 보세요. 무료로 시작할 수 있고, 카드 등록도 필요 없습니다.
무료로 만들기 시작컴패니언을 선택하고 이 소식에 대한 생각을 들어보세요
한 보안 연구원이 개인 식별 정보를 포함한 개인 사용자 데이터가 공개적으로 사용 가능한 AI 모델의 출력에서 추출될 수 있음을 입증하여 AI 공급망의 중요한 취약점을 드러냈습니다. 이는 이미지 또는 캐릭터 생성을 위해 AI 모델을 사용하는 창작자들이 훈련 데이터에 포함된 경우 의도치 않게 개인 데이터를 노출할 수 있음을 의미합니다.\n\n## 주요 내용\n\n* 한 연구원이 공개적으로 사용 가능한 AI 모델 훈련 데이터 세트에 200만 개의 고유하고 추적 가능한 '카나리아'(비밀 데이터 포인트)를 삽입했습니다.\n* 이 카나리아들은 여러 인기 AI 모델의 출력에서 성공적으로 추출되어 개인 데이터가 충분히 익명화되거나 보안되지 않았음을 입증했습니다.\n* 이 연구 결과는 AI 모델 훈련에 사용되는 데이터의 개인에게 시스템적인 개인 정보 보호 위험이 있음을 강조하며, 심지어 모델과 직접 상호 작용하지 않는 경우에도 마찬가지입니다.\n* AI 아트 창작자들에게는 이는 그들이 사용하는 플랫폼과 모델의 데이터 거버넌스 정책을 면밀히 검토하는 것이 중요함을 강조합니다. 그들의 프롬프트와 생성된 콘텐츠도 위험에 처할 수 있기 때문입니다.\n\n## 카나리아 함정: AI 모델에서 데이터가 유출되는 방법\n\n익명을 유지하기로 선택한 연구원은 AI 모델 훈련에 일반적으로 사용되는 다양한 공개 데이터 세트에 약 200만 개의 고유한 '카나리아'를 체계적으로 주입했습니다. 이 카나리아들은 실제 개인 데이터 포인트를 모방하여 독특하고 추적 가능하도록 설계되었습니다. 목표는 이러한 심어진 비밀이 해당 데이터 세트로 훈련된 AI 모델의 출력에서 다시 나타나는지 확인하는 것이었습니다. 실험 결과, 대규모 언어 모델(LLM) 및 이미지 생성 모델을 포함한 여러 모델에서 상당한 추출률로 다시 나타났음이 확인되었습니다. 이는 이론적인 것이 아닙니다. 특정 이름, 이메일 주소 및 기타 민감한 정보가 복구되었습니다.\n\n이러한 유출의 메커니즘은 종종 훈련 중 불충분한 데이터 익명화와 모델이 훈련 데이터의 일부를 기억하고 재현하는 경향의 조합입니다. AI 개발자들은 종종 민감한 정보를 필터링하거나 익명화한다고 주장하지만, 이 연구는 그러한 조치가 충분히 강력하지 않음을 나타냅니다. 창작자들에게 이는 개인 데이터 또는 독점적인 이미지 자산이 어떤 식으로든 모델의 훈련 세트에 입력되면, 다른 사용자가 생성한 출력에서 해당 데이터가 재현될 실질적인 위험이 있음을 의미합니다.\n\n## AI 아트 창작자와 데이터 보안에 대한 시사점\n\n이 취약점은 단순한 텍스트 프롬프트를 넘어섭니다. 이미지나 캐릭터를 생성하는 AI 아트 창작자들에게는 직접적인 의미가 있습니다. 훈련 데이터에 포함된 고유한 스타일 요소, 독점적인 모티프 또는 심지어 내장된 메타데이터도 잠재적으로 재현될 수 있습니다. 이는 데이터가 모델에 흡수되면 통제하기 어려운 방식으로 지적 재산권과 개인 정보 보호의 경계를 모호하게 만듭니다. 또한 대화 데이터가 이론적으로 기억되고 반복될 수 있는 AI 동반자 사용자에게도 우려를 제기합니다.\n\nCharmloop과 같이 AI 이미지 생성 도구를 제공하는 플랫폼은 종종 기반 모델에 의존하거나 추가 데이터 세트로 미세 조정합니다. 이러한 기본 데이터 세트의 투명성과 데이터 거버넌스 정책은 매우 중요해집니다. 창작자들은 많은 AI 모델의 '블랙박스' 특성으로 인해 데이터가 흡수되면 그 운명이 대부분 통제 불능 상태가 된다는 점을 인지해야 합니다. 이는 모델 및 플랫폼 선택을 단순한 창의적인 결정이 아닌 중요한 개인 정보 보호 결정으로 만듭니다.\n\n## 더 강력한 AI 데이터 거버넌스 요구\n\nArs Technica에 따르면, 연구원의 발견은 "누출되는 AI 공급망"이 비밀 사용자 데이터를 놀라운 속도로 노출하고 있음을 지적합니다. 이는 더 엄격한 데이터 거버넌스 관행, 더 나은 익명화 기술, 그리고 AI 개발자들의 훈련 데이터 소스 및 개인 정보 보호 장치에 대한 더 명확한 공개의 시급한 필요성을 강조합니다. 규제 기관은 AI 데이터 관행을 점점 더 면밀히 조사하고 있지만, 기술 솔루션은 뒤처지고 있습니다. 더 강력한 보호 조치가 마련될 때까지 창작자들은 아무리 모호해 보이는 데이터라도 AI 모델의 출력에서 잠재적으로 추출될 수 있다고 가정해야 합니다. 이는 창작자들이 자신의 작품을 라이선스하거나 공개 데이터 세트에 기여하는 방식에 영향을 미칠 수 있으며, 특히 고유한 스타일이나 개인 브랜딩에 의존하는 사람들에게는 더욱 그렇습니다.\n\n이 연구는 AI 시대의 데이터 개인 정보 보호가 사용자, 개발자 및 규제 기관 모두의 경계를 요구하는 공동 책임이라는 생각을 강화합니다. AI 모델이 더욱 정교해지고 일상적인 창의적 워크플로에 통합됨에 따라 기본 데이터의 보안을 보장하는 것은 지속적인 과제가 될 것입니다. 투명한 데이터 정책을 가진 모델을 찾는 창작자들은 훈련 데이터 소스에 대한 더 많은 통찰력을 제공하는 오픈 웨이트 AI 모델을 탐색할 수 있습니다.