生成式AI被譽為可顛覆人類日常行為的新技術，但同時也衍伸出許多問題，其中又以圖像影音的濫用最為嚴重，利用AI假造名人不雅或非真實的照片與影片層出不窮，也經常被詐騙集團與認知作戰濫用，但更糟糕的是也難防利用生成式AI製造兒童色情照片或影片。對此以防止兒童性虐耊的非營利組織Thorn、促進道德與以人為本的非營利組織All Tech Is Human為首，包括亞馬遜、Anthropic、Civitai、Google、Meta、Metaphysical、微軟、Mistral AI、OpenAI 和Stability AI等技術公司，以及業務支援的Teleperformance等十家企業發表共同聲明，將確保生成式AI不被濫用於兒童情色領域。
▲Thorn擔心AI產生的兒童色情資料可能造成大眾忽略這樣的行為違法，希望透過與產業領導者合作避免這樣的情況發生
此份宣言旨在避免生成式AI被濫用於產生兒童情色資料，簽署協議的企業與組織將會在訓練資料中減策與刪除與兒童色情相關的資料，並向社會進行揭露，同時在產品與服務推出後，也會持續檢查是否產生兒童色情的資料；Thorn擔心生成式AI產生兒童色情的素材後，會使人們對兒童色情變的麻痺，進而漠視兒童色情的發生，導致產生實際的犯罪行為，希望透過與產業領導者合作，確保AI不被濫用在產生兒童色情資料。
