OpenAI發布GPTBot網頁爬蟲技術，能以透明方式蒐集AI訓練資料，此技術可辨識擷取內容，且網站管理者能透過robots.txt或限制IP選擇阻止GPTBot擷取。
為了解決從公開網頁環境擷取資料涉及隱私及著作權爭議，OpenAI宣布推出名為GPTBot的網頁爬蟲技術，將以更透明方式蒐集人工智慧訓練時所需資料。
OpenAI表示，GPTBot將以完整字串及代幣方式闡明其爬蟲機器人身分，同時其所抓取公開網頁資料僅用於改良未來人工智慧模型，並且剔除抓取需要付費使用內容。
不過，如果網頁經營維護者不希望被GPTBot擷取內容的話，例如網頁可能存放大量涉及個人隱私等內容，僅需在網頁架構中的robots.txt檔案加入「GPTBot」描述，或是自訂GPTBot可抓取內容，甚至OpenAI也提供直接透過限制IP存取範圍方式禁止GPTBot抓取網頁資料的方式，讓網頁經營維護者能避免內容被GPTBot抓取。
過去就有不少網頁透過設定，讓各家搜尋引擎無法透過爬蟲方式擷取網頁資料，而在人工智慧技術持續成長趨勢之下，越來越多人工智慧訓練仰賴大量公開資料進行學習，因此也加深許多網頁經營者擔心內容被用於人工智慧訓練，進而產生有價資料受影響，或是影響隱私安全等問題，因此要求人工智慧技術提供者必須以合理方式取用網頁資料。
1 則回應