OpenAI Sebut Aturan Robots.txt Abaikan ChatGPT-User, Akses Situs Web

Bot pengambil halaman milik ChatGPT tercatat sebagai agen kecerdasan buatan paling banyak dibatasi oleh berbagai situs web dibandingkan bot sejenis lainnya. Laporan terbaru TollBit untuk paruh pertama tahun 2026 menunjukkan agen bernama ChatGPT-User sering kali menjangkau halaman web yang sudah diberi tanda larangan atau disallowed.

Berdasarkan analisis TollBit, sekitar 15 persen situs web di Eropa diakses oleh pengambil halaman AI meskipun URL tersebut sudah masuk dalam daftar larangan. Dari sekian banyak agen penjelajah, ChatGPT-User bersama Bytespider dan Youbot tercatat paling sering menembus halaman terlarang pada hampir separuh situs Eropa yang menerapkannya.

Dokumentasi resmi dari OpenAI menyebut bahwa ChatGPT-User mengunjungi halaman ketika seorang pengguna ChatGPT mengajukan pertanyaan tertentu. Karena tindakan tersebut diinisiasi langsung oleh perintah pengguna, aturan pembatasan pada file robots.txt dinilai tidak serta-merta berlaku secara mutlak.

Di sisi lain, perusahaan teknologi Perplexity memberlakukan kebijakan serupa dengan mengabaikan file tersebut atas alasan yang sama. Namun, Anthropic mengambil sikap berbeda dengan memastikan seluruh bot milik mereka mematuhi aturan pembatasan yang ditetapkan oleh pengelola situs.

Pengamat industri digital mencatat bahwa kebiasaan mengabaikan pembatasan ini menimbulkan tantangan baru bagi pemilik situs web dalam mengontrol lalu lintas data. Penggunaan teknologi penyaringan tingkat jaringan seperti pembaruan Cloudflare kini mulai diandalkan untuk mengatur lalu lintas bot pelatihan maupun bot pencari.