Penguji Robots.txt
Uji apakah URL Anda diblokir oleh robots.txt. Tempel file Anda, masukkan jalur URL, dan periksa akses untuk Googlebot, Bingbot, atau GPTBot.
Alat ini berjalan sepenuhnya di browser Anda. Tidak ada data yang dikirim ke server mana pun.
Temukan robots.txt Anda di: domainanda.com/robots.txt
URL tidak diblokir tetapi tetap tidak terindeks?
Jika robots.txt Anda tidak memblokir halaman tetapi Google masih belum mengindeksnya, gunakan IndexBolt untuk membuatnya dirayapi dalam hitungan jam.
Pertanyaan yang Sering Diajukan
Apa itu file robots.txt?+
File robots.txt adalah file teks di root situs web Anda (mis. example.com/robots.txt) yang memberi tahu perayap mesin telusur halaman mana yang boleh dan tidak boleh diakses. Ini adalah bagian penting dari Robots Exclusion Protocol.
Apakah robots.txt mencegah halaman terindeks?+
Tidak persis. Robots.txt mencegah perayapan, bukan pengindeksan. Jika situs lain menautkan ke halaman yang diblokir, Google mungkin tetap mengindeks URL tersebut (menampilkannya di hasil tanpa deskripsi). Untuk mencegah pengindeksan, gunakan meta tag noindex sebagai gantinya.
Apa arti 'Disallow: /' dalam robots.txt?+
Disallow: / memblokir seluruh situs agar tidak dirayapi oleh user-agent yang ditentukan. Jika diterapkan ke semua user-agent (User-agent: *), tidak ada perayap mesin telusur yang dapat mengakses halaman mana pun di situs Anda.
Bagaimana pencocokan pola robots.txt bekerja?+
Robots.txt menggunakan pencocokan pola sederhana. * mencocokkan urutan karakter apa pun, dan $ menambatkan ke akhir URL. Misalnya, Disallow: /*.pdf$ memblokir semua URL yang berakhiran .pdf. Saat beberapa aturan cocok, pola yang paling spesifik (terpanjang) menang.
Bisakah saya memblokir bot tertentu seperti GPTBot?+
Ya. Tambahkan bagian User-agent: GPTBot dengan Disallow: / untuk memblokir perayap OpenAI. Demikian pula, Anda dapat menargetkan Googlebot, Bingbot, atau perayap spesifik apa pun berdasarkan nama. Setiap bot hanya membaca aturan di bagiannya sendiri (atau bagian * sebagai cadangan).