Apa Fungsi File Robots.txt?
**Robots.txt Tester Online Gratis** adalah simulator untuk memahami bagaimana mesin pencari memproses instruksi di file `robots.txt` Anda. File ini adalah standar protokol pengecualian robot (REP) yang digunakan untuk memberi tahu web crawler bagian mana dari website Anda yang boleh atau tidak boleh diakses.
Mengapa Anda Harus Mengujinya?
Seringkali, kesalahan penulisan (typo) atau logika yang salah pada file robots.txt dapat menyebabkan Google memblokir seluruh website Anda secara tidak sengaja. Menggunakan alat pengujian ini membantu Anda memvalidasi aturan sebelum menerapkannya di server asli.
Aturan Dasar Robots.txt
- **User-agent:** Target bot tertentu (misalnya `Googlebot`).
- **Disallow:** Jalur folder atau file yang ingin dilarang.
- **Allow:** Jalur yang secara spesifik diizinkan (berguna untuk membuka akses folder di dalam folder yang di-Disallow).
- **Sitemap:** Memberi tahu bot di mana lokasi file sitemap XML Anda.
Cara Simulasi Aturan
Cukup tempelkan isi file robots.txt Anda di sisi kiri, lalu masukkan jalur URL yang ingin Anda periksa di sisi kanan. Pilih User-agent yang ingin Anda simulasikan, lalu klik tombol uji. Alat kami akan mengikuti urutan prioritas standar Google untuk menentukan apakah URL tersebut **ALLOWED** atau **BLOCKED**.