Apa itu robots.txt?

Penjelasan

File ini selalu berada di alamat utama website, misalnya contoh.example/robots.txt. Perayap seperti Googlebot membacanya sebelum menjelajahi halaman lain. Isinya berupa aturan sederhana, misalnya “jangan buka folder admin”.

Ada hal penting yang sering disalahpahami: robots.txt tidak menyembunyikan halaman dari hasil pencarian. Menurut dokumentasi Google, halaman yang diblokir di robots.txt masih bisa muncul di hasil pencarian jika ada website lain yang menautkannya, hanya saja tanpa deskripsi. Untuk mencegah halaman tampil, gunakan tanda noindex (perintah agar halaman tidak disimpan) dan biarkan halaman itu tetap bisa dibaca perayap.

File ini juga bisa dipakai untuk mengatur perayap AI. Setiap perusahaan AI memakai nama perayap sendiri, sehingga Anda bisa memilih mana yang diizinkan.

Contoh

Sebuah agen properti di Bekasi heran karena websitenya hampir tidak muncul di Google. Ternyata developer lupa menghapus aturan yang memblokir seluruh website, sisa dari masa pembuatan. Setelah aturan itu dihapus, Google kembali bisa menjelajahi semua halaman.

Yang perlu Anda lakukan

• Buka alamat robots.txt di website Anda dan periksa isinya.
• Jangan memblokir file gambar, CSS, atau JavaScript (kode tampilan dan fitur halaman) yang dibutuhkan untuk menampilkan halaman.
• Gunakan noindex, bukan robots.txt, untuk halaman yang tidak ingin tampil di Google.
• Pelajari jenis-jenis perayap yang mengunjungi website Anda.