Apa itu perayap?

Penjelasan

Perayap berpindah dari satu halaman ke halaman lain lewat tautan, lalu mengirim isi halaman yang ditemukan ke mesin pencari. Tanpa kunjungan perayap, halaman Anda tidak bisa disimpan dan ditampilkan.

Ada banyak perayap. Googlebot milik Google. Bingbot milik Microsoft, dan indeks Bing juga dipakai oleh layanan seperti Copilot. Perusahaan AI juga punya perayap sendiri, misalnya OAI-SearchBot milik OpenAI untuk fitur pencarian di ChatGPT. Masing-masing bisa Anda atur lewat file robots.txt.

Perayap punya keterbatasan. Halaman yang lambat, sering error, atau isinya baru muncul setelah kode JavaScript (kode yang menjalankan fitur di halaman) selesai berjalan bisa lebih sulit dibaca. Sebagian perayap AI tidak menjalankan JavaScript, jadi isi penting sebaiknya langsung tersedia di kode halaman.

Contoh

Sebuah toko online perhiasan perak di Yogyakarta membangun websitenya sehingga deskripsi produk baru muncul setelah kode di browser selesai berjalan. Googlebot masih bisa membacanya, tetapi sebagian perayap AI hanya melihat halaman kosong. Setelah deskripsi produk dikirim langsung dalam kode halaman, semua perayap bisa membacanya.

Yang perlu Anda lakukan

• Periksa file robots.txt dan putuskan perayap mana yang Anda izinkan.
• Jangan memblokir perayap pencarian AI jika Anda ingin disebut di jawaban AI.
• Sajikan teks penting langsung di halaman, bukan hanya di dalam gambar atau lewat kode yang dijalankan belakangan.
• Gunakan laporan statistik perayapan di Google Search Console untuk melihat kunjungan Googlebot.