Cara Seting Robots.txt Pada Blogger

Table of Contents

 

robots.txt adalah sebuah file teks sederhana yang ditempatkan di direktori root situs web yang digunakan untuk memberikan instruksi kepada web crawlers (robot perayap) atau spiders (robot pencari) mesin pencari tentang bagaimana mereka harus mengindeks dan merayapi halaman-halaman di situs web tersebut. File ini merupakan bagian dari protokol pengecualian robot (REP), yang merupakan standar yang diterapkan untuk mengelola perilaku robot perayap.

Bagaimana Cara Seting di Blogger?

Menyetel file robots.txt di Blogspot (Blogger) adalah cara yang efektif untuk mengontrol bagaimana mesin pencari mengindeks blog Anda. Berikut adalah langkah-langkah untuk mengatur robots.txt di Blogspot:

1. Masuk ke Akun Blogger:

   • Buka Blogger dan masuk dengan akun Google Anda.

2. Pilih Blog:

   • Pilih blog yang ingin Anda atur dari daftar blog yang Anda kelola.

3. Akses Pengaturan:

   • Di panel sebelah kiri, klik pada menu "Settings" (Pengaturan).

4. Custom robots.txt:

   • Gulir ke bawah hingga Anda menemukan bagian "Crawlers and indexing" (Perayap dan pengindeksan).
   • Temukan opsi "Enable custom robots.txt" (Aktifkan robots.txt khusus) dan aktifkan.

5. Edit Robots.txt:

   • Setelah mengaktifkan opsi tersebut, akan muncul sebuah tombol atau area teks untuk mengedit file robots.txt.
   • Klik pada "Custom robots.txt" untuk membuka editor.

6. Tambahkan Isi Robots.txt:

   • Anda sekarang bisa memasukkan aturan robots.txt sesuai kebutuhan Anda. Berikut adalah contoh dasar robots.txt:

     plaintext
     
     User-agent: *
     Disallow: /search
     Allow: /
     Sitemap: http://yourblog.blogspot.com/sitemap.xml
     

     Gantilah http://yourblog.blogspot.com dengan URL blog Anda.

7. Simpan Pengaturan:

   • Setelah selesai mengedit, klik "Save" (Simpan).

Contoh Isi Robots.txt:

1. Mengizinkan Semua Konten Kecuali Halaman Pencarian:

   plaintext
   
   User-agent: *
   Disallow: /search
   Allow: /
   Sitemap: http://yourblog.blogspot.com/sitemap.xml
   

2. Melarang Semua Konten:

   plaintext
   
   User-agent: *
   Disallow: /
   

3. Mengizinkan Semua Konten:

   plaintext
   
   User-agent: *
   Allow: /
   Sitemap: http://yourblog.blogspot.com/sitemap.xml
   

Tips Tambahan:

• Sitemap: Menyertakan peta situs (sitemap) dalam file robots.txt membantu mesin pencari menemukan dan mengindeks konten Anda dengan lebih efisien.
• Testing: Setelah mengatur file robots.txt, Anda bisa menguji aturan tersebut menggunakan alat pengujian robots.txt yang tersedia di Google Search Console.

Dengan mengikuti langkah-langkah di atas, Anda dapat dengan mudah mengatur file robots.txt di Blogspot untuk mengontrol bagaimana mesin pencari mengindeks blog Anda.