ZMedia Purwodadi

Cara Seting Robots.txt Pada Blogger

Table of Contents

 


robots.txt adalah sebuah file teks sederhana yang ditempatkan di direktori root situs web yang digunakan untuk memberikan instruksi kepada web crawlers (robot perayap) atau spiders (robot pencari) mesin pencari tentang bagaimana mereka harus mengindeks dan merayapi halaman-halaman di situs web tersebut. File ini merupakan bagian dari protokol pengecualian robot (REP), yang merupakan standar yang diterapkan untuk mengelola perilaku robot perayap.


Bagaimana Cara Seting di Blogger?

Menyetel file robots.txt di Blogspot (Blogger) adalah cara yang efektif untuk mengontrol bagaimana mesin pencari mengindeks blog Anda. Berikut adalah langkah-langkah untuk mengatur robots.txt di Blogspot:

  1. Masuk ke Akun Blogger:

    • Buka Blogger dan masuk dengan akun Google Anda.
  2. Pilih Blog:

    • Pilih blog yang ingin Anda atur dari daftar blog yang Anda kelola.
  3. Akses Pengaturan:

    • Di panel sebelah kiri, klik pada menu "Settings" (Pengaturan).
  4. Custom robots.txt:

    • Gulir ke bawah hingga Anda menemukan bagian "Crawlers and indexing" (Perayap dan pengindeksan).
    • Temukan opsi "Enable custom robots.txt" (Aktifkan robots.txt khusus) dan aktifkan.
  5. Edit Robots.txt:

    • Setelah mengaktifkan opsi tersebut, akan muncul sebuah tombol atau area teks untuk mengedit file robots.txt.
    • Klik pada "Custom robots.txt" untuk membuka editor.
  6. Tambahkan Isi Robots.txt:

    • Anda sekarang bisa memasukkan aturan robots.txt sesuai kebutuhan Anda. Berikut adalah contoh dasar robots.txt:
      plaintext

      User-agent: * Disallow: /search Allow: / Sitemap: http://yourblog.blogspot.com/sitemap.xml
      Gantilah http://yourblog.blogspot.com dengan URL blog Anda.
  7. Simpan Pengaturan:

    • Setelah selesai mengedit, klik "Save" (Simpan).

Contoh Isi Robots.txt:

  1. Mengizinkan Semua Konten Kecuali Halaman Pencarian:

    plaintext

    User-agent: * Disallow: /search Allow: / Sitemap: http://yourblog.blogspot.com/sitemap.xml
  2. Melarang Semua Konten:

    plaintext

    User-agent: * Disallow: /
  3. Mengizinkan Semua Konten:

    plaintext

    User-agent: * Allow: / Sitemap: http://yourblog.blogspot.com/sitemap.xml

Tips Tambahan:

  • Sitemap: Menyertakan peta situs (sitemap) dalam file robots.txt membantu mesin pencari menemukan dan mengindeks konten Anda dengan lebih efisien.
  • Testing: Setelah mengatur file robots.txt, Anda bisa menguji aturan tersebut menggunakan alat pengujian robots.txt yang tersedia di Google Search Console.

Dengan mengikuti langkah-langkah di atas, Anda dapat dengan mudah mengatur file robots.txt di Blogspot untuk mengontrol bagaimana mesin pencari mengindeks blog Anda.

Post a Comment

PROMO JASA BACKLINK BOOSTRINDO

Optimalkan website Anda dengan Backlink dari Boostrindo! Promo hanya Rp. 50.000 per 1 artikel (per artikel max 2 link)!

Booking Sekarang

Ingin memesan jasa SEO, backlink, atau membutuhkan informasi lebih lanjut? Hubungi kami melalui WhatsApp!

Chat WhatsApp

Ingin memesan jasa SEO, backlink, atau membutuhkan informasi lebih lanjut? Hubungi kami melalui WhatsApp!

Chat WhatsApp

PROMO JASA BACKLINK BOOSTRINDO

Optimalkan website Anda dengan Backlink dari Boostrindo! Promo hanya Rp. 50.000 per 1 artikel (per artikel max 2 link)!

Booking Sekarang