Cara Seting Robots.txt Pada Wordpress

Table of Contents

 

Apa itu robots.txt?

robots.txt adalah file teks sederhana yang ditempatkan di direktori root situs web. File ini digunakan untuk memberikan instruksi kepada web crawlers (robot perayap) tentang bagaimana mereka harus mengindeks dan merayapi halaman-halaman di situs web tersebut. Ini adalah bagian dari protokol pengecualian robot (REP), yang membantu pemilik situs web mengontrol perilaku robot perayap.

Fungsi Utama:

1. Mengontrol Akses: Membatasi atau mengizinkan robot perayap untuk mengakses bagian-bagian tertentu dari situs web.
2. Menghindari Duplikasi Konten: Mengarahkan robot perayap untuk tidak mengindeks halaman-halaman yang tidak diinginkan atau duplikat.
3. Melindungi Data Sensitif: Menyediakan instruksi untuk tidak mengindeks halaman yang berisi informasi sensitif atau tidak relevan.

Struktur Dasar:

• User-agent: Menentukan robot perayap yang diatur.
• Disallow: Menentukan direktori atau halaman yang tidak boleh diakses.
• Allow: Menentukan direktori atau halaman yang boleh diakses.
• Sitemap: Menunjukkan lokasi peta situs (sitemap) XML.

Contoh File robots.txt:

1. Mengizinkan Semua Robot Mengakses Semua Halaman:

   plaintext
   
   User-agent: *
   Allow: /
   

2. Melarang Semua Robot Mengakses Semua Halaman:

   plaintext
   
   User-agent: *
   Disallow: /
   

3. Menunjukkan Lokasi Peta Situs (Sitemap):

   plaintext
   
   User-agent: *
   Allow: /
   Sitemap: http://www.contohsitus.com/sitemap.xml
   

Cara Setting robots.txt pada WordPress

Mengatur robots.txt pada WordPress bisa dilakukan dengan beberapa cara. Berikut adalah dua metode yang paling umum: melalui panel WordPress dan melalui plugin.

Metode 1: Melalui Panel WordPress

1. Akses Dashboard WordPress:

   • Login ke dashboard WordPress Anda.

2. Buka Menu Pengaturan:

   • Pergi ke Settings > Reading (Pengaturan > Membaca).

3. Mengaktifkan Visibilitas Mesin Pencari:

   • Pastikan opsi "Discourage search engines from indexing this site" (Sarankan mesin pencari untuk tidak mengindeks situs ini) tidak dicentang.

4. Edit File robots.txt:

   • Untuk mengedit file robots.txt secara manual, Anda perlu mengakses file ini melalui FTP atau File Manager di cPanel.
   • Buat atau edit file robots.txt di direktori root WordPress Anda dan tambahkan aturan yang Anda inginkan.

Metode 2: Menggunakan Plugin SEO (Misalnya Yoast SEO)

1. Install Plugin Yoast SEO:

   • Pergi ke Plugins > Add New (Plugin > Tambah Baru).
   • Cari "Yoast SEO" dan klik Install Now (Instal Sekarang), lalu aktifkan plugin.

2. Akses Pengaturan Yoast SEO:

   • Pergi ke SEO > Tools (SEO > Alat).
   • Pilih File Editor (Editor File).

3. Edit File robots.txt:

   • Di halaman File Editor, Anda akan melihat opsi untuk mengedit file robots.txt.
   • Tambahkan atau edit aturan sesuai kebutuhan Anda dan klik Save changes to robots.txt (Simpan perubahan ke robots.txt).

Contoh robots.txt untuk WordPress

1. Contoh Umum:

   plaintext
   
   User-agent: *
   Disallow: /wp-admin/
   Allow: /wp-admin/admin-ajax.php
   Sitemap: http://www.contohsitus.com/sitemap_index.xml
   

2. Melarang Pengindeksan Halaman Pencarian dan Arsip:

   plaintext
   
   User-agent: *
   Disallow: /search
   Disallow: /archives/
   Allow: /
   Sitemap: http://www.contohsitus.com/sitemap_index.xml
   

Kesimpulan

Mengatur file robots.txt dengan benar pada situs WordPress membantu memastikan bahwa mesin pencari merayapi dan mengindeks situs Anda sesuai dengan keinginan Anda. Anda dapat melakukannya melalui panel WordPress atau menggunakan plugin SEO seperti Yoast SEO untuk kemudahan dan fleksibilitas tambahan.