Cara Seting Robots.txt Pada Wordpress
Apa itu robots.txt?
robots.txt adalah file teks sederhana yang ditempatkan di direktori root situs web. File ini digunakan untuk memberikan instruksi kepada web crawlers (robot perayap) tentang bagaimana mereka harus mengindeks dan merayapi halaman-halaman di situs web tersebut. Ini adalah bagian dari protokol pengecualian robot (REP), yang membantu pemilik situs web mengontrol perilaku robot perayap.
Fungsi Utama:
- Mengontrol Akses: Membatasi atau mengizinkan robot perayap untuk mengakses bagian-bagian tertentu dari situs web.
- Menghindari Duplikasi Konten: Mengarahkan robot perayap untuk tidak mengindeks halaman-halaman yang tidak diinginkan atau duplikat.
- Melindungi Data Sensitif: Menyediakan instruksi untuk tidak mengindeks halaman yang berisi informasi sensitif atau tidak relevan.
Struktur Dasar:
User-agent:
Menentukan robot perayap yang diatur.Disallow:
Menentukan direktori atau halaman yang tidak boleh diakses.Allow:
Menentukan direktori atau halaman yang boleh diakses.Sitemap:
Menunjukkan lokasi peta situs (sitemap) XML.
Contoh File robots.txt:
Mengizinkan Semua Robot Mengakses Semua Halaman:
plaintextUser-agent: * Allow: /
Melarang Semua Robot Mengakses Semua Halaman:
plaintextUser-agent: * Disallow: /
Menunjukkan Lokasi Peta Situs (Sitemap):
plaintextUser-agent: * Allow: / Sitemap: http://www.contohsitus.com/sitemap.xml
Cara Setting robots.txt pada WordPress
Mengatur robots.txt
pada WordPress bisa dilakukan dengan beberapa cara. Berikut adalah dua metode yang paling umum: melalui panel WordPress dan melalui plugin.
Metode 1: Melalui Panel WordPress
Akses Dashboard WordPress:
- Login ke dashboard WordPress Anda.
Buka Menu Pengaturan:
- Pergi ke Settings > Reading (Pengaturan > Membaca).
Mengaktifkan Visibilitas Mesin Pencari:
- Pastikan opsi "Discourage search engines from indexing this site" (Sarankan mesin pencari untuk tidak mengindeks situs ini) tidak dicentang.
Edit File robots.txt:
- Untuk mengedit file
robots.txt
secara manual, Anda perlu mengakses file ini melalui FTP atau File Manager di cPanel. - Buat atau edit file
robots.txt
di direktori root WordPress Anda dan tambahkan aturan yang Anda inginkan.
- Untuk mengedit file
Metode 2: Menggunakan Plugin SEO (Misalnya Yoast SEO)
Install Plugin Yoast SEO:
- Pergi ke Plugins > Add New (Plugin > Tambah Baru).
- Cari "Yoast SEO" dan klik Install Now (Instal Sekarang), lalu aktifkan plugin.
Akses Pengaturan Yoast SEO:
- Pergi ke SEO > Tools (SEO > Alat).
- Pilih File Editor (Editor File).
Edit File robots.txt:
- Di halaman File Editor, Anda akan melihat opsi untuk mengedit file
robots.txt
. - Tambahkan atau edit aturan sesuai kebutuhan Anda dan klik Save changes to robots.txt (Simpan perubahan ke robots.txt).
- Di halaman File Editor, Anda akan melihat opsi untuk mengedit file
Contoh robots.txt untuk WordPress
Contoh Umum:
plaintextUser-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: http://www.contohsitus.com/sitemap_index.xml
Melarang Pengindeksan Halaman Pencarian dan Arsip:
plaintextUser-agent: * Disallow: /search Disallow: /archives/ Allow: / Sitemap: http://www.contohsitus.com/sitemap_index.xml
Kesimpulan
Mengatur file robots.txt
dengan benar pada situs WordPress membantu memastikan bahwa mesin pencari merayapi dan mengindeks situs Anda sesuai dengan keinginan Anda. Anda dapat melakukannya melalui panel WordPress atau menggunakan plugin SEO seperti Yoast SEO untuk kemudahan dan fleksibilitas tambahan.
Post a Comment