Pada kesempatan kali ini saya akan memberikan tutorial bagaimana Cara Mudah Melakukan Setting Robots.txt Pada WordPress. Banyak sekali manfaat bila anda mengaktifkan Robots.txt pada situs anda salah satunya yaitu meningkatkan peringkat situs di mesin pencarian. Namun, mesin pencari Google tidak bisa membedakan halaman mana yang boleh dan tidak boleh diindeks.
Agar halaman setiap situs dapat terindeks dengan rapi dan membatasi halaman yang tidak boleh diindeks, Anda membutuhkan file robots.txt dan bagaimana cara melakukan setting Robots.txt tersebut di situs terutama pada WordPress. Maka dari itu saya akan membahasnya melalui artikel ini.
Robots.txt adalah sebuah file yang menyediakan sekumpulan instruksi untuk mesin pencari atau menunjukkan jalan kepada mesin pencari. Istilah mudahnya adalah sebagai jalan atau tanda yang digunakan situs web untuk menunjukkan jalan kepada mesin pencari.
Ketika membuat website baru dan dihubungkan dengan Google Webmaster Tool maka setiap halaman web akan di ‘crawl’ oleh Google dan muncul di hasil pencarian. Google akan melakukan pendataan sesuai dengan kata kunci yang ada pada situs dan lain sebagainya.
Apa Manfaat Dari Robot.txt
Robots.txt berguna untuk SEO, di mana setiap artikel di blog kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google. Tujuannya adalah untuk menaikan peringkat situs di Search Engine Result Pages (SERP) dan proses indexing lebih terstruktur.
Robots.txt juga bertugas untuk memisahkan halaman yang tidak ingin Anda tampilkan ke dalam mesin pencari. Dikarenakan meskipun tidak ada file ini Google tetap akan melakukan proses ‘crawl’ sampai dengan keseluruhan halaman yang ada di situs. Selain itu robots.txt juga bertugas untuk menghalangi beberapa situs pencari agar tidak melakukan crawl situs. Hal ini bertujuan untuk mengurangi beban yang harus diterima oleh situs.
Jadi intinya, robots.txt membantu mesin pencari untuk memilih halaman situs mana saja yang akan ditampilkan pada mesin pencari. Pengguna juga bisa menyesuaikan halaman yang boleh ditampilkan pada mesin pencarian Google.
Letak File Robots.txt
File robots.txt sebenarnya sudah ada di dalam folder root pada server penyimpanan file situs atau yang biasa disebut dengan public_html. Hanya saja robots.txt merupakan file virtual yang tidak bisa diakses maupun diganti melalui direktori manapun. Jadi, ketika Anda membuka halaman public_html maka tidak ditemukan file robots.txt di sana.
Agar dapat memodifikasi rule robots.txt harus menambahkan file baru di sana. Ada 2 cara yang bisa anda lakukan yang pertama bila anda pengguna WordPress anda bisa mengaktifkannya dengan menggunakan Plugin dan yang kedua anda bisa Membuat sendiri file robots.txt.
Yang diletakkan di dalam folder public_html dan memasukkan skrip konfigurasi secara manual. Maka File baru yang dibuat bertugas menjadi file replacement yang nantinya akan menimpa file konfigurasi yang sudah ada.
Berikut Adalah Cara Mudah Melakukan Setting Robots.txt Pada WordPress
Cara Pertama Setting Robots.txt Menggunakan Plugin
Ada beberapa cara yang dapat Anda lakukan untuk mengaktifkan Robots.txt di WordPress. Cara yang paling simpel dan mudah adalah dengan menambahankan plugin yang tersedia pada WordPress. Jadi anda tidak perlu mengunggah file robots.txt secara manual.
Menggunakan Plugin Robots.txt Editor
Setidaknya ada beberapa langkah setting robot txt di WordPress menggunakan plugin Robots.txt Editor.
- Anda perlu melakukan instalasi plugin Robots.txt Editor jika belum melakukan proses instalasi. Jangan lupa mengaktifkannya setelah proses unduhan selesai.
- Kemudian mengaktifkan fitur Robots.txt Editor yang ada di dalamnya dan Klik Settings.
- Anda akan melihat pilihan menu robots.txt di panel bagian kanan. Klik menu tersebut dan Anda akan diarahkan pada menu robots.txt. Di dalam menu ini Anda dapat menambahkan user-agent, rule, dan directory-path yang akan dimasukkan ke dalam file.
- Anda bisa Menambahkan Rule dan tidak perlu khawatir dalam menambahkan rule di dalam plugin, karena sewaktu-waktu dapat menghapusnya. Tinggal sesuaikan saja pengaturan yang diinginkan dan disesuaikan dengan mesin pencari.
Cara setting robot txt di WordPress yang terakhir adalah dengan mengunggahnya secara manual menggunakan FTP atau melakukan akses ke panel hosting.
1. Rule File Robots.txt di WordPress. Berikut ini adalah contoh dari konfigurasi file robots.txt yang dapat Anda terapkan. Skrip dibawah merupakan contoh skrip standart dari robots.txt yang digunakan untuk mengarahkan mesin pencari untuk pemindaian isi dari situs web. Anda dapat mengatur skrip tersebut sesuai dengan kebutuhan.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.nama-situs-anda.com/sitemap.xml
Keterangan:
- User-agent: bagian ini digunakan untuk mendeskripsikan rule jenis/nama robot.
- Allow: untuk menambahkan bagian mana yang dapat diakses oleh robot.
- Disallow: untuk mendeskripsikan bagian yang tidak boleh diakses oleh robot.
3. Mengunggah File Robots.txt ke Server Hosting. Anda dapat mengunggah file robots.txt menggunakan beberapa cara, salah satu cara yang bisa dilakukan adalah dengan menggunakan FTP. Selain itu juga dapat mengunggahnya melalui panel admin layanan hosting.
Submit ke Google Search Console
- Anda dapat memastikan jika file robots.txt yang sudah dibuat memang benar dan memastikan tidak ada error yang muncul. Pengecekan dapat dilakukan dengan menggunakan Robots.txt Tester dari webmasters tools milik Google Search Console Disini.
- Lakukan Pengecekan dapat dengan menggunakan Robots.txt Tester dari webmasters tools milik Google Search Console.
Robots.txt dapat mempermudah Google untuk menentukan halaman mana saja yang boleh dan dapat untuk di crawl. Selain itu robots.txt juga memberikan arahan atau petunjuk jalan agar Google melakukan crawl pada file atau folder tertentu.
Cara setting robot txt di WordPress juga tidak terlalu rumit. Caranya pun juga bermacam-macam sehingga bisa dipilih sesuai dengan pemahaman masing-masing orang. Cara yang paling sederhana adalah dengan menggunakan plugin. Saat menggunakan plugin pengguna tidak perlu mengetikkan kode program atau rule robots.txt secara manual.
Demikian tutorial bagaimana Cara Mudah Melakukan Setting Robots.txt Pada WordPress. Semoga informasinya bermanfaat dan bila ada sesuatu yang ingin di tanyakan silahkan meninggalkan pesan dikolom komentar.