Sebelum itu, harus diketahui jika dengan menggunakan robots.txt kedalam situs, maka bisa memberikan tanda ke Google menuju mana saja akses yang bisa dilakukan dan halaman mana saja yang boleh diindeks.
Selain itu robots.txt juga sangat penting untuk SEO, di mana pada setiap artikel yang berada di blog kita akan semakin mudah dan cepat terindeks pada mesin pencari Google. Tujuannya yaitu untuk menaikan peringkat situs yang kita miliki di Search Engine Result Pages (SERP) dan proses indexing akan lebih terstruktur.
Anda juga bisa membaca Panduan untuk menginstall plugin di artikel berikut ini.
Apa itu Robots.txt?
Robots.txt merupakan sebuah file yang akan menyiapkan beberapa instruksi untuk mesin pencari atau menunjukkan jalan kepada mesin pencari ke situs Anda. Kalau bahasa mudahnya yaitu sebagai jalan atau tanda yang akan digunakan oleh situs web untuk menunjukkan jalan kepada mesin pencari agar dapat menemukan situs.
Saat membuat website baru dan menghubungkannya dengan Google Webmaster Tool maka setiap halaman yang berada di web akan di ‘crawl’ secara otomatis oleh Google dan muncul pada mesin hasil pencarian. Google tentu saja akan melakukan pendataan sesuai dengan kata kunci yang terdapat pada situs dan lain sebagainya.
Robots.txt memiliki tugas untuk memisahkan halaman yang tak ingin Anda tampilkan pada mesin pencarian. Sebab jika tidak ada file ini Google tetap masih bisa melakukan proses ‘crawl’ hingga keseluruhan halaman yang berada di situs.
Selain itu robots.txt juga mempunyai fungsi untuk menghalangi sejumlah situs pencari agar tak melakukan crawl terhadap situs Anda. Hal ini bertujuan agar dapat mengurangi beban yang harus diterima oleh situs.
Jadi pada intinya, robots.txt dapat membantu mesin pencari dalam hal memilih halaman situs mana saja yang dapat ditampilkan pada mesin pencarian. Pengguna juga dapat menyesuaikan halaman mana saja boleh ditampilkan pada mesin pencarian Google.
Anda juga bisa mengetahui perbedaan WordPress.org dengan WordPress.com pada artikel berikut ini.
Letak File Robots.txt
File robots.txt sesungguhnya sudah terdapat di dalam folder root dalam server penyimpanan file situs atau yang biasanya dikenal dengan public_html. Hanya saja robots.txt adalah file virtual yang tidak dapat diakses ataupun diganti melalui direktori manapun. Jadi, saat Anda mencoba membuka halaman public_html maka tak akan menemukan file robots.txt di sana.
Agar bisa memodifikasi rule robots.txt Anda harus menambahkan beberapa file baru di sana. Membuat sendiri sebuah file robots.txt kemudian meletakkannya ke dalam folder public_html dan memasukkan skrip konfigurasi dengan tahap manual.
File baru yang dibuat nanti bertugas menjadi file replacement yang akan segera menimpa file konfigurasi yang telah ada.
Rule File Robots.txt di WordPress
Konfigurasi robots.txt dapat dikatakan cukup simpel sebab hanya harus menuliskan beberapa perintah saja yang diperlukan. Berikut ini merupakan contoh dari konfigurasi file robots.txt yang bisa Anda terapkan.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Bingbot
Disallow: /
Atau Anda juga bisa menambahkan beberapa konfigurasi yang lain agar dapat mengizinkan beberapa situs pencari untuk melakukan ‘crawl’. Anda hanya cukup menambahkan sejumlah baris skrip seperti yang berada dibawah ini.
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://karsanusantara.com/sitemap.xml
Keterangan:
- User-agent: perintah ini berfungsi untuk mendeskripsikan rule jenis/nama robot.
- Allow: berguna untuk menambahkan bagian mana yang diizinkan diakses oleh robot.
- Disallow: berfungsi untuk mendeskripsikan bagian mana saja yang tidak diizinkan diakses oleh robot.
Skrip di atas tadi adalah contoh dari robots.txt yang digunakan agar dapat mengarahkan mesin pencari untuk melakukan pemindaian isi dari situs web milik Anda. Anda juga bisa mengatur skrip berdasarkan dengan kebutuhan. Misalnya, jika ada sebuah halaman forum, maka yang harus dilakukan yaitu disallow folder forum agar tak dapat terbaca oleh mesin pencarian agar tak muncul pada hasil mesin pencarian. Jika tak disallow maka keseluruhan thread yang terdapat di dalam forum tersebut dapat terindeks.
Cara Menyetting Robot TXT di WordPress
Terdapat beberapa cara yang bisa Anda lakukan untuk mengaktifkan Robot TXT di WordPress. Cara yang termudah dan tidak membutuhkan tambahan plugin yaitu dengan menaruh file robots.txt secara manual. Setidaknya terdapat tiga cara yang akan saya tunjukan pada artikel kali ini, yaitu cara menyetting robot txt di WordPress dengan menggunakan All in One SEO Pack, Yoast SEO, dan yang terakhir yaitu memakai cara manual.
-
Menggunakan Plugin All in One SEO Pack
Terdapat empat langkah untuk menyetting robot txt di WordPress menggunakan plugin All in One SEO Pack.
Langkah 1 – Instal All in One SEO Pack
Hal pertama yang harus Anda lakukan yaitu menginstalasi plugin All in One SEO Pack jika Anda belum melakukan proses instalasi. Anda dapat menginstalasinya terlebih dahulu dan Jangan lupa agar mengaktifkannya usai proses unduhan selesai.
Langkah 2 – Feature Manager
Usai proses instalasi sudah selesai, kemudian masuklah ke dalam halaman menu All in One SEO. Kemudian aktifkan fitur robots.txt yang berada di dalamnya.
Pada plugin ini juga memiliki beberapa fitur yang bisa Anda manfaatkan sekaligus, jadi Anda tak perlu melakukan instalasi plugin yang lainnya.
Langkah 3 – Klik Robots.txt
Ketika robots.txt telah aktif, Anda bisa melihat beberapa opsi menu robots.txt pada panel bagian kanan. tekanlah menu tersebut dan Anda selanjutnya akan diarahkan menuju menu robots.txt.
Pada menu ini Anda bisa menambahkan user-agent, rule, dan juga directory-path yang perlu untuk dimasukkan ke dalam file.
Langkah 4 – Menambahkan Rule
Anda tak perlu merasa khawatir saat menambahkan rule ke dalam plugin, Sebab sewaktu-waktu Anda bisa menghapusnya. Tinggal menyesuaikan saja pengaturan yang Anda diinginkan dan sesuai dengan mesin pencari.
-
Menggunakan Plugin Yoast SEO
Cara menyetting robot txt di WordPress yang kedua yaitu dengan menggunakan plugin Yoast SEO. Plugin ini memiliki kegunaan yang hampir sama dengan All in One SEO Pack. Berikut adalah langkah-langkah yang dapat Anda ikuti untuk menyetting robots.txt di WordPress.
Langkah 1 – Instal Plugin
Langkah pertama tentu saja harus menginstall plugin Yoast SEO.
Langkah 2 – Masuk ke Halaman Tools
Setelah terinstal, navigasikan menu menuju ke “SEO -> Tools”. Pada halaman ini akan muncul beberapa pilihan yang muncul, klik “File Editor”.
Langkah 3 – Membuat File Robots.txt
Di halaman selanjutnya akan terdapat opsi untuk “Create a New Robots.txt”. Di halaman ini, masukkanlah perintah yang ingin anda terapkan dalam situs web.
Anda bisa menyesuaikannya dengan keperluan situs Anda masing-masing.
-
Mengunggah Manual File Robots.txt
Cara untuk menyetting robot txt di WordPress yang terakhir yaitu dengan mengunggahnya secara manual dengan menggunakan FTP atau mengakses panel hosting.
Langkah 1 – Membuat File Robots.txt
Anda bisa membuat terlebih dahulu file robots.txt dengan memakai aplikasi note pada perangkat desktop. Di contoh ini saya menggunakan aplikasi Atom.
Masukkan perintah ke dalam file kemudian klik “Save”.
Langkah 2 – Mengunggah File Robots.txt ke Server Hosting
Anda juga bisa mengunggah file robots.txt dengan beberapa cara, salah satu cara yang dapat dilakukan yaitu dengan menggunakan FTP. Selain itu Anda juga bisa mengunggahnya dengan mengakses panel admin layanan hosting.
Submit ke Google Search Console
Anda bisa memastikan jika file robots.txt yang telah Anda buat sudah benar dan memastikan tak terdapat error yang muncul. Pengecekan dapat Anda lakukan dengan menggunakan Google Search Console.
Anda juga bisa membaca panduan untuk menghapus Blog Anda di artikel berikut ini.
Kesimpulan
Robots.txt bisa mempermudah Google dalam hal menentukan halaman mana saja yang diizinkan dan bisa melakukan ‘crawl’. Selain itu robots.txt akan memberikan sedikit arahan atau petunjuk jalan supaya Google melakukan ‘crawl’ terhadap file atau folder tertentu.
Cara untuk menyetting robot txt di WordPress juga dapat dikatakan tak terlalu rumit. Caranya pun juga bervariasi sehingga dapat dipilih sesuai dengan pemahaman masing-masing karakter. Cara yang termudah yaitu dengan menggunakan plugin. Ketika menggunakan plugin pengguna sudah tak perlu mengetikkan kode program atau ‘rule’ robots.txt dengan manual. Kini setelah Anda mengetahui cara untuk menggunakan Robot.txt, Anda bisa menggunakan Plugin Builder untuk memaksimalkan Website Anda.