Bila Anda memiliki blog/website berbasis WordPress self-hosted, maka membuat robot.txt dan menguploadnya ke Google Webmaster Tools merupakan salah kewajiban untuk diterapkan. Membuat robot.txt wordpress pada umumnya bertujuan untuk memperbolehkan rayapan robot Google dan menolak rayapan robot jahat atau spammer yang hendak menyebarkan malware atau hack blog kita.
Dengan membuat robot.txt pada blog, maka kita memberi isyarat bagi robot google pada blog kita untuk memberi akses rayapan ke robot tertentu yang kita izinkan, dan menolak akses dari robot manapun yang tidak kita beri izin akses.
Selain itu robot.txt juga berguna untuk SEO, di mana setiap artikel di blog kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google.
Baca Juga: 7 Plugin WordPress Untuk Menganalisa Keamanan Website Anda
Cara membuat robot.txt sangatlah sederhana dan mudah. Anda tinggal menginstall plugin KB Robot.txt di menu Plugins => Add New => dan Search dengan nama tersebut. Install dan aktifkan plugin tersebut
Setelah selesai diaktifkan, maka buka menu Setting => KB Robot.tx . Setelah itu Anda diminta untuk memasukkan penggalan kode akses kepada robot yang diizinkan untuk mengakses situs Anda, yaitu robot Google. Masukkan kode berikut ini:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent:
Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-
Image
Allow: /
User-agent: Googlebot-
Mobile
Allow: /
Sitemap: http://situsanda.com /sitemap.xml
Note: Jika Anda membuat
XML Sitemap blog Anda dengan bantuan plugin WordPress SEO by Yoast , maka ganti alamat sitemap Anda menjadi http://www.situsanda.com/sitemap_index.xml.
Itulah tadi cara membuat robot.txt pada website yg berguna untuk SEO atau mengatasi kesalahan perayapan dan mencegah robot lain yg berniat mengganggu website anda. Semoga bermanfaat.
0 komentar:
Posting Komentar