Mengatur robots.txt pada Blogger

Pada pembahasan yang lalu, saya sudah pernah memaparkan sedikit tentang robots.txt. Selanjutnya, saya coba memaparkan bagaimana cara setting robots.txt pada Blogger.

Saat ini Blogger sudah memiliki fitur untuk mengedit robots.txt, istilahnya custom. Hal ini tentunya sangat bermanfaat, karena kita bisa mengatur artikel mana saja yang bisa diindex oleh search engine dan yang tidak boleh.

Secara default, setiap platform Blogger, pasti memilki default robots.txt seperti berikut:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Berikut sedikit penjelasannya:

Mediapartners-Google merupakan robot dari GoogleAdsense, biarkan seperti itu, jika salah, bisa jadi iklan-iklan Anda akan tertolak.

Selanjutnya, untuk memberitahukan kepada semua jenis robot, ditandai oleh asterisk (*). Pada konfigurasi standar, secara jelas bahwa yang tidak boleh diindex adalah ada pada baris Disallow: /search.

Sekedar inforasi, bahwa tanda slash slash (/) adalah homepage, sebagai contoh jika anda menginginkan label untuk diindex, jangan hanya menambahkan seperti ini Disallow: /, karena itu sama saja Anda melarang robot untuk mengindex situs Anda.

User-agent: Mediapartners-Google
Disallow: 


User-agent: *
Disallow:
Allow: /


Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Dengan konfigurasi di atas, maka semua artikel dan label akan diindex. Dan untuk memblok untuk halaman tertentu, (misalnya halaman tanya jawb), bisa tuliskan seperti ini:

User-agent: Mediapartners-Google
Disallow: 


User-agent: *
Disallow: /p/tanyajawab.html
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Untuk mengatasi masalah pagination (pembuatan halaman otomatis) pada blogspot, pada bagian disallow, ubahlah menjadi seperti berikut:

User-agent: Mediapartners-Google
Disallow: 


User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /


Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Setelah melakukan perubahan, pastikan sudah sesuai yang kita inginkan, untuk mengeceknya, buka saja www.contoh.com/robots.txt pada browser.

Peringatan!! Hati-hati menggunakan robots.txt, bisa-bisa blog atau website Anda akan tertolak sama sekali dari search Engine.