Cara Mengatur Dan Memvalidasi Robots.txt

Anggap Remeh ― Robots.txt adalah sebuah file yang berguna untuk membatasi penulusuran robot mesin pencari seperti: Google.com Bing.com yahoo.com yang sedang menjelajahi blog yang sobat punya.

Sebelum mereka menjelajahi blog anda, dia akan memeriksa blog untuk melihat apakah di dalam blog sobat terdapat sebuah file Robots.txt. dan mesin pencari itu juga memeriksa folder di dalam Robots.txt apakah ada perintah pengindekkan atau tidak. yang bertujuan untuk mencegah mereka mengakses halaman tertentu yang berada di blog.

Tujuan pemasangan file "Robots.txt"

Tujuan pemasangannya adalah agar robot - robot mesin pencari itu tidak mengindeks halaman di search engine Google, Bing, Yahoo dll yang tidak anda inginkan.


Coba Validasi "Robots.txt" pada BLOG atau SITUS anda.

Kunjungi website http://tool.motoricerca.info/robots-checker.phtml

Masukkan alamat blog anda seperti contoh http://www.contohblog.com/robots.txt atau http://contohblog.blogspot.com/robots.txt dan tekan tomol check robots.txt
 

Bila anda belum memasang robots.txt di blog silahkan abaikan langkah ini
Setelah anda cek robots.txt dan terdapat eror seperti di bawah ini maka anda perlu mengatur robots.txt yang sobat pakai.
WARNING: The tool has found some directory paths that don't include a trailing slash character. Since a missing trailing slash can be both a deliberate decision or an error, and since this tool can't ipotize the real intentions of the webmaster, here follow some clarifications that could prevent a potential problem:
The following command will disable just the directory "private" and all its contents:
Disallow: /private/
...while the following command will disable both the "private" directory and any file or directory path starting with the text "/private" (so "/private-eye.html", "/privateroom/page.html", etc.):
Disallow: /private
Please be sure to use the correct syntax, according to your needs.

Biasanya robots.txt yang di pasang oleh para blogger adalah sperti dibawah ini :
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.nama-blog-sobat.com/feeds/posts/default?orderby=UPDATED

Kesalahan robots.txt di atas adalah terletak pada Line 6, disana ada perintah Allow: / padahal perintah itu tidak di terima oleh "User-agent" dan perintah yang di terima "User-agent" adalah "Disallow".

Untuk memperbaiki ERROR tersebut, silakan Edit robots.txt yang salah tadi sehingga menjadi seperti dibawah ini:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:

Sitemap: http://www.nama-blog-sobat.com/feeds/posts/default?orderby=UPDATED

Setelah itu simpan perbuhan tersebut, kemudian cek kembali robots.txt sudah valid atau belum?

Untuk anda yang memiliki blogger namun belum memasang robots.txt dan ingin memasangnya silakan pakai robots.txt diatas dengan cara ikuti langkah dibawah ini:


Cara mengatur dan menerapkan "Robots.txt" pada SITUS atau BLOG

Masuklah ke Dashboard Blogger » Setelan » Preferensi Penelusuran » Klik Edit pada Robots.txt kemudian Aktifkan dengan menekan pilihan radiobutton "YA" pada pernyataan Aktifkan konten robots.txt khusus? - Isi dengan robots.txt. yang sudah divalidasi, kemudian tekan tombol simpan.


Semoga artikel ini bermanfaat!