Membuat Robots.txt Menjadikan Blog Lebih SEO

robotsTXTRobots.txt adalah sebuah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine. Bagi pengguna wordpress ada banyak sekali fitur yang bisa dimanfaatkan untuk optimasi. Mulai dari pengaturan yang semakin mudah dan tentunya berbagai macam kelebihan dalam hal SEO lainnya.

Dalam settingan asli  blog atau web yang tidak ada file robots.txt maka akan memberikan informasi pada Search Engine bahwa seluruh bagian dari blog atau situs dapat dijelajahi dan dimasukkan dalam index-nya. Dan tidak semua bagian sebuah blog atau web itu perlu didatangi search engine, sebagai contoh untuk pengguna wordpress  dengan hosting sendiri bagian folder atau direktori wp-admin,  wp-content/cache, wp-content/plugins, wp-includes dll tidak perlu diindex, karena tidak ada gunanya, sebaliknya kalau direktori tersebut ikut diindex malah akan merugikan karena akan boros bandwidth dan juga mungkin mengandung data-data penting yang tidak boleh jadi konsumsi publik.

Dengan memblokir direktori atau file tertentu yang memang tidak perlu diindex, ini juga salah satu cara agar blog atau website menjadi lebih SEO, kenapa bisa begitu, karena waktu yang dibutuhkan search engine saat mendatangi blog kita tidaklah lama. Jadi dengan dicegahnya search engine merayapi direktori tertentu maka kesempatan mesin pencari untuk merayapi dan mengindex seluruh konten atau halaman web yang memang perlu ditampilkan (diindex) menjadi lebih besar (lebih diprioritaskan).

 

Membuat Robots.txt Menjadikan Blog Lebih SEO?

 

Sebagai Contoh, anda bisa menggunakan setting seperti dibawah ini :

User-agent: *
Disallow: /wp-
Disallow: /feeds/
Disallow: /cgi-bin/
Disallow: /author/
Disallow: /comments/
Disallow: /trackback/

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?*
Disallow: /*?
Disallow: /*?
Disallow: /*?comments=true$
Disallow: /*?postcomment=true$

 

Setting ini akan mencegah search engine untuk merayapi dan mengindex direktori cgi-bin, wp-admin, wp-includes dll beserta seluruh file yang ada di dalam direktori tersebut. Jika anda menggunakan plugin Google XML Sitemap Generator bagian paling akhir dari file robots.txt bisa ditambahkan kode seperti dibawah ini :

Sitemap: http://www.kakiteng.com/sitemap.xml
Sitemap: http://www.kakiteng.com/sitemap.xml.gz

 

Cara membuat file robots.txt :

  1. Buka Program Notepad anda.
  2. Masukkan setting atau parameter-parameter file robots.txt yang diinginkan, contoh yang saya gunakan untuk blog ini bisa dilihat disini.
  3. Simpan dengan nama robots.txt.
  4. Upload file tersebut ke Cpanel,  klik File Manager => public_html => New File beri nama file  “robots.txt” (tanpa tanda kutip) Create New File.
  5. Kemudian buka file robots.txt tersebut, masukkan parameter-parameter settingan yang diinginkan. Kemudian simpan.

 

Jangan lupa validasi hasil pembuatan file robots.txt anda dengan menggunakan Robots.txt Checker, kemudian lihat hasilnya apakah file robots.txt anda sudah benar-benar valid, jika masih banyak error di disana anda akan diberi informasi dimana letak erornya.

 

 

Ayo sebarkan jika kamu suka dengan artikel Membuat Robots.txt Menjadikan Blog Lebih SEO dari Kakiteng c Kusuma, langsung aja Like, Share, Tweet atau Plus One sekarang juga...!!!

Comments

  1. By Sundulkan

    Reply

    • Reply

  2. By Bisnis Online

    Reply

    • Reply

  3. By fikri

    Reply

  4. By Jonny Esman

    Reply

  5. Reply

  6. By YOTO

    Reply

    • Reply

  7. By newbie

    Reply

    • Reply

Leave a Reply

Your email address will not be published. Required fields are marked *

AlphaOmega Captcha Classica  –  Enter Security Code