Perlukah Restricted By Robots.Txt di baiki di blogspot

Klik gambar untuk lihat dengan jelas

 

Kita kena fahami Googlebot ( Google robot untuk crawling (pencarian) atau selalu kita dengar orang panggil dengan gelaran Spider tiap-tiap hari  mencari berbilion mukasurat (pages atau entri)  dalam internet.

Tetapi bukan semua berbilion mukasurat dalam internet ini boleh diindex oleh Googlebot dalam masa pendek dan cepat. Googebot perlukan efficiency dalam pencarian. Googlebot tidak akan crawl mukasurat yang sama dengan URL yang berbeza.
Contoh:
http://hanifidrus.blogspot/search/label/firstlabel kemungkinan besar adalah sama http://hanifidrus.blogspot/search/label/secondlabel

Contoh kat atas sebenarnya sudah menjelaskan persoalan yang selalu ditanya oleh Blogspot blogger. Kenapa Restricted By Robots.Txt selalu keluar kat Blogger Blogspot.
Aku pun selalu dapat benda ini bila check kat area Diagnostic - Crawl error .

Blogger adalah satu platform yang mempunyai kelebihan iaitu  automatik index oleh Google. Selain itu blogger atau blogspot mempunyai cara untuk klasifikaiskan topic dengan adding feature ..iaitu  labels. Kadang-kadang orang panggil tags.Dengan menggunakan label,  Blogspot blogger macam aku ni boleh kategorikan setiap entri yang kau orang buat dengan topik yang berlainan. Jika sesuatu entri itu tidak mempunyai specific topik, maka entri tersebut seperti mempunyai lebih dari  satu topik atau label. Apa yang berlaku seterusnya ialah, kita akan mempunyai  dua atau lebih perbezaaan URL yang pergi ke entri yang sama.
Untuk atasi masalah ini, Blogger telah mencipta robot.txt fail  untuk setiap entri yang mempunyai lebih dari satu label atau topic.

Oleh itu crawl error  akan tertonjol kat Google Webmaster Tools. Tapi anda jangan risau kerana entri anda tetap akan diindex oleh Google, cuma Google bot memerlukan masa untuk mencari entri yang mempunyai lebih dari satu label, di mana Google akan identifite yang mana satu entri yang dah terkena Restricted By Robots.Txt.

Contoh lagi:

Katakan anda mempunyai entri yang bertajuk Main Bola  dan biasanya entri macam ni akan mempunyai lebih dari satu  topik atau label seperti Main Bola ( Label pertama) dan Bola( Label kedua). Resultnya ialah anda akan mempunyai alamat  URL seperti di bawah:
http://hanifidrus.blogspot/search/label/firstlabelhttp://hanifidrus.blogspot/search/label/secondlabel

Apa Kata Google?
Jawapan rasmi Google soal ini adalah:

"Google was unable to crawl the URL due to a robots.txt restriction. This can happen for a number of reasons. For instance, your robots.txt file might prohibit the Googlebot entirely; it might prohibit access to the directory in which this URL is located; or it might prohibit access to the URL specifically. Often, this is not an error. You may have specifically set up a robots.txt file to prevent us from crawling this URL. If that is the case, there's no need to fix this; we will continue to respect robots.txt for this file.

If a URL redirects to a URL that is blocked by a robots.txt file, the first URL will be reported as being blocked by robots.txt (even if the URL is listed as Allowed in the robots.txt analysis tool)."

sumber: http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=35235

Jangan pening kepala biarkan sahaja tapi kalau nak repair juga bagus.Ia tak ganggu SEO kau orang dan aku..hehehehehe
Kalau nak bukti tu hah!!! jawapan daripada Pak Google..
Harap2 anda semua faham apa yang aku tulis..sebab bila aku  baca pun macam tak paham...hehehehehe

Kesimpulannya macam mana Restricted By Robots.Txt  berlaku dan anda semua dah paham tak perlu panik kerana ia tak ganggu indexing anda. Tapi jika anda repair pun OK.
pada