Udah lama nggak melongo di google webmaster tool yang merupakan satu-satunya andalan SEO bagi saya, tujuan saya melihat-lihat googlewebmaster hanya untuk mengecek kalau-kalau ada yang ganjil atau yang mungkin error, kalupun ada yang error atau ganjil dari biasa juga nggak bisa memperbaikinya, karen daftar saja saya udah syukur banget.
Singkat cerita, emang saya cerita apa? hee…he..Oh ya..setelah login saya mulai mengklik satu persatu tool yang ada, mmm….kayaknya biasa-biasa saja tidak ada yang berubah alias masih seperti dulu, cuma kalau dulu ada sitelink sekarang sudah tidak ada lagi, mungkin kemren google ngasih saya sitelink salah kali buktinya baru beberapa minggu eh..dicabut lagi.
Nah… sampai pada tool diagnosa, ( penyakit kali pakai diagnosa segala) kan ada tool crawl error, disini ternyata banyak perubahan, nah saya mulai bingung kenapa dan ada apa serta bagaimana mengatasinya, apa ini berpengaruh pada index google???? masih dalam keadaan setengah panik saya masih bisa mengetikkan keyword di google untuk mencari apa penyebab dan bagai mana solusinya, nah ternyata sedikit sekali yang membahas ini dan hampir tidak ada, apakah ini luput dari perhatian para master, atau memang juga ini bukan hal yang menarik untuk dibahas??
Dari sedikit yang disodorkan oleh mbah google hanya ada satu blog yang mengulasnya, kesimpulannya begini karena yang banyak error pada webmastertool saya adalah URLs restricted by robots.txt adalah url yang di blokir oleh robot.txt kenapa diblokir padahal saya tidak pernah meminta untuk diblokir, kata google webmaster central seperti ini :
Google was unable to crawl the URL due to a robots.txt restriction. This can happen for a number of reasons. For instance, your robots.txt file might prohibit the Googlebot entirely; it might prohibit access to the directory in which this URL is located; or it might prohibit access to the URL specifically. Often, this is not an error. You may have specifically set up a robots.txt file to prevent us from crawling this URL. If that is the case, there’s no need to fix this; we will continue to respect robots.txt for this file.
Mmmm, saya makin tambah bingung melihat jawaban dari google ini, padahal sumpah deh saya tidak pernah meminta untuk memblokirnya.
Kembali pada blog yang saya baca tadi, disana ditulis, jika ternyata banyak url yang nggak anda kehendaki untuk di blokir ternyata terblokir oleh robots.txt itu artinya anda harus mengoptimasi meta tag pada template blog anda. Biasanya dengan menyertakan tag:
Hasilnya saya makin bingung, sobat tau cara memperbaiki error tersebut, dan buat para pakar SEO adakah ini berpengaruh pada index google???
Saya jarang utak atik Um kaya gitu…paling kalau mau update sitemap saja br bk webmaster tool.heheheeeehehe…!!! mungkin teman2 yang master seo bisa memberikan solusinya….!!!
saya ikut nyimak saja….!!!
Wah..minta maaf bang saya tidak ada solusi tentang hal di atas..maklum bang saya seo belum paham benar..
oh untuk error tersebut biarkan saja kawand.
blogku saja juga restrict.
Hal itu sudah disebabkan mungkin ya mungkin disebabkan karena antara judul posting ada yang sama dengan keyword atau ada yang sama dengan label.
Restrict ini biasanya menjurus ke label.
Kalau posting tiada labelnya restrict ini tidak muncul sudah aku coba untuk blogku yang lain.
Yang penting sitemap tidak error itu yang terpenting
asalkan sitemap tidak error atau muncul tanda silang it's ok menurutku
selamat beraktifitas kawand ya
thanks share url errornya
Penjelasan Bung Tomo, kayaknya logis dan bisa diterima….cuma masalah 'keyword' si Robot yg di terjemahkan secara bebas oleh mbah Google.
belum pernah kemeu dengan error seperti itu sob,,,,, mudah2an gak pernah dech…. bisa pusing saya dibuatnya….
@cugy: saya berharap juga ada yang memberi solusi
@bangdinoe: nggak pa-pa bang…saya juga bingung nih..
@cak tomo: nah ini dia, errornya memang crawl pada lebel thank cak atas penjelasannya
@uswah: sitmap ada error satu saja..
@hikmah : sama-sama
@ndan srex: bener bangt kdang kita hanya bisa meenebak saja
@ashtho : saya juga baru pertama kali nih
saya malah tambah bingung lagi
saya cuma daftar saja, setelah itu jarang saya lihat perkembangannya, masalahnya saya juga kurang paham istilah2 yg ada di menu google wabmaster
klo buatku ndak terlalu bermasalah sama Indexnya sih hhe… klo ditambah meta content itu kan termasuk optimalisasinya yg boleh dipake boleh nggak tapi klo pun dipake ya sekalian tambah Content judul dan temen2nya aja sekalian hhe,…. jadi klo aku sih tetep nganggapnya gak bermasalah….. lha wong templateku aja errrornya 154 aku tetep gak apa2in hhe.. biarpun kata org klo strict lebih bagus buat SEO hhe.. katanya lho hhe…
Maaf baru bisa mampir Sob.. semangat n happy blogging…
Ini topik yang sangat bagus, namun sayangnya saya belum berkompeten tuk ikut berkomentar karena masih dalam tahap belajar.
Mungkin sobat lain bisa mengutarakan pendapatnya?
same with mr. darin, i dunno about SEO
wah saya kurang paham mas
sy sdh lbh 2 bln ngak login ke webmaster google, dulu sering periksa dan perbaiki jika ada error.
coba di cek saja judul postingan di google search apakah ada ke index google sob.
Aku dah lama ga ke web masternih. Jangan-jangan banyak yang eror.
Tanggapan:
Kalu untuk meta itu sebaiknya jangan di pasang, setahuku crawl eror itu karena banyaknya posting yang tak di terima urlnya tapi nanti itu akan berjalan lagi. Seperti itu mungkin ya? kurang begitu paham apa yang di pikirkan crawl tentang eror.
SiankSob… sambil makan siank aku mampir menyapa hhe……. wah masih memperbaiki crawl error nie sahabatku hhe.. semangat n met aktivitas ya Sob……
Met siang bang.,
semangat terus key…
Moga cepet sukses…
webmaster saya belum saya ferifikasi mas, males masuk c-panel
em..ferdinand ama tomo keren tuh sarannya
wah, aku gak mudeng ya…?
aq juga bukan pakarnya SEO sob di web master juga banyak yg error blog q, tp tak apalah, aq biarin saja
Siank Sob.. seperti biasa aku datang rutin untuk menyapa… tetep semangat N happy blogging Sob…. D'tgu tulisan selanjutnya hhe..
Wahhhh…. kalau yang beginian aku gak paham sob…
Sumpah mas saya benar-benar OON klo masalah kaya ginian..
itu di diamkan gpp ya bung? semua labelku crawl eror
iyo bro…sama masalahnya, punyaku juga error.heeee……..kalo dah pada tau solusinya ane dikasih tau ya.thank
semua pasti ada jalannya dan kita semua pasti bisa.
solusinya…
aq gak tau maslah gituan mas…. maklum newbie
g’ ngerti gan!! apa yang di bahas, ane cuma mau nyari adag’ tips buat memperbanyak indeks blog ane ehsablog.com di search engine!! soalnya newbie
coba liat di Blognya Om Jevuska “Redirect error 404″ atau pake plugins “permalink finder” bro…bisa membantu tu
Mungkin ada duplikat konten di blognya mas.. Karena pernah mengganti title atau discripsi blog.. Bisa juga sering gonta ganti plugin seo.. Coba pake aja plugin cononical url untuk ngatasin
Iyal.. banyak banget nih diblokir ama si robot nakal.. padahal tuannya ga minta…
waduh2.. gimana nih,, mana blog ku masih seumur jagung lagi..
coba di redirect error 404 ke halaman yang sesuai
Gpp bos kalau restrict by robot, kaga ngefek
kecuali meta di html-nya
Meta follow ( robot), terus error semua di webmaster crawl error, LHA ITU BARU BAHAYA
maksudnya?.
Coz punya saya jg gt. Akhirnya gak terindex google
wah ada yang punya solusi gakya… buat ngilangin errornya itu?? dan kayaknya tiap aku postiing errornya kok juga nambah. pengaruh gak sih dengan index di googlenya.
Trus gmna dung cara ngatasi Crawl yang error( URLs restricted by robots.txt)????
Thank U
saya juga ngalamin hal ky gt bos… gmn y solusiny???
mash bingung
gimana solusinya ya….
bingung aku
apa ya penyebabnya
Saya pernah membahasnya di blog saya nie, jadi sedikit tahu soal ini..
Pemblokiran tersebut ada manfaatnya bagi blog kita, salah satunya supaya spider bot bisa lebih konsentrasi mengcrawl bagian blog yang penting seperti halaman konten blog.
mkasih atas informasi yg berharga’y gan…
Nice information guys, thx so much about information. ^_^
masalah kita sama…. susah juga nih menjadi master SEO… ada aja kendalanya…
Ane juga mengalami hal yang sama. Url diblokir oleh robot.txt dan sekarang lagi cari soslusi nich. Thanks sob infonya..
Sy juga dpt email bhw salah satu website saya error di robot.txt nya…
Kenapa ya??? Belum nemu jawaban nich…
podo wae