Cara Mengatasi Indexed Blocked by robot.txt

[charles]

Saat melakukan pengindeksan di Google Search Console terkadang terjadi suatu kendala pada saat anda melakukan inspect url dan melihat hasilnya diblokir oleh robots.txt” muncul di Google Search Console (GSC) yang tidak diizinkan untuk di-crawl.

Biasanya, hal ini akan menjadi masalah langsung saat kamu memblokir perayapan di file robots.txt. Ada beberapa kondisi tambahan yang dapat memicu masalah, Yuk kita cari tau bagaimana proses pemecahan masalah untuk mendiagnosis dan memperbaiki berbagai hal seefisien mungkin

Bisa kita lihat bahwa langkah pertama adalah bertanya pada diri sendiri apakah kamu ingin Google mengindeks URL.
Jika kamu tidak ingin URL diindeks …

Cukup tambahkan tag meta robot noindex dan pastikan untuk mengizinkan perayapan.

Jika kamu memblokir halaman agar tidak dirayapi, Google mungkin masih mengindeksnya karena perayapan dan pengindeksan adalah dua hal yang berbeda. Kecuali Google dapat meng-crawl halaman, mereka tidak akan melihat tag meta noindex dan mungkin masih mengindeksnya karena memiliki link.

Jika URL dikanonikalisasi ke halaman lain, jangan tambahkan tag meta robot noindex. Cukup pastikan sinyal kanonikalisasi yang tepat tersedia, termasuk tag kanonis di halaman kanonis, dan izinkan perayapan sehingga sinyal lolos dan terkonsolidasi dengan benar.

BACA JUGA: 6 Cara Sukses Keyword Mapping Pemetaan Kata Kunci SEO

Jika kamu ingin URL diindeks …

Kamu perlu mencari tahu kenapa Google tidak dapat merayapi URL dan menghapus pemblokiran.
Penyebab yang paling mungkin adalah block perayapan di robots.txt. Namun ada beberapa skenario lain di mana kamu mungkin melihat pesan yang mengatakan bahwa kamu diblokir. Mari kita bahas ini dalam urutan yang mungkin seharusnya Anda cari.
Periksa block perayapan di robots.txt
Periksa block yang terputus-putus
Periksa block agen pengguna
Periksa blok IP
Periksa blok perayapan di robots.txt
Cara termudah untuk melihat masalah ini adalah dengan menguji robots.txt menggunakan tools di GSC, yang akan menandai aturan pemblokiran.



Jika kamu sudah tahu apa yang kamu cari atau tidak memiliki akses ke GSC, Kamu bisa membuka domain.com/robots.txt untuk menemukan file tersebut.



Mungkin ada agen pengguna tertentu yang disebutkan, atau mungkin memblokir semua orang. Jika website kamu baru atau baru saja diluncurkan, Kamu mungkin ingin mencari:



Bagaimana cara memperbaiki

Anda sebaiknya menghapus pernyataan pelarangan yang menyebabkan pemblokiran. Cara Anda melakukannya berbeda-beda, bergantung pada teknologi yang Anda gunakan.

WordPress

Jika masalah memengaruhi seluruh website kamu, kemungkinan besar penyebabnya adalah pada pengaturan pengindeksan, coba periksa pengaturan di WordPress untuk melarang pengindeksan. Kesalahan ini biasa terjadi di website baru dan setelah migrasi situs web. Ikuti langkah-langkah berikut untuk memeriksanya:

1. Klik ‘Pengaturan’
   
2. Klik ‘Membaca’
   
3. Pastikan ‘Visibilitas Mesin Telusur’ tidak dicentang.
   

WordPress dengan Yoast

Jika Anda menggunakan plugin Yoast SEO, kamu bisa langsung mengedit file robots.txt untuk menghapus pernyataan pemblokiran.

1. Klik ‘Yoast SEO’
   
2. Klik ‘Alat’
   
3. Klik ‘Editor file’
   

WordPress dengan Rank Math

Mirip dengan Yoast, Rank Math memungkinkan kamu bisa mengedit file robots.txt secara langsung.

1. Klik ‘Rank Math’
   
2. Klik ‘Pengaturan Umum’
   
3. Klik ‘Edit robots.txt’
   

FTP atau hosting

Jika kamu memiliki akses FTP ke situs tersebut, kamu juga bisa langsung mengedit file robots.txt untuk menghapus pernyataan pelarangan yang menyebabkan masalah. Penyedia hosting juga dapat memberi Anda akses ke File Manager yang memungkinkan kamu bisa mengakses file robots.txt secara langsung.
Periksa blok yang terputus-putus

Masalah yang terputus-putus bisa jadi lebih sulit untuk dipecahkan karena kondisi yang menyebabkan pencekalan mungkin tidak selalu ada.
Yang saya sarankan adalah memeriksa riwayat file robots.txt. Misalnya, di penguji robots.txt GSC, jika Anda mengeklik tarik-turun, Anda akan melihat versi file sebelumnya yang dapat Anda klik dan melihat isinya.

Selamat mencoba ya, tutorial ini dibuat berdasarkan pengalaman saya.
Terima kasih.