Update website seperti article atau blog memang kegiatan yang menyenangkan sebagai seorang SEO Content Writer atau SEO Copywriter. Kegiatan yang biasa saya lakukan adalah menulis content yang berhubungan dengan digital marketing SEO, SEM, Social Media. Setelah menulis biasanya saya langsung melakukan indexing page artikel saya agar bisa terdaftar di Google.
Untuk melakukan fetching atau indexing ke Google anda harus menggunakan Google Search Console, Gunakan menu URL inspection untuk merequest page website anda. Nah pengalaman saya dalam hal indexing atau fetching ini sering terjadi page atau halaman kita tidak bisa terindex alias konfigurasi robots.txt memblock semua halaman website kita.
Loh apa sih yang terjadi? Setelah saya check semuanya tidak ada konfigurasi yang salah semua kongirasi robots.txt aman tidak adalah, berulang kali saya mencoba fetching halaman article yang baru saya update tetap tidak bisa. Sempat berpikir website saya kena penalti hmmm….
Muter sana – sini mencari solusi, saya mengecheck kembali semua konfigurasi baik itu Yoast SEO Plugin, mengecheck site_map.xml semua sudah terkonfigurasi dengan benar.
Saya coba menghapus Yoast dan menginstall ulang tetap saja tidak bisa, hingga pada akhirnya saya menemukan solusinya:
Dan ternyata untuk menyelesaikan masalah ini sangat mudah, Google sudah menyediakan tools untuk melakukan testing robots.txt, saya hanya perlu mengupdate kembali isi dari konfigurasi standar robots.txt di :
https://www.google.com/webmasters/tools/robots-testing-tool?
Tools Google robots testing ini memang sangat membantu bagi teman – teman yang kebingungan saat mengahadapi masalah indexing/fetching Google.
Selamat mencoba ya!
