Cara Optimize SEO Wordpress via robot.txt

[webdevid]

Apa itu file robots.txt?

Robots.txt adalah file teks yang dapat dibuat oleh pemilik situs web untuk memberi tahu bot mesin telusur cara merayapi dan mengindeks laman di situs mereka.

Biasanya disimpan di direktori root, juga dikenal sebagai folder utama, di situs Anda. Format dasar untuk file robots.txt terlihat seperti ini:

User-agent: [user-agent name]

Disallow:

User-agent: [user-agent name]

Allow: url string

Sitemap: url sitemap anda

Anda dapat memiliki beberapa baris petunjuk untuk mengizinkan atau melarang URL tertentu dan menambahkan beberapa peta situs. Jika Anda tidak melarang URL, bot mesin pencari akan berasumsi bahwa mereka diizinkan untuk merayapinya.

Berikut adalah tampilan file contoh robots.txt:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

Pada contoh robots.txt di atas, kami telah mengizinkan mesin telusur untuk merayapi dan mengindeks file di folder unggahan WordPress kami.

Setelah itu, kami melarang bot pencarian untuk merayapi dan mengindeks plugin dan folder admin WordPress.

Terakhir, kami telah memberikan URL peta situs XML kami.

Apakah Anda Membutuhkan File Robots.txt untuk Situs WordPress Anda?

Jika Anda tidak memiliki file robots.txt, maka mesin telusur akan tetap merayapi dan mengindeks situs web Anda. Namun, Anda tidak akan dapat memberi tahu mesin telusur halaman atau folder mana yang tidak boleh mereka crawl.

Ini tidak akan berdampak banyak saat Anda pertama kali memulai blog dan tidak memiliki banyak konten.

Namun, seiring pertumbuhan situs web dan Anda memiliki banyak konten, Anda mungkin ingin memiliki kontrol yang lebih baik atas cara situs web Anda dirayapi dan diindeks.

Inilah alasannya.

Bot pencarian memiliki kuota penjelajahan untuk setiap situs web.

Ini berarti mereka merayapi sejumlah laman selama sesi perayapan. Jika mereka tidak selesai merayapi semua laman di situs Anda, mereka akan kembali dan melanjutkan perayapan di sesi berikutnya.

Ini dapat memperlambat laju pengindeksan situs web Anda.

Anda dapat memperbaikinya dengan melarang bot pencarian untuk mencoba merayapi halaman yang tidak perlu seperti halaman admin WordPress, file plugin, dan folder tema Anda.

Dengan melarang halaman yang tidak perlu, Anda menghemat kuota penjelajahan Anda. Ini membantu mesin telusur merayapi lebih banyak laman di situs Anda dan mengindeksnya secepat mungkin.

Alasan bagus lainnya untuk menggunakan file robots.txt adalah saat Anda ingin menghentikan mesin telusur agar tidak mengindeks postingan atau halaman di situs Anda.

Ini bukan cara teraman untuk menyembunyikan konten dari masyarakat umum, tetapi ini akan membantu Anda mencegahnya muncul di hasil pencarian.

Seperti Apa Tampilan File Robots.txt yang Ideal?

Banyak blog populer menggunakan file robots.txt yang sangat sederhana. Kontennya mungkin berbeda-beda, bergantung pada kebutuhan situs tertentu:

User-agent: *

Disallow:

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

File robots.txt ini memungkinkan semua bot mengindeks semua konten dan memberi mereka tautan ke peta situs XML situs web.

Untuk situs WordPress, kami merekomendasikan aturan berikut di file robots.txt:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

Ini memberi tahu bot pencarian untuk mengindeks semua gambar dan file WordPress. Itu melarang bot pencarian dari pengindeksan file plugin WordPress, area admin WordPress, file readme WordPress, dan tautan afiliasi.

Dengan menambahkan peta situs ke file robots.txt, Anda mempermudah bot Google untuk menemukan semua halaman di situs Anda.

Sekarang setelah Anda mengetahui seperti apa file robots.txt yang ideal, mari kita lihat bagaimana Anda dapat membuat file robots.txt di WordPress.

Bagaimana Cara Membuat File Robots.txt di WordPress?

Ada dua cara untuk membuat file robots.txt di WordPress. Anda dapat memilih metode yang paling sesuai untuk Anda.

Metode 1: Mengedit File Robots.txt Menggunakan All in One SEO

All in One SEO juga dikenal sebagai AIOSEO adalah plugin SEO WordPress terbaik di pasar yang digunakan oleh lebih dari 2 juta situs web.

Mudah digunakan dan dilengkapi dengan pembuat file robots.txt.

Jika Anda belum menginstal plugin AIOSEO, Anda dapat melihat panduan langkah demi langkah kami tentang cara menginstal plugin WordPress.

Catatan: Versi gratis AIOSEO juga tersedia dan memiliki fitur ini.

Setelah plugin dipasang dan diaktifkan, Anda dapat menggunakannya untuk membuat dan mengedit file robots.txt Anda langsung dari area admin WordPress Anda.

Cukup buka All in One SEO »Alat untuk mengedit file robots.txt Anda.



Pertama, Anda harus mengaktifkan opsi pengeditan, dengan mengklik tombol 'Aktifkan Robot.txt Kustom' menjadi biru.

Dengan mengaktifkan tombol ini, Anda dapat membuat file robots.txt kustom di WordPress.



SEO All in One akan menampilkan file robots.txt Anda yang ada di bagian 'Pratinjau Robots.txt' di bagian bawah layar Anda.

Versi ini akan menampilkan aturan default yang ditambahkan oleh WordPress.



Aturan default ini memberi tahu mesin telusur untuk tidak merayapi file inti WordPress Anda, mengizinkan bot mengindeks semua konten, dan memberi mereka tautan ke peta situs XML situs Anda.

Sekarang, Anda dapat menambahkan aturan khusus Anda sendiri untuk meningkatkan robots.txt Anda untuk SEO.

Untuk menambahkan aturan, masukkan agen pengguna di bidang 'Agen Pengguna'. Menggunakan * akan menerapkan aturan tersebut ke semua agen pengguna.

Kemudian, pilih apakah Anda ingin 'Izinkan' atau 'Larang' mesin telusur untuk merayapi.

Selanjutnya, masukkan nama file atau jalur direktori di bidang 'Jalur Direktori'.



Aturan tersebut akan diterapkan secara otomatis ke robots.txt Anda. Untuk menambahkan aturan lain, klik tombol 'Tambahkan Aturan'.

Sebaiknya tambahkan aturan sampai Anda membuat format robots.txt ideal yang kami bagikan di atas.

Aturan kustom Anda akan terlihat seperti ini.



Setelah Anda selesai, jangan lupa untuk mengklik tombol 'Simpan Perubahan' untuk menyimpan perubahan Anda.

Metode 2. Edit file Robots.txt Secara Manual Menggunakan FTP

Untuk metode ini, Anda perlu menggunakan klien FTP untuk mengedit file robots.txt.

Cukup sambungkan ke akun hosting WordPress Anda menggunakan klien FTP.

Setelah masuk, Anda akan dapat melihat file robots.txt di folder root situs Anda.



Jika Anda tidak melihatnya, kemungkinan Anda tidak memiliki file robots.txt.

Dalam hal ini, Anda dapat melanjutkan dan membuatnya.



Robots.txt adalah file teks biasa, yang berarti Anda dapat mengunduhnya ke komputer dan mengeditnya menggunakan editor teks biasa seperti Notepad atau TextEdit.

Setelah menyimpan perubahan, Anda dapat menguploadnya kembali ke folder root situs Anda.

Bagaimana Menguji File Robots.txt Anda?

Setelah Anda membuat file robots.txt, ada baiknya untuk mengujinya menggunakan alat penguji robots.txt.

Ada banyak alat penguji robots.txt di luar sana, tetapi sebaiknya gunakan salah satu alat di dalam Google Search Console.

Pertama, Anda harus menautkan situs web Anda dengan Google Search Console. Jika Anda belum melakukannya, lihat panduan kami tentang cara menambahkan situs WordPress Anda ke Google Search Console.

Kemudian, Anda dapat menggunakan Alat Pengujian Robot Google Search Console.



Cukup pilih properti Anda dari daftar tarik-turun.

Alat tersebut akan secara otomatis mengambil file robots.txt situs web Anda dan menyorot kesalahan dan peringatan jika ditemukan.



Tujuan mengoptimalkan file robots.txt Anda adalah untuk mencegah mesin telusur merayapi laman yang tidak tersedia untuk umum. Misalnya, halaman di folder wp-plugins Anda atau halaman di folder admin WordPress Anda.

Mitos umum di antara pakar SEO adalah bahwa memblokir kategori, tag, dan halaman arsip WordPress akan meningkatkan kecepatan perayapan dan menghasilkan pengindeksan yang lebih cepat dan peringkat yang lebih tinggi.

Ini tidak benar. Itu juga melanggar pedoman webmaster Google.

Kami menyarankan Anda mengikuti format robots.txt di atas untuk membuat file robots.txt untuk situs Anda.

Kami harap artikel ini membantu Anda mempelajari cara mengoptimalkan file robots.txt WordPress untuk SEO. Anda mungkin juga ingin melihat panduan SEO WordPress terbaik kami dan alat SEO WordPress terbaik untuk mengembangkan situs web Anda.

[rosalia]

Tips optimize seo teknal nya menarik sekali, thanks