Cara Mengatasi Masalah Peringatan Diindeks Meski Diblokir Oleh Robots.txt

Cara Mengatasi Masalah Peringatan Diindeks Meski Diblokir Oleh Robots.txt

AdityaTekno.com – Kali ini saya akan membagikan tips Cara Mengatasi Masalah Peringatan Diindeks Meski Diblokir Oleh Robots.txt. Akhir-akhir ini tidak sedikit para Blogger yang mengeluh terkait masalah peringatan diindeks, meski diblokir oleh robots.txt khususnya untuk blog-blog yang menggunakan platform Blogger.
Cara Mengatasi Masalah Warning Diindeks Meski Diblokir Oleh Robots.txt

Biasanya URL yang diindeks, meski diblokir oleh robots.txt ini adalah semua halaman Search yaitu untuk halaman Search Label dan untuk halaman navigasi postingan lama.

Baca Juga : Meta Tag SEO Friendly Terbaru dan Valid HTML5

Secara default robot.txt di Blogger menggunakan format seperti ini jika dinonaktifkan.
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.domain-anda.com/sitemap.xml

Pada robots.txt di atas menunjukan bahwa semua halaman Search tidak diizinkan untuk dirayapi bot.
Namun, karena halaman-halaman search tersebut ditautkan di blog seperti pada breadcrumb, menu, atau widget label atau pada navigasi next prev, maka halaman-halaman tersebut tetap dirayapi bot.

Baca Juga : Penyebab dan Solusi Artikel Hilang dari SERP Google

Nah, untuk mengatasi masalah ini, sebaiknya anda memperbolehkan halaman-halaman tersebut untuk dirayapi bot dan ditampilkan di hasil pencarian.

Silahkan ganti robots.txt dengan kode berikut ini jika Anda menggunakan robots.txt seperti di atas.

Caranya yaitu buka Blogger >> Setelan >> Preferensi Penelusuran >> Perayap dan Pengindeksan >> robots.txt khusus.

Kemudian ganti atau aktifkan fungsi robot.txt sebelumnya dengan format dibawah ini.
User-agent: *
Disallow:

Sitemap: https://www.domain-anda.com/sitemap.xml
Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.domain-anda.com/feeds/posts/default
Sitemap: https://www.domain-anda.com/sitemap-pages.xml

Silahkan ganti kode yang ditandai dengan domain blog anda.

Tambahkan baris baru jika blog anda sudah memiliki lebih dari 500 atau 1500 postingan, contohnya seperti ini
User-agent: *
Disallow:

Sitemap: https://www.domain-anda.com/sitemap.xml
Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=501&max-results=500
Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1001&max-results=500
Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1501&max-results=500
Sitemap: https://www.domain-anda.com/feeds/posts/default
Sitemap: https://www.domain-anda.com/sitemap-pages.xml

Kemudian klik tombol Simpan perubahan.

Lalu sekarang silahkan simpan kode meta tag noindex berikut di bagian <head> blog untuk memblokir bot pada halaman arsip, search, label dan tidak menampilkannya di halaman hasil percarian Google.
<b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchQuery'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchLabel'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>

Dan pastikan anda tidak menggunakan widget arsip blogger.

Jika sudah, klik tombol Simpan tema dan submit robot.txt baru di Robot Testing Tools.

Pilih blognya, kemudian isi kolom yang ada di halaman tersebut dengan format robot.txt yang baru dan klik tombol Kirim untuk mempercepat perubahan robot.txt dari blog anda.

Baca Juga : Cara Terbaru Agar Artikel Blog Cepat Terindeks Oleh Google

Kemudian masuk ke Google Search Console dan lakukan validasi pada peringatan diindeks, meski diblokir oleh robots.txt dan silahkan pantau terus Search Console nya.

Demikian Cara Mengatasi Masalah Peringatan Diindeks Meski Diblokir Oleh Robots.txt. Semoga bermanfaat dan terima kasih sudah berkunjung. Salam AdityaTekno.com

Sumber :
https://www.kompiajaib.com/2019/06/mengatasi-masalah-warning-diindeks.html
https://www.arlinadzgn.com/2020/01/mengatasi-pesan-peringatan-indeks-di-search-console.html

Anda mungkin menyukai postingan ini