Diindeks meski diblokir oleh robots.txt di Blogger, Apa Penyebabnya?

Postingan ini aku tulis untuk menjawab pertanyaan yang lumayan kerap ditanyakan oleh pelanggan template blogger premium punya saya, yakni mengenai persoalan notifikasi Diindeks meski diblokir oleh robots.txt di Google Search Console.

Di sini aku tidak hanya menyatakan langkah menanggulangi permasalahan ini, tetapi termasuk akan menyatakan kenapa persoalan ini mampu terjadi. Harapannya pastinya sehingga sobat lebih sadar perihal langkah kerja mesin pencari, terutama Google.

Langsung saja ke topik pembahasan.

Penyebab peringatan “Diindeks meski diblokir oleh robots.txt”
Mungkin banyak yang belum tahu, penyebab utama munculnya peringatan ini adalah sebab mesin pencari Google sudah melewatkan perintah noindex memanfaatkan file robots.txt.

Sedangkan di blogger sampai selagi ini tetap manfaatkan file robots.txt untuk menghindar halaman tertentu supaya tidak terindex di mesin pencari.

Halaman tersebut adalah halaman pencarian dan halaman label.

File robots.txt default blogger
Pada file robots.txt tersebut tercantum perintah :

Disallow: /search
Perintah selanjutnya berfaedah untuk memberitahu mesin pencari agar tidak mengindex URL yang diawali bersama /search sehabis alamat blog.

Nah URL yang di awali bersama dengan /search di blogger digunakan untuk halaman label dan halaman pencarian.

Contoh URL halaman label = https://linkmagz.sugeng.id/search/label/Produk

Contoh URL halaman pencarian = https://linkmagz.sugeng.id/search?q=mantabbbbb

Selain untuk halaman label dan pencarian, URL yang dimulai bersama dengan /search termasuk digunakan untuk menampilkan daftar tulisan = https://linkmagz.sugeng.id/search?updated-max=2020-01-05T22:22:00-08:00&max-results=7

Terus bagaimana cara mengatasinya?
Ada sebagian metode yang sanggup digunakan untuk mengatasi masalah ini.

1. Cara Pertama

Cara paling mudah adalah dengan menghapus perintah Disallow: /search di file robots.txt pakai fitur custom robots.txt di blogger.

Dengan cara ini dapat menghilangkan peringatan diindeks meski diblokir oleh robots.txt di google search console.

Tapi pengaruh buruknya halaman label dan pencarian masih selalu dapat terindex di halaman pencarian.

Umumnya kita tidak dambakan halaman label dan pencarian terindex di halaman pencarian dikarenakan halaman selanjutnya juga halaman memiliki kwalitas rendah.

2. Cara Kedua

Cara ke dua adalah bersama dengan menggunakan tag header robot untuk memberitahu Google supaya tidak mengindex halaman label dan pencarian.

Saat ini Google tetap mendukung tag header robot, bersama dengan kata lain tag header robot tidak diabaikan layaknya file robots.txt.

Untuk memasang tag header robot ini sebenarnya/seharusnya mampu ditunaikan secara otomatis bersama pakai fitur “Tag tajuk robot khusus” di blogger.

Ketika pelanggan template blogger premium milik saya bertanya masalah ini, saya biasanya menyuruh untuk menyesuaikan setelan “Tag tajuk robot khusus.”

Tapi entah kenapa terakhir saya cek fitur “Tag tajuk robot khusus” di blogger sudah tidak lagi bekerja sebagaimana mestinya. Sekarang telah tidak otomatis terlihat tag header robot noindex di halaman arsip, label, dan pencarian.

Karena cara selanjutnya telah tidak ulang bekerja, maka alternatifnya sanggup dengan menempatkan tag meta robot langsung di di dalam template.

Caranya bagaimana, Mas?

Langsung saja salin kode di bawah ini :



Letakan kode tersebut tepat di bawah kode di dalam template.

Langkah selanjutnya, sahabat terhitung wajib mengapus perintah Disallow: /search terhadap file robots.txt.

Karena kalau perintah Disallow: /search tidak dihapus, robot Google tidak sanggup membaca perintah berasal dari tag meta robot yang telah dipasang sebelumnya.

Untuk langkah menghapusnya silakan masuk ke dashboard blogger > setelan > Crawler dan pengindeksan > Aktifkan fitur robots.txt kustom.

Klik terhadap robots.txt kostum, setelah itu masukkan kode ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Allow: /

Sitemap: https://linkmagz.sugeng.id/sitemap.xml
Note: pindah linkmagz.sugeng.id dengan alamat blog sobat.

Jangan lupa klik “Simpan”

Jika sudah jalankan perubahan, jangan lupa klik tombol “Validasi Perbaikan” di dashboard Search Console. Setelah itu tunggu hingga notifikasi “Diindeks meski diblokir oleh robots.txt” hilang.

Beberapa pesan notifikasi lain
Selain notifikasi “Diindeks meski diblokir oleh robots.txt”, nyaris dipastikan di Google Search Console juga nampak notifikasi-notifikasi lainnya.

Notifikasi lain tak sekedar “Diindeks meski diblokir oleh robots.txt” umumnya bukan berbentuk sebagai peringatan. Artinya meskipun dibiarkan saja tidak begitu masalah. Malah justru lebih baik dibiarkan saja.

Berikut adalah sebagian notifikasi yang paling umum:

Anomali crawling
Notifikasi ini keluar umumnya gara-gara ada URL tulisan yang awalnya udah terindex di mesin pencari namun udah dihapus di blog.

Cara mengatasinya bagaimana, Mas?

Bisa dibiarkan saja atau jika teman baik risih teman baik dapat mengalihkan URL tulisan yang error ke postingan lain dengan memanfaatkan fitur pengalihan tertentu di blogger.

Cara manfaatkan fitur pengalihan tertentu dapat dibaca di sini : Cara SEO Blogger.

Di-crawl – waktu ini tidak diindeks
Notifikasi ini terlihat umumnya dikarenakan ada URL RSS feed yang tidak ditampilkan di hasil pencarian.

Cara mengatasinya bagaimana, Mas?

Cek daftar URL yang memperoleh notifikasi ini. Jika sebagain besar adalah URL RSS feed maka memadai biarkan saja.

URL RSS feed contohnya seperti ini:

https://viomagz.sugeng.id/feeds/posts/default

https://viomagz.sugeng.id/feeds/273523674801878748/comments/default

Halaman alternatif bersama tag kanonis yang tepat
Notifikasi ini keluar karena ada URL versi mobile dengan parameter ?m=1 di belakang URL.

Ketika kawan akrab membuka blog melalui perangkat mobile, di belakang URL dapat otomatis ada tambahan paremeter ?m=1.

Di blogger otomatis menambahkan tag canonical (kanonis) terhadap halaman/postingan dengan parameter ?m=1.

Tag kanonis ini terhadap intinya berikan jelas mesin pencari bahwa URL dengan tambahan ?m=1 dan yang tidak ada tambahannya adalah satu halaman/postingan yang sama, agar tidak sebabkan duplicate content.

Cara mengatasinya bagaimana, Mas?

Ini normal, lumayan biarkan saja.

Dan notifikasi lainnya
Masih banyak notifikasi-notifikasi lainnya yang muncul di Google Search Console. Namun notifkasi tersebut sebagian besar sifatnya bukan peringatan.

Selama notifikasinya bukan sebuah peringatan atau warning, maka kawan akrab tidak mesti amat khawatir. Cukup dibiarkan saja apa adanya.

Mungkin hanya hingga di sini saja tulisan saya kali ini.

Jika tersedia pertanyaan silakan disampikan lewat komentar.

Terima kasih.

If you have any sort of concerns pertaining to where and just how to utilize Wallpaper dinding 3d, you can call us at the webpage.