Postingan ini aku tulis untuk menjawab pertanyaan yang lumayan kerap ditanyakan oleh pelanggan template blogger premium milik saya, yaitu perihal masalah notifikasi Diindeks meski diblokir oleh robots.txt di Google Search Console.
Di sini saya tidak cuma menjelaskan langkah menangani problem ini, tetapi juga akan menyatakan kenapa persoalan ini sanggup terjadi. Harapannya sudah pasti sehingga teman baik lebih jelas tentang langkah kerja mesin pencari, terlebih Google.
Langsung saja ke topik pembahasan.
Penyebab peringatan “Diindeks meski diblokir oleh robots.txt”
Mungkin banyak yang belum tahu, penyebab utama munculnya peringatan ini adalah dikarenakan mesin pencari Google telah meremehkan perintah noindex memanfaatkan file robots.txt.
Sedangkan di blogger hingga saat ini masih memakai file robots.txt untuk menghambat halaman khusus agar tidak terindex di mesin pencari.
Halaman tersebut adalah halaman pencarian dan halaman label.
File robots.txt default blogger
Pada file robots.txt berikut tertera perintah :
Disallow: /search
Perintah selanjutnya berfaedah untuk memberitahu mesin pencari sehingga tidak mengindex URL yang dimulai bersama dengan /search sehabis alamat blog.
Nah URL yang di mulai bersama /search di blogger digunakan untuk halaman label dan halaman pencarian.
Contoh URL halaman label = https://linkmagz.sugeng.id/search/label/Produk
Contoh URL halaman pencarian = https://linkmagz.sugeng.id/search?q=mantabbbbb
Selain untuk halaman label dan pencarian, URL yang diawali bersama /search juga digunakan untuk menampilkan daftar postingan = https://linkmagz.sugeng.id/search?updated-max=2020-01-05T22:22:00-08:00&max-results=7
Terus bagaimana cara mengatasinya?
Ada lebih dari satu metode yang bisa digunakan untuk menanggulangi permasalahan ini.
1. Cara Pertama
Cara paling ringan adalah dengan menghapus perintah Disallow: /search di file robots.txt mengfungsikan fitur custom robots.txt di blogger.
Dengan cara ini bisa menghalau peringatan diindeks meski diblokir oleh robots.txt di google search console.
Tapi dampak buruknya halaman label dan pencarian masih tetap mampu terindex di halaman pencarian.
Umumnya kami tidak idamkan halaman label dan pencarian terindex di halaman pencarian karena halaman selanjutnya termasuk halaman berkwalitas rendah.
2. Cara Kedua
Cara ke dua adalah bersama memakai tag header robot untuk memberitahu Google supaya tidak mengindex halaman label dan pencarian.
Saat ini Google tetap menopang tag header robot, bersama kata lain tag header robot tidak diabaikan seperti file robots.txt.
Untuk memasang tag header robot ini sebenarnya/seharusnya sanggup dijalankan secara otomatis bersama dengan gunakan fitur “Tag tajuk robot khusus” di blogger.
Ketika pelanggan template blogger premium punya aku bertanya problem ini, saya umumnya menyuruh untuk sesuaikan setelan “Tag tajuk robot khusus.”
Tapi entah kenapa paling akhir saya cek fitur “Tag tajuk robot khusus” di blogger telah tidak kembali bekerja sebagaimana mestinya. Sekarang telah tidak otomatis terlihat tag header robot noindex di halaman arsip, label, dan pencarian.
Karena cara selanjutnya udah tidak lagi bekerja, maka alternatifnya bisa dengan menempatkan tag meta robot segera di dalam template.
Caranya bagaimana, Mas?
Langsung saja salin kode di bawah ini :
Letakan kode berikut tepat di bawah kode di di dalam template.
Langkah selanjutnya, teman akrab termasuk harus mengapus perintah Disallow: /search terhadap file robots.txt.
Karena jika perintah Disallow: /search tidak dihapus, robot Google tidak mampu membaca perintah berasal dari tag meta robot yang sudah dipasang sebelumnya.
Untuk cara menghapusnya silakan masuk ke dashboard blogger > setelan > Crawler dan pengindeksan > Aktifkan fitur robots.txt kustom.
Klik pada robots.txt kostum, sehabis itu masukkan kode ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: https://linkmagz.sugeng.id/sitemap.xml
Note: tukar linkmagz.sugeng.id bersama alamat blog sobat.
Jangan lupa klik “Simpan”
Jika sudah melakukan perubahan, jangan lupa klik tombol “Validasi Perbaikan” di dashboard Search Console. Setelah itu tunggu sampai notifikasi “Diindeks meski diblokir oleh robots.txt” hilang.
Beberapa pesan notifikasi lain
Selain notifikasi “Diindeks meski diblokir oleh robots.txt”, nyaris dipastikan di Google Search Console juga terlihat notifikasi-notifikasi lainnya.
Notifikasi lain tak sekedar “Diindeks meski diblokir oleh robots.txt” biasanya bukan bersifat sebagai peringatan. Artinya meskipun dibiarkan saja tidak begitu masalah. Malah justru lebih baik dibiarkan saja.
Berikut adalah beberapa notifikasi yang paling umum:
Anomali crawling
Notifikasi ini nampak biasanya sebab tersedia URL tulisan yang awalannya telah terindex di mesin pencari namun telah dihapus di blog.
Cara mengatasinya bagaimana, Mas?
Bisa dibiarkan saja atau kecuali kawan akrab risih kawan akrab bisa mengalihkan URL postingan yang error ke tulisan lain bersama manfaatkan fitur pengalihan spesifik di blogger.
Cara pakai fitur pengalihan spesifik mampu dibaca di sini : Cara SEO Blogger.
Di-crawl – selagi ini tidak diindeks
Notifikasi ini keluar biasanya sebab tersedia URL RSS feed yang tidak ditampilkan di hasil pencarian.
Cara mengatasinya bagaimana, Mas?
Cek daftar URL yang meraih notifikasi ini. Jika sebagain besar adalah URL RSS feed maka cukup biarkan saja.
URL RSS feed contohnya seperti ini:
https://viomagz.sugeng.id/feeds/posts/default
https://viomagz.sugeng.id/feeds/273523674801878748/comments/default
Halaman alternatif bersama dengan tag kanonis yang tepat
Notifikasi ini muncul karena ada URL versi mobile bersama parameter ?m=1 di belakang URL.
Ketika kawan akrab membuka blog lewat perangkat mobile, di belakang URL dapat otomatis tersedia tambahan paremeter ?m=1.
Di blogger otomatis mengimbuhkan tag canonical (kanonis) pada halaman/postingan bersama parameter ?m=1.
Tag kanonis ini pada intinya berikan paham mesin pencari bahwa URL dengan tambahan ?m=1 dan yang tidak ada tambahannya adalah satu halaman/postingan yang sama, supaya tidak menyebabkan duplicate content.
Cara mengatasinya bagaimana, Mas?
Ini normal, lumayan biarkan saja.
Dan notifikasi lainnya
Masih banyak notifikasi-notifikasi lainnya yang muncul di Google Search Console. Namun notifkasi selanjutnya lebih dari satu besar sifatnya bukan peringatan.
Selama notifikasinya bukan sebuah peringatan atau warning, maka sobat tidak mesti sangat khawatir. Cukup dibiarkan saja apa adanya.
Mungkin hanya hingga di sini saja tulisan saya kali ini.
Jika ada pertanyaan silakan disampikan melalui komentar.
Terima kasih.
Here’s more regarding Games & Apps take a look at the web page.