Postingan ini saya tulis untuk menjawab pertanyaan yang cukup kerap ditanyakan oleh pelanggan template blogger premium punya saya, yakni perihal problem notifikasi Diindeks meski diblokir oleh robots.txt di Google Search Console.
Di sini saya tidak hanya mengatakan langkah mengatasi masalah ini, tetapi juga bakal menjelaskan kenapa persoalan ini bisa terjadi. Harapannya tentu saja supaya teman baik lebih jelas mengenai langkah kerja mesin pencari, terutama Google.
Langsung saja ke topik pembahasan.
Penyebab peringatan “Diindeks meski diblokir oleh robots.txt”
Mungkin banyak yang belum tahu, penyebab utama timbulnya peringatan ini adalah sebab mesin pencari Google sudah membiarkan perintah noindex pakai file robots.txt.
Sedangkan di blogger hingga selagi ini tetap mengfungsikan file robots.txt untuk mencegah halaman tertentu sehingga tidak terindex di mesin pencari.
Halaman berikut adalah halaman pencarian dan halaman label.
File robots.txt default blogger
Pada file robots.txt selanjutnya tertulis perintah :
Disallow: /search
Perintah tersebut bermanfaat untuk memberitahu mesin pencari agar tidak mengindex URL yang dimulai bersama /search sesudah alamat blog.
Nah URL yang diawali dengan /search di blogger digunakan untuk halaman label dan halaman pencarian.
Contoh URL halaman label = https://linkmagz.sugeng.id/search/label/Produk
Contoh URL halaman pencarian = https://linkmagz.sugeng.id/search?q=mantabbbbb
Selain untuk halaman label dan pencarian, URL yang di awali dengan /search juga digunakan untuk menampilkan daftar postingan = https://linkmagz.sugeng.id/search?updated-max=2020-01-05T22:22:00-08:00&max-results=7
Terus bagaimana cara mengatasinya?
Ada lebih dari satu metode yang sanggup digunakan untuk mengatasi permasalahan ini.
1. Cara Pertama
Cara paling enteng adalah bersama dengan menghapus perintah Disallow: /search di file robots.txt menggunakan fitur custom robots.txt di blogger.
Dengan cara ini bisa menghalau peringatan diindeks meski diblokir oleh robots.txt di google search console.
Tapi efek buruknya halaman label dan pencarian tetap selamanya sanggup terindex di halaman pencarian.
Umumnya kita tidak mendambakan halaman label dan pencarian terindex di halaman pencarian gara-gara halaman berikut juga halaman berkwalitas rendah.
2. Cara Kedua
Cara ke dua adalah bersama dengan memanfaatkan tag header robot untuk memberitahu Google agar tidak mengindex halaman label dan pencarian.
Saat ini Google tetap menopang tag header robot, dengan kata lain tag header robot tidak diabaikan layaknya file robots.txt.
Untuk memasang tag header robot ini sebenarnya/seharusnya mampu dilakukan secara otomatis bersama dengan gunakan fitur “Tag tajuk robot khusus” di blogger.
Ketika pelanggan template blogger premium milik aku menanyakan problem ini, saya kebanyakan menyuruh untuk mengatur setelan “Tag tajuk robot khusus.”
Tapi entah kenapa paling akhir saya cek fitur “Tag tajuk robot khusus” di blogger sudah tidak lagi bekerja sebagaimana mestinya. Sekarang sudah tidak otomatis muncul tag header robot noindex di halaman arsip, label, dan pencarian.
Karena langkah tersebut sudah tidak lagi bekerja, maka alternatifnya dapat bersama memasang tag meta robot segera di dalam template.
Caranya bagaimana, Mas?
Langsung saja salin kode di bawah ini :
Letakan kode selanjutnya pas di bawah kode di didalam template.
Langkah selanjutnya, kawan akrab termasuk harus mengapus perintah Disallow: /search pada file robots.txt.
Karena jika perintah Disallow: /search tidak dihapus, robot Google tidak bisa membaca perintah dari tag meta robot yang sudah dipasang sebelumnya.
Untuk cara menghapusnya silahkan masuk ke dashboard blogger > setelan > Crawler dan pengindeksan > Aktifkan fitur robots.txt kustom.
Klik terhadap robots.txt kostum, sesudah itu masukkan kode ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: https://linkmagz.sugeng.id/sitemap.xml
Note: rubah linkmagz.sugeng.id bersama alamat blog sobat.
Jangan lupa klik “Simpan”
Jika udah melaksanakan perubahan, jangan lupa klik tombol “Validasi Perbaikan” di dashboard Search Console. Setelah itu menunggu hingga notifikasi “Diindeks meski diblokir oleh robots.txt” hilang.
Beberapa pesan notifikasi lain
Selain notifikasi “Diindeks meski diblokir oleh robots.txt”, nyaris dipastikan di Google Search Console terhitung keluar notifikasi-notifikasi lainnya.
Notifikasi lain tak sekedar “Diindeks meski diblokir oleh robots.txt” kebanyakan bukan berupa sebagai peringatan. Artinya walaupun dibiarkan saja tidak begitu masalah. Malah justru lebih baik dibiarkan saja.
Berikut adalah lebih dari satu notifikasi yang paling umum:
Anomali crawling
Notifikasi ini muncul biasanya dikarenakan tersedia URL postingan yang awalnya telah terindex di mesin pencari tetapi telah dihapus di blog.
Cara mengatasinya bagaimana, Mas?
Bisa dibiarkan saja atau kalau kawan akrab risih kawan baik sanggup mengalihkan URL tulisan yang error ke postingan lain bersama gunakan fitur pengalihan tertentu di blogger.
Cara gunakan fitur pengalihan khusus bisa dibaca di sini : Cara SEO Blogger.
Di-crawl – saat ini tidak diindeks
Notifikasi ini nampak kebanyakan sebab tersedia URL RSS feed yang tidak ditampilkan di hasil pencarian.
Cara mengatasinya bagaimana, Mas?
Cek daftar URL yang beroleh notifikasi ini. Jika sebagain besar adalah URL RSS feed maka lumayan biarkan saja.
URL RSS feed contohnya layaknya ini:
https://viomagz.sugeng.id/feeds/posts/default
https://viomagz.sugeng.id/feeds/273523674801878748/comments/default
Halaman alternatif bersama tag kanonis yang tepat
Notifikasi ini muncul dikarenakan terdapatnya URL versi mobile dengan parameter ?m=1 di belakang URL.
Ketika kawan baik membuka blog melalui perangkat mobile, di belakang URL akan otomatis tersedia tambahan paremeter ?m=1.
Di blogger otomatis memberi tambahan tag canonical (kanonis) pada halaman/postingan bersama parameter ?m=1.
Tag kanonis ini pada intinya memberi paham mesin pencari bahwa URL bersama tambahan ?m=1 dan yang tidak tersedia tambahannya adalah satu halaman/postingan yang sama, supaya tidak membuat duplicate content.
Cara mengatasinya bagaimana, Mas?
Ini normal, memadai biarkan saja.
Dan notifikasi lainnya
Masih banyak notifikasi-notifikasi lainnya yang keluar di Google Search Console. Namun notifkasi tersebut lebih dari satu besar sifatnya bukan peringatan.
Selama notifikasinya bukan sebuah peringatan atau warning, maka kawan akrab tidak mesti sangat khawatir. Cukup dibiarkan saja apa adanya.
Mungkin cuma hingga di sini saja tulisan aku kali ini.
Jika tersedia pertanyaan silakan disampikan melalui komentar.
Terima kasih.
If you have any concerns concerning where and how you can use caraseru, you could call us at our web-page.