Sudahkah Anda menerima email dari Google Search Console yang mengatakan bahwa Anda memiliki "masalah cakupan Indeks Baru terdeteksi" belakangan ini?
Jika peringatan atau kesalahan menyatakan, "Diindeks, meskipun diblokir oleh robots.txt" maka inilah sedikit bantuan dengan apa yang terjadi dan cara untuk memperbaikinya, dan jika boleh mengabaikannya saja.
Apa itu Robots.txt?
File ini berada di host Anda, tepat di bawah file situs WordPress Anda.
Ini adalah file kedua yang dibaca bot ketika mereka merayapi situs Anda. (File pertama adalah .htaccess.)
Arahan dalam file robots.txt dapat mencakup:
Jalur ke peta situs XML Anda
Larang arahan untuk bot tertentu
Larang arahan untuk jenis file tertentu
Dan lagi
Pada dasarnya, ini adalah polisi lalu lintas dan penjaga gerbang untuk setiap bot yang merayapi situs Anda, mengetahui di mana segala sesuatu berada, dan apa yang harus dihindari.
Bot Bagus, Bot Buruk
Google bukan satu-satunya entitas yang mengirim bot untuk melihat-lihat dan melihat apa yang ada di situs Anda.
Setiap mesin pencari, seperti Bing dan Duck Duck Go, mengirim bot mereka sendiri.
Itu adalah bot yang baik, dan berperilaku baik, yang berarti bahwa mereka akan menghormati arahan dalam file robots.txt Anda.
Dan kemudian ada bot buruk - BANYAK dari mereka - sampai 10k - 40k sebulan di banyak situs (sesuai dengan apa yang saya lihat di audit situs).
Ini adalah bot berperilaku buruk dan banyak yang tidak akan menghormati arahan dalam file robots.txt Anda.
Jadi, Apa gunanya File Robots.txt?
Itu pertanyaan yang bagus!
Banyak SEO, termasuk yang terkenal dan populer, mengatakan tidak memasukkan apa pun ke file robots.txt Anda.
Saya belum pernah bertemu seorang SEO yang tahu apa-apa tentang keamanan situs dan kinerja pada tingkat yang diketahui seseorang yang berspesialisasi dalam layanan itu.
Yang mereka pedulikan hanyalah Google.
Dan itu akan baik-baik saja jika Google adalah satu-satunya bot yang merayapi situs Anda.
Tapi, itu tidak - JAUH darinya.
Bot Mengunyah Segalanya
Saya tidak bermaksud kasar, tetapi jika Anda bisa melihat akun hosting Anda seperti saya, itu akan terlihat seperti apartemen penuh kecoak dengan bot mengunyah semuanya.
Banyak permintaan yang saya terima untuk audit situs berasal dari pemilik situs yang berulang kali membatasi situsnya oleh tuan rumah karena sumber daya yang berlebihan.
Dua penyebab utama itu adalah:
Bot berjalan liar
Plugin babi sumber daya
Dua perbaikan bot untuk itu adalah:
Tendang bot buruk ke trotoar sebelum mereka mencapai situs Anda
Jauhkan bot yang baik dari tempat mereka tidak memiliki bisnis
BACA: Apa yang dimiliki Rumah Selebriti dan Situs Aman
BACA: Bagaimana CloudFlare membuat Situs Anda Lebih Cepat dan Aman
Apa Yang Ada Di File Robots.txt Saya
Sejak 2013 saya telah memuat robots.txt saya dengan arahan yang membuat bot baik keluar dari area di mana tidak ada yang bisa dirayapi atau diindeks oleh mereka.
Anda dapat melihat file robots.txt saya di sini kapan saja. (Ingatlah bahwa saya menguji segala sesuatu setiap saat, jadi apa yang Anda lihat mungkin tidak akan tetap seperti itu.)
Ini juga termasuk penundaan sehingga bot harus mengambil sedikit, mengunyah, dan menelan bukan hanya chomp, chomp, chomp.
Audit situs tahun-ke-tahun saya di beberapa situs klien menunjukkan kepada saya bahwa sumber daya hosting dikelola dengan benar dengan pengaturan ini.
Itu berarti bahwa sebagian besar sumber daya yang Anda bayar untuk host Anda disediakan untuk pengunjung situs manusia.
Apa Masalah Google?
Itu pertanyaan yang bagus!
Sejak mereka meluncurkan antarmuka Search Console baru di awal 2018, kami telah menerima email dengan peringatan dan kesalahan paling gila.
Saya baru saja menerima pada halaman komplain bahwa "kata sandi hilang" telah diindeks, tetapi diblokir oleh robots.txt.
Ini adalah string tindakan pada halaman login-wp, yang memang diblokir di robots.txt saya.
Benarkah, Google?
Saya punya laporan dari klien bahwa mereka mendapat peringatan serupa untuk komentar, yang juga diblokir, dengan sengaja, di robots.txt.
Kenapa tiba-tiba ada masalah, Google?
FYI - File robots.txt adalah hal default yang disalahkan setiap kali Google diblokir dari merayapi sesuatu. Anda akan mendapatkan pesan itu bahkan jika tidak ada robots.txt, atau itu kosong, dan sesuatu yang lain memblokir perayapan.
Apa Perbaikannya?
Itu pertanyaan yang bagus!
Dan Anda tidak akan menyukai jawabannya, itu tergantung.
Seperti yang saya lihat, pada saat penulisan ini, ada tiga cara untuk melakukannya.
Cara 1
Seburuk ini kedengarannya, Google harus diizinkan untuk menjelajah halaman untuk memastikan bahwa itu harus diindeks.
Jadi, Anda harus mengizinkan perayapan itu di robots.txt.
Dengan kata lain, Anda harus menyia-nyiakan anggaran perayapan terbatas Anda pada sesuatu yang tidak pernah Anda tunjukkan di SERPs.
Seperti yang saya katakan - gila.
Jika Anda memiliki Cloudflare dan langkah-langkah lain untuk menendang bot jahat sebanyak mungkin sebelum mengekang akun hosting dan situs Anda, maka mungkin Anda dapat membuka robots.txt Anda seperti banyak SEO merekomendasikan dan kemudian memantau bot Anda hit melalui AWStats (di cPanel akun hosting Anda).
AWStats melacak semua klik ke situs Anda. Google Analytics hanya melacak manusia - well, kebanyakan. Beberapa bot pandai menyelubungi manusia.
Tapi intinya adalah, Anda akan melihat perbedaan besar dalam statistik tersebut dengan AWStats yang WAY lebih tinggi. Itu normal.
Itu akan menghilangkan pesan kesalahan ini dari Google Search Console.
Cara 2
Ubah robots.txt Anda untuk memungkinkan pengindeksan apa pun yang dikeluhkan oleh Search Console.
Dan lagi, pantau statistik Anda.
Cara 3
Anda dapat membiarkan robots.txt seperti apa adanya dan memeriksa peringatan untuk melihat apakah itu adalah sesuatu yang Anda baik-baik saja karena diblokir.
Jangan abaikan saja semua peringatan!
Lihat apa yang pertama !!
FYI - Menandainya sebagai diperbaiki di Search Console hanyalah solusi sementara. Itu akan kembali.
Tes tes tes
Saya beruntung memiliki begitu banyak klien audit situs dengan lalu lintas harian yang cukup untuk memungkinkan kami menguji berbagai perbaikan untuk berbagai peringatan / kesalahan dan memantau efek dengan cepat.
Pastikan untuk mengikuti saya untuk hasil tes terbaru.
Tips Selasa adalah posting mingguan saya / podcast / streaming langsung dari berita dan tips situs teratas. Ini adalah 100% bacaan non-opsional untuk pemilik situs DIY sekarang, jika Anda memiliki harapan untuk tetap tenang di depan semua perubahan situs dari mana pun kita sedang terjadi.
Langganan Agenstar blog akan menempatkan semua posting saya di kotak masuk Anda, sehingga Anda tidak akan melewatkan apa pun, dan membuat Anda mendapatkan berita dan diskon eksklusif melalui buletin saya (saya hanya mengirimnya sekitar 1-2 kali setahun, kecuali ada situs darurat Anda harus tahu, seperti masalah keamanan utama.)
BlogAid di Facebook adalah tempat saya streaming langsung dengan berita terbaru.
BlogAid di YouTube untuk tayangan ulang dan tutorial video.
Saya juga berada di tempat lain yang ingin Anda ikuti! Bergabunglah dengan saya di mana Anda ingin hang out.
Jika peringatan atau kesalahan menyatakan, "Diindeks, meskipun diblokir oleh robots.txt" maka inilah sedikit bantuan dengan apa yang terjadi dan cara untuk memperbaikinya, dan jika boleh mengabaikannya saja.
Apa itu Robots.txt?
File ini berada di host Anda, tepat di bawah file situs WordPress Anda.
Ini adalah file kedua yang dibaca bot ketika mereka merayapi situs Anda. (File pertama adalah .htaccess.)
Arahan dalam file robots.txt dapat mencakup:
Jalur ke peta situs XML Anda
Larang arahan untuk bot tertentu
Larang arahan untuk jenis file tertentu
Dan lagi
Pada dasarnya, ini adalah polisi lalu lintas dan penjaga gerbang untuk setiap bot yang merayapi situs Anda, mengetahui di mana segala sesuatu berada, dan apa yang harus dihindari.
Bot Bagus, Bot Buruk
Google bukan satu-satunya entitas yang mengirim bot untuk melihat-lihat dan melihat apa yang ada di situs Anda.
Setiap mesin pencari, seperti Bing dan Duck Duck Go, mengirim bot mereka sendiri.
Itu adalah bot yang baik, dan berperilaku baik, yang berarti bahwa mereka akan menghormati arahan dalam file robots.txt Anda.
Dan kemudian ada bot buruk - BANYAK dari mereka - sampai 10k - 40k sebulan di banyak situs (sesuai dengan apa yang saya lihat di audit situs).
Ini adalah bot berperilaku buruk dan banyak yang tidak akan menghormati arahan dalam file robots.txt Anda.
Jadi, Apa gunanya File Robots.txt?
Itu pertanyaan yang bagus!
Banyak SEO, termasuk yang terkenal dan populer, mengatakan tidak memasukkan apa pun ke file robots.txt Anda.
Saya belum pernah bertemu seorang SEO yang tahu apa-apa tentang keamanan situs dan kinerja pada tingkat yang diketahui seseorang yang berspesialisasi dalam layanan itu.
Yang mereka pedulikan hanyalah Google.
Dan itu akan baik-baik saja jika Google adalah satu-satunya bot yang merayapi situs Anda.
Tapi, itu tidak - JAUH darinya.
Bot Mengunyah Segalanya
Saya tidak bermaksud kasar, tetapi jika Anda bisa melihat akun hosting Anda seperti saya, itu akan terlihat seperti apartemen penuh kecoak dengan bot mengunyah semuanya.
Banyak permintaan yang saya terima untuk audit situs berasal dari pemilik situs yang berulang kali membatasi situsnya oleh tuan rumah karena sumber daya yang berlebihan.
Dua penyebab utama itu adalah:
Bot berjalan liar
Plugin babi sumber daya
Dua perbaikan bot untuk itu adalah:
Tendang bot buruk ke trotoar sebelum mereka mencapai situs Anda
Jauhkan bot yang baik dari tempat mereka tidak memiliki bisnis
BACA: Apa yang dimiliki Rumah Selebriti dan Situs Aman
BACA: Bagaimana CloudFlare membuat Situs Anda Lebih Cepat dan Aman
Apa Yang Ada Di File Robots.txt Saya
Sejak 2013 saya telah memuat robots.txt saya dengan arahan yang membuat bot baik keluar dari area di mana tidak ada yang bisa dirayapi atau diindeks oleh mereka.
Anda dapat melihat file robots.txt saya di sini kapan saja. (Ingatlah bahwa saya menguji segala sesuatu setiap saat, jadi apa yang Anda lihat mungkin tidak akan tetap seperti itu.)
Ini juga termasuk penundaan sehingga bot harus mengambil sedikit, mengunyah, dan menelan bukan hanya chomp, chomp, chomp.
Audit situs tahun-ke-tahun saya di beberapa situs klien menunjukkan kepada saya bahwa sumber daya hosting dikelola dengan benar dengan pengaturan ini.
Itu berarti bahwa sebagian besar sumber daya yang Anda bayar untuk host Anda disediakan untuk pengunjung situs manusia.
Apa Masalah Google?
Itu pertanyaan yang bagus!
Sejak mereka meluncurkan antarmuka Search Console baru di awal 2018, kami telah menerima email dengan peringatan dan kesalahan paling gila.
Saya baru saja menerima pada halaman komplain bahwa "kata sandi hilang" telah diindeks, tetapi diblokir oleh robots.txt.
Ini adalah string tindakan pada halaman login-wp, yang memang diblokir di robots.txt saya.
Benarkah, Google?
Saya punya laporan dari klien bahwa mereka mendapat peringatan serupa untuk komentar, yang juga diblokir, dengan sengaja, di robots.txt.
Kenapa tiba-tiba ada masalah, Google?
FYI - File robots.txt adalah hal default yang disalahkan setiap kali Google diblokir dari merayapi sesuatu. Anda akan mendapatkan pesan itu bahkan jika tidak ada robots.txt, atau itu kosong, dan sesuatu yang lain memblokir perayapan.
Apa Perbaikannya?
Itu pertanyaan yang bagus!
Dan Anda tidak akan menyukai jawabannya, itu tergantung.
Seperti yang saya lihat, pada saat penulisan ini, ada tiga cara untuk melakukannya.
Cara 1
Seburuk ini kedengarannya, Google harus diizinkan untuk menjelajah halaman untuk memastikan bahwa itu harus diindeks.
Jadi, Anda harus mengizinkan perayapan itu di robots.txt.
Dengan kata lain, Anda harus menyia-nyiakan anggaran perayapan terbatas Anda pada sesuatu yang tidak pernah Anda tunjukkan di SERPs.
Seperti yang saya katakan - gila.
Jika Anda memiliki Cloudflare dan langkah-langkah lain untuk menendang bot jahat sebanyak mungkin sebelum mengekang akun hosting dan situs Anda, maka mungkin Anda dapat membuka robots.txt Anda seperti banyak SEO merekomendasikan dan kemudian memantau bot Anda hit melalui AWStats (di cPanel akun hosting Anda).
AWStats melacak semua klik ke situs Anda. Google Analytics hanya melacak manusia - well, kebanyakan. Beberapa bot pandai menyelubungi manusia.
Tapi intinya adalah, Anda akan melihat perbedaan besar dalam statistik tersebut dengan AWStats yang WAY lebih tinggi. Itu normal.
Itu akan menghilangkan pesan kesalahan ini dari Google Search Console.
Cara 2
Ubah robots.txt Anda untuk memungkinkan pengindeksan apa pun yang dikeluhkan oleh Search Console.
Dan lagi, pantau statistik Anda.
Cara 3
Anda dapat membiarkan robots.txt seperti apa adanya dan memeriksa peringatan untuk melihat apakah itu adalah sesuatu yang Anda baik-baik saja karena diblokir.
Jangan abaikan saja semua peringatan!
Lihat apa yang pertama !!
FYI - Menandainya sebagai diperbaiki di Search Console hanyalah solusi sementara. Itu akan kembali.
Tes tes tes
Saya beruntung memiliki begitu banyak klien audit situs dengan lalu lintas harian yang cukup untuk memungkinkan kami menguji berbagai perbaikan untuk berbagai peringatan / kesalahan dan memantau efek dengan cepat.
Pastikan untuk mengikuti saya untuk hasil tes terbaru.
Tips Selasa adalah posting mingguan saya / podcast / streaming langsung dari berita dan tips situs teratas. Ini adalah 100% bacaan non-opsional untuk pemilik situs DIY sekarang, jika Anda memiliki harapan untuk tetap tenang di depan semua perubahan situs dari mana pun kita sedang terjadi.
Langganan Agenstar blog akan menempatkan semua posting saya di kotak masuk Anda, sehingga Anda tidak akan melewatkan apa pun, dan membuat Anda mendapatkan berita dan diskon eksklusif melalui buletin saya (saya hanya mengirimnya sekitar 1-2 kali setahun, kecuali ada situs darurat Anda harus tahu, seperti masalah keamanan utama.)
BlogAid di Facebook adalah tempat saya streaming langsung dengan berita terbaru.
BlogAid di YouTube untuk tayangan ulang dan tutorial video.
Saya juga berada di tempat lain yang ingin Anda ikuti! Bergabunglah dengan saya di mana Anda ingin hang out.
