Robot.txt memang bisa menjadikan alat untuk bagaimana blog kita bisa di index secara cepat oleh pencarian google tetapi untuk blognya yang pake AMP ada settingan robot.txt yang bagus dan bisa menjadikan blog anda bisa menjadi page one di pencarian google.
Hal yang harus kita waspadai adalah bagaimana index google lebih bisa cepat ke blog yang kita punya, biasanya settingan pada robot txt sangat mempengaruhi pada blog kita, bisa saja menjadikan blog kita gagal di index oleh google karena settinganya yang salah. Berikut cara settingan robot.txt untuk blog yang AMP
Allow: /
Hal yang harus kita waspadai adalah bagaimana index google lebih bisa cepat ke blog yang kita punya, biasanya settingan pada robot txt sangat mempengaruhi pada blog kita, bisa saja menjadikan blog kita gagal di index oleh google karena settinganya yang salah. Berikut cara settingan robot.txt untuk blog yang AMP
Pertama
Seperti biasa yang pertama masuk dulu ke Setelan >>preferensi penelusuran>> lihat dimenu perayapan atau pengindexsan ada robot.txt, kalau saja anda belum mengaktifkanya bisa aktifkan dulu.
Kedua
Langkah kedua anda bisa memasukan kode ini
User-agent: Googlebot
User-agent: Googlebot
Allow: /
Disallow: /search
Sitemap: https://agenstar.blogspot.com/sitemap.xml
Untuk yang sitemap anda bisa mengganti dengan sitemap blog anda sendiri, kalau sudah tinggal simpan.
Mengapa file robots.txt penting
Pertama, mari kita lihat mengapa file robots.txt penting di tempat pertama.
File robots.txt, juga dikenal sebagai protokol atau standar robot pengecualian, adalah file teks yang memberi tahu web robot (paling sering mesin pencari) yang halamannya dirayapi di situs Anda.
Ini juga memberi tahu robot web halaman mana yang tidak dirayapi. Katakanlah mesin pencari akan mengunjungi suatu situs. Sebelum mengunjungi halaman target, itu akan memeriksa robots.txt untuk instruksi. Ada beberapa jenis file robots.txt, jadi mari kita lihat beberapa contoh yang berbeda dari apa yang terlihat.
Demikian postingan yang membahas tentang robot.txt amp kalian boleh mengikutinya atau kalau anda sudah mengerti tentang robot.txt anda juga bisa memodifikasi semau kalian asalkan saja tidak ada error di google webmaster.
Oke sekian dari postingan kali ini semoga membantu terima kasih untuk yang sudah berkunjung. See you again.
Ini juga memberi tahu robot web halaman mana yang tidak dirayapi. Katakanlah mesin pencari akan mengunjungi suatu situs. Sebelum mengunjungi halaman target, itu akan memeriksa robots.txt untuk instruksi. Ada beberapa jenis file robots.txt, jadi mari kita lihat beberapa contoh yang berbeda dari apa yang terlihat.
Demikian postingan yang membahas tentang robot.txt amp kalian boleh mengikutinya atau kalau anda sudah mengerti tentang robot.txt anda juga bisa memodifikasi semau kalian asalkan saja tidak ada error di google webmaster.
Oke sekian dari postingan kali ini semoga membantu terima kasih untuk yang sudah berkunjung. See you again.
