Cara Mengatasi URL yang Dicekal Robot.txt

Cara Mengatasi URL yang Dicekal Robot.txt - Blog yang relatif baru sering mengalami kejadian di mana ada url yang dicekal robot.txt. Ini akan berdampak besar pada hasil pencarian google akan konten blog anda. Dimana konten tidak akan di akses ada di crawl oleh robot text karen ada perintah untuk tidak mengakses konten tersebut. Url yang di cekal robot.txt dapat anda lihat melalui webmaster tool. Pada halaman webmaster, pilih menu perayapan kemudia pilih url yang dicekal. Pada halaman tersebut akan nampak jumlah url konten blog anda yang dicekal oleh robot.txt. Bagaimana cara mengatasi url yang dicekal robot.txt, simak penjelasannya di bawah ini.

Cara Mengatasi URL yang Dicekal Robot.txt

Pada dasarnya format robot.txt ketika anda baru memulai blog akan terlihat seperti di bawah ini.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://typepedia.blogspot.com/feeds/posts/default?orderby=updated

Tag Disallow di atas memerintahkan robot.txt untuk tidak mengakses halaman seperti /search/label/blogger dan halaman lain yang sama. Nah bagaimana cara mengatasi URL yang dicekal robot.txt simak caranya.

• Login ke akun blogger anda.
• Pada dashboard pilih menu setelan > Preferensi penelusuran
• Pada kolom Perayap dan pengindeksan,
• Klik Edit pada robots.txt khusus.
• Masukan kode dibawah ini.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://typepedia.blogspot.com/feeds/posts/default?orderby=updated

• Kemudian klik simpan

Tulisan yang berwarna merah silahkan anda ubah dengan url blog anda. Pada kode di atas kita hanya menghilang tag /search. Dalam 2 hari kemungkinan url yang dicekal akan terindeks kembali. Demikianlah ulasan saya mengenai Cara Mengatasi URL yang Dicekal Robot.txt. Semoga artikel ini dapat bermanfaat bagi kita semua.