Tapike.com

Cara Mengatasi URL yang Dicekal Robot.txt

Cara Mengatasi URL yang Dicekal Robot.txt
Cara Mengatasi URL Dicekal Robot.txt - Pada kali ini saya akan membahas bagaimana cara mengatasi url yg dicekal robot.txt atau menghapus pencekalan url robot.txt. Blog baru sering mengalami kejadian di mana ada url dicekal. Ini akan berdampak besar pada hasil pencarian google akan konten blog anda. Dimana konten tidak akan di akses ada di crawl oleh robot karena ada perintah untuk tidak mengakses konten tersebut. Url dicekal robot dapat dilihat melalui webmaster tool. Pada halaman webmaster, pilih menu perayapan kemudian pilih url yg dicekal. Pada halaman tersebut akan nampak jumlah url konten blog anda yg dicekal oleh robot. Bagaimana cara mengatasi url yg dicekal robot.txt, simak penjelasannya di bawah ini.

Cara Mengatasi URL Dicekal Robot.txt

Pada dasarnya format robot.txt ketika anda baru memulai blog akan terlihat seperti di bawah ini.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://tapike.com/feeds/posts/default?orderby=updated

Tag Disallow di atas memerintahkan robot.txt untuk tidak mengakses halaman seperti /search/label/blogger dan halaman lain yg sama. Nah bagaimana cara mengatasi pencekalan url simak caranya.
  • Login ke akun blogger anda.
  • Pada dashboard pilih menu setelan > Preferensi penelusuran
  • Pada kolom Perayap dan pengindeksan,
  • Klik Edit pada robots.txt khusus.
  • Masukan kode dibawah ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://tapike.com/feeds/posts/default?orderby=updated
  • Kemudian klik simpan
Tulisan yg berwarna merah silahkan anda ubah dengan url blog anda. Pada kode di atas kita hanya menghilang tag /search. Dalam 2 hari kemungkinan url yg dicekal akan terindeks kembali. Demikianlah ulasan saya mengenai cara mengatasi url yg dicekal robot.txt atau cara menghapus pencekalan url robot.txt. Semoga artikel ini dapat bermanfaat bagi kita semua.
40 Comments Blogger
Disqus
  1. tetap aja gan url banyak yang di cekal

    BalasHapus
    Balasan
    1. untuk menghilangkan URL yang dicekal sedikit membutuhkan waktu gan.

      Hapus
  2. masih tetap sama ada solusi lain gak yah

    BalasHapus
    Balasan
    1. Itu merupakan solusi terbaik. Untuk menghilangkan URL yang di cekal sedikit membutuhkan waktu.

      Hapus
  3. Langsung dicoba gan. Semoga url yang dicekal berkurang

    BalasHapus
  4. info bermanfaat sekali.. saya banyak bertanya di group FB tentang ini dan baru terjawab di Blog anda.. Terima kasih.

    BalasHapus
  5. Tadi dikomentar saya lihat sobat mengatakan menbutuhkan waktu lama untuk memulihkan url yang dicekal ya? Terus kira2 berapa lama waktu yang diperlukan?
    masih newbie http://bagussshare.blogspot.com

    BalasHapus
    Balasan
    1. Itu hal yang belum sepenuhnya saya pahami gan, karena saat url saya dicekal, saya memakai cara diatas, namun url yang dicekal belum pulih-pulih gan.

      Hapus
    2. dihalaman webmaster saya ada 55 url dicekal gan. cara ini beneran work gk ya
      http://venom-ku.com

      Hapus
    3. Dulu pertama kali saya membuat blog ini, saya juga mendapati banyak url blog saya yang di cekal. Tapi setelah saya googling bagaimana cara meminimalisir hal tersebut, saya menemukan cara ini. Dan hasilnya Alhamdulillah sudah tidak ada ada lagi url yang di cekal. Sekarang webmaster tool telah mengeluarkan versi terbaru pengujian robot txt. Jadi sekarang anda sudah bisa mengecek satu persatu url mana yang di cekal.

      Hapus
  6. Kalau gak dicekal... apakah tidak menimbulkan duplicat content bang?

    BalasHapus
  7. makasih gan,, bermanfaat sekali

    BalasHapus
  8. thanks info nya mas, langsung saya coba di terapkan semoga aja hasl nya membaik

    BalasHapus
  9. Kalau tag /Search ada dua
    1 dibawah user-agent:* dan 1 dibawah user-agent: Googlebot
    yang dihapus "search" yang mana?
    Thanks, Yowan.

    BalasHapus
  10. mantap gan,kunjungi juga nih itbocah.blogspot.com

    BalasHapus
  11. gan klw blog ane udh pke domain gmna tuh gan?? apakah url nya di ganti ke domainnya?

    BalasHapus
    Balasan
    1. Ya, nt bakal di redirect sama sendiri dari subdomain ke domain agan. Tapi butuh waktu.

      Hapus
  12. Web saya tidak keluar dari search engine walaupun sudah melakukan cara ini , ada cara lain gk mas ? kenapa ya? thefifthteenstore.blogspot.com

    BalasHapus
    Balasan
    1. Postingan web atau blog yg tidak keluar atau terindex di mesin pencari bukan di akibatkan oleh robot.txt gan. Karena robot.txt cuma mencekal /search saja. Jika ingin blog cepat terindex search engine, agan harus submit blog ke webmaster tool atau ke https://www.google.com/webmasters/tools/submit-url.

      Hapus
  13. di google webmaster ada 5 yang dicekal, gimana ya caranya mengetahui url mana yg dicekal?

    BalasHapus
  14. terima kasih atas infonya salam kenal http://whussaya.blogspot.co.id/

    BalasHapus
  15. sangat bermanfaat.. dan ini baru nyadar.. terima aksih telah di ingtkan

    BalasHapus
  16. Tapi Kok Malah Nambah Gan URL Yang DicekaL Robot

    BalasHapus
  17. Prosesnya butuh waktu gan, Munkin google belum selesai me-render blog agan.

    BalasHapus
  18. ga ada perubahan pada "penguji robot.txt" di webmaster apakah itu normal? yang di rubah hanya "search" saja kan? soalnya sitemap aku pakai yang sitemap.xml bukan /feeds/posts/default?orderby=updated, apakah itu berpengaruh?

    BalasHapus
    Balasan
    1. Sekarang kayaknya url yang dicekal robot gak perlu di hiraukan lagi mbak. Saya aja cuma sekali dengan cara di atas, kemudian gak saya hiraukan, mau url blog saya dicekal atau pun enggak. Toh blog saya masih bisa muncul di mesin pencari :D

      Hapus
  19. cara ini pasti berhasil atau tidak?

    BalasHapus
  20. Gan,di webmaster, settingan robots.txt "/search" juga dihapus ya? di tunggu gan..

    BalasHapus
    Balasan
    1. Iya gan, tapi di tahun 2016 ini, banyak para webmaster yang tetap membiarkan url tersebut dicekal. Karena walaupun kita sudah mengatasi masalah tersebut, tetap ada url yang dicekal. Coba agan cari tahu lagi mengenai url yang dicekal, apakah penting atau tidak ?

      Hapus
  21. gan.. disitu kan url nya pakai http, kalau yang pakai https apakah harus ditulis https juga gan?

    BalasHapus
    Balasan
    1. Iya gan, tapi sepertinya url di cekal tidak begitu masalah untuk search engine gan. Karena situs ini memiliki 31 url yang di cekal, tapi tetap bisa muncul di page one search engine.

      Hapus
  22. thanks gan infonya, bermanfaat buat saya, kebetulan saya lagi cari solusi terkait itu, salam kenal ya ... http://addi-procomputer-fm-id.blogspot.com/

    BalasHapus
  23. Terima kasih Gan sangat bermanfaat Artikelnya ....

    BalasHapus
  24. duh artikel saya gada di google serch kenapa yah?

    BalasHapus
    Balasan
    1. Ada penyebab mengapa artikel tidak ada di google search atau belum di indeks google mas, pertama karena blog masih tergolong baru, kedua karena artikel baru saja di publikasikan, ketiga blog belum di daftarkan ke google webmaster tool, keempat blog terkena deindex (blog sudah pernah diindex, namun karena permasalahan tertentu google memutuskan untuk menghilangkan blog tsb dari indeksnya. Cara untuk mengetahui artikel sudah terindeks google atau belum sangat mudah mas, coba buka tab penyamaran atau tab biasa di browser, kemudia salin URL artikel dan pastekan di kotak pencarian google, jika tidak ada hasil apa-apa, berarti artikel belum terindeks. Agar artikel cepat terindeks coba masukan URL artikel ke https://www.google.com/webmasters/tools/submit-url?hl=in. Jika sudah coba ulangi beberapa menit kemudian cara mengetahui artikel sudah terindeks di atas. Terima kasih

      Hapus


Join This SiteInstagram