User-agent: *
Disallow:

User-agent: *
Disallow: /

User-agent: *
Disallow: /folder/

User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html

Latar Belakang Informasi tentang File Robots.txt

•  File robots.txt menginformasikan spider mesin pencari bagaimana berinteraksi dengan mengindeks konten Anda.
  •  Oleh mesin pencarian default serakah. Mereka ingin indeks informasiberkualitas tinggi sebanyak yang mereka bisa, & akan berasumsi bahwa mereka dapat merangkak segalanya kecuali Anda memberitahu merekajika.
  • Jika Anda menetapkan data untuk semua bot (*) dan data untuk bottertentu (seperti Googlebot) maka perintah bot tertentu akan diikuti saat mesin yang mengabaikan perintah bot global / standar.
    • Jika Anda membuat perintah global yang Anda ingin berlaku untukbot tertentu dan Anda memiliki aturan khusus lainnya untuk itu botmaka Anda perlu menempatkan orang perintah global dalam bagian untuk bot itu juga.
    • Bila Anda memblokir URL dari diindeks di Google melalui robots.txt,mereka masih mungkin menunjukkan halaman tersebut sebagaidaftar URL hanya dalam hasil pencarian mereka. Sebuah solusi yang lebih baik untuk benar-benar memblokir indeks suatu halaman tertentu adalah dengan menggunakan robot noindex meta tag pada basis per halaman. Anda dapat memberitahu mereka untuk tidakhalaman indeks, atau untuk tidak mengindeks halaman dan tidak mengikuti link keluar dengan memasukkan salah satu bit kode berikut di kepala HTML dari dokumen Anda yang Anda tidak ingindiindeks :
    • <meta name="robots" content="noindex"> <--halaman tidak diindeks, tapi link dapat diikuti
    <meta name="robots" content="noindex,nofollow"> <-- halaman tidak diindeks & link yang tidak diikutiHarap dicatat bahwa jika Anda melakukan keduanya:memblokir mesin pencari dalam robots.txt dan melalui meta tag, maka perintah robots.txt adalah pendorong utama,karena mereka tidak mungkin merangkak halaman untuk melihat meta tag, sehingga URL mungkin masih muncul dihasil pencarian yang tercantum URL-satunya
    
    
    • Jika Anda tidak memiliki file robots.txt, log server Anda akan kembali404 kesalahan setiap kali bot mencoba mengakses file robots.txtAnda. Anda dapat meng-upload sebuah file teks kosong bernamarobots.txt di root situs Anda (misalnya: indonesiiaku.com /robots.txt) jika Anda ingin berhenti mendapatkan 404 kesalahan,tetapi tidak ingin menawarkan perintah khusus untuk bot.
    • Beberapa mesin pencari memungkinkan Anda untuk menentukan alamat dari sebuah Sitemap XML dalam file robots.txt Anda, tetapi jika situs Anda kecil & terstruktur dengan baik dengan struktur linkbersih Anda tidak perlu membuat sitemap XML. Untuk situs yang lebih besar dengan beberapa divisi, situs yang menghasilkan sejumlah besar konten setiap hari, dan / atau situs dengan cepatberputar saham, XML Sitemaps dapat menjadi alat yang bergunauntuk membantu untuk mendapatkan konten penting diindeks &memantau kinerja relatif kedalaman pengindeksan oleh pagetype.

• Crawl Delay / Penundaan

  • Search engine memungkinkan Anda untuk mengatur prioritas merangkak.
    • Google tidak mendukung perintah penundaan merangkak langsung,tetapi Anda dapat menurunkan prioritas merangkak Anda di dalamGoogle Webmaster Central.
      • Google memiliki volume tertinggi pangsa pasar pencarian disebagian besar pasar, dan memiliki salah satu prioritasmerangkak paling efisien, sehingga Anda tidak perlu untuk mengubah prioritas merangkak Google.
    • Anda dapat mengatur Yahoo! Slurp penundaan merangkak dalam filerobots.txt Anda. (Catatan: di sebagian besar pasar utama di luarYahoo! Search Jepang didukung oleh Bing, sedangkan Googlekekuatan pencarian di Yahoo! Jepang).
      • Robots.txt merangkak mereka kode penundaan terlihat seperti
        User-agent: Slurp
        Crawl-delay: 5
        where the 5 is in seconds.
    • Informasi Microsoft untuk Bing terletak here.
      • robots.txt merangkak mereka kode penundaan terlihat seperti
        User-agent: bingbot
        Crawl-delay: 10
        where the 10 is in seconds.

  Robots.txt Wildcard Matching

  Google dan Microsoft Bing memungkinkan penggunaan wildcard dalam filerobots.txt.
  
  Untuk memblokir akses ke semua URL yang memuat tanda tanya (?), Anda dapat menggunakan entri berikut:

  User-agent: *
  Disallow: /*?

  Anda dapat menggunakan karakter $ untuk menentukan pencocokan akhir URL.Misalnya, untuk memblokir URL yang berakhir dengan sebuah asp, Anda dapat menggunakan entri berikut.:

  User-agent: Googlebot
  Disallow: /*.asp$

  Jika kurang lengkap informasi bisa klik Google dan Yahoo! Search. 
  .

  URL Tips khusus

  Bagian dari membuat file robots.txt bersih dan efektif adalah memastikan bahwa situs struktur dan nama file yang dibuat berdasarkan strategi suara.

  • Hindari Tanggal di URL: Jika pada beberapa titik waktu Anda ingin menyaring arsip berbasis tanggal maka Anda tidak ingin tanggal di path fileAnda dari halaman reguler Anda isi atau mudah untuk menyaring URL rutinAnda. Ada alasan lain untuk menghindari berbagai tanggal di URL juga.
  • Akhir URL Dengan Backslash : Jika Anda ingin memblokir nama filependek dan tidak memiliki garis miring terbalik di ujung jika kemudian Anda secara tidak sengaja bisa berakhir memblokir halaman penting lainnya.
  • Pertimbangkan URL terkait jika Anda menggunakan wildcardRobots.txt
  • URL Rewriting dinamis: Yahoo! Search menawarkan URL dinamismenulis ulang, tapi karena kebanyakan mesin pencari lain tidakmenggunakannya, Anda mungkin lebih baik menulis ulang URL Anda dalam file htaccess Anda daripada menciptakan tambahan penulisan ulang hanya untuk Yahoo! Search. Google menawarkan parameter penanganan pilihan &rel = kanonik, tetapi umumnya terbaik untuk memperbaiki URL publikdihadapi dengan cara yang membuat mereka sekonsisten.
  • Google menawarkan parameter penanganan pilihan & rel = kanonik, tetapiumumnya terbaik untuk memperbaiki URL publik dihadapi dengan cara yangmembuat mereka sekonsisten mungkin, sehingga
    • jika Anda pernah bermigrasi antara platform Anda tidak memiliki linktersesat banyak menunjuk ke halaman yang tidak lagi ada
    • Anda tidak berakhir mengembangkan labirin kompleks Gotchasketika Anda mengubah platform selama bertahun-tahun
  • Situs di seluruh pasar & bahasa: Search engine umumnya mencobauntuk memberikan hasil lokal dikenal dorongan peringkat, meskipun dalambeberapa kasus akan sulit untuk membangun link ke versi lokal dari situs.Google menawarkan hreflang untuk membantu mereka tahu mana URLyang setara di seluruh bahasa & pasar.

  
  
  

  Contoh Robot Aneh tapi nyata
  
  Google Membangkitkan Halaman Pencarian di Situs Anda?
  
  Google telah mulai memasukkan frasa pencarian ke dalam bentukpencarian, yang mungkin buang PageRank & telah menyebabkanbeberapa masalah konten duplikat. Jika Anda tidak memiliki banyakotoritas domain Anda mungkin ingin mempertimbangkan untukmemblokir Google mengindeks URL halaman pencarian Anda. JikaAnda tidak yakin URL halaman pencarian Anda, Anda dapat melakukanpencarian di situs Anda dan melihat apa URL muncul. Misalnya,
  ◦ URL pencarian default Wordpress biasanya? S = 

  • • Adding
      User-agent: *
      Disallow: /?s=ke file robots.txt Anda akan mencegah Googlemenghasilkan halaman tersebut
  •  Drupal kekuatan situs Book SEO, dan default kita Drupal URL pencarian/search/node/ 

  Isu Pembajakan? 

  Selama bertahun-tahun beberapa orang telah mencoba untuk membajak situs lainmenggunakan teknik jahat dengan web proxy. Google, Yahoo! Search, MicrosoftLive Search, dan Ask semua memungkinkan pemilik situs untuk otentikasi botmereka.
  

  • Sementara saya percaya Google memiliki proxy tetap pembajakansekarang, tip yang baik untuk meminimalkan risiko pembajakan adalah dengan menggunakan link absolut(like <a href="http://www.indonesiiaku.com/about.shtml">) bukan relatif Link(<a href="about.shtml">) .
  • If both the WWW and non WWW versions of your site are getting indexed you should 301 redirect the less authoritative version to the more important version.
    • Versi yang harus diarahkan adalah salah satu yang tidak peringkatserta untuk permintaan pencarian yang paling dan memiliki inbound link sedikit.
    • Back up lama. Anda htaccess sebelum perubahan itu!!

  Ingin Biarkan Indexing dari File Folder Tertentuyang Diblokir Menggunakan Pencocokan Pola?

  Bukankah kita yang rumit!
  
  Awalnya robots.txt hanya didukung arahan melarang, tetapi beberapa mesin pencari juga mendukung direktif memungkinkan. Yang memungkinkan direktifkurang didokumentasikan dan dapat ditangani secara berbeda oleh mesin pencari yang berbeda. Semetrical berbagi informasi tentang bagaimana Google menanganidirektif memungkinkan. Penelitian mereka menunjukkan:
  

  
  

  Jumlah karakter yang Anda gunakan dalam jalur direktif sangat penting dalam evaluasi dari suatu Izinkan terhadap Larang a.Aturan untuk memerintah mereka semua adalah sebagai berikut:
  
  Pencocokan Sebuah Izinkan direktif mengalahkan Larang cocokhanya jika mengandung jumlah lebih atau sama karakter di jalan