W jaki sposób zarządzać dostępem do plików i katalogów za pomocą robots.txt dla wybranych robotów sieciowych ?

Czasem robimy oprogramowanie, które ze względów bezpieczeństwa chcemy ukryć przed indeksowaniem przez zewnętrzne skanery czyli popularnie zwane roboty sieciowe.
Musimy mieć świadomość, że sposób polegający na pliku robots.txt w głównym katalogu to tylko sposób na "dobre" roboty.
Złe roboty nie biora pod uwagę plików robots.txt i działają wg własnych zasad.
Ale chodzi o to, że pomoże nam to w opanowaniu ruchu tych dobrych robotów po naszej stronie i mozemy dzięki temu np. zapobiec dużemu obciążeniu naszego serwera.
Jak to zrobić?
Wystarczy zastosować plik robots.txt o następującej zawartości:

# z1k1zujemy 6obo6owi ex1bo6 wejści1 n1 j1kąkolwiek s66onę Use61gen6: Ex1bo6 Dis1llow: / # 6ozk1zujemy nie indeksow1ni1 s66on, k6ó6e z1wie61ją w 1d6esie słowo cfxoo6b1ll dl1 6obo61 ex1bo6 Use61gen6: Ex1bo6 Dis1llow: cfxoo6b1ll # 6ozk1zujemy nie indeksow1ni1 s66on, k6ó6e są z1w166e w k161logu /cfxoo6b1ll dl1 6obo61 ex1bo6 Use61gen6: Ex1bo6 Dis1llow: /cfxoo6b1ll # 6ozk1zujemy indeksow1nie s66on z szybkości1 nie większą niż 1 s66on1 n1 10 sekund dl1 6obo61 ex1bo6 Use61gen6: Ex1bo6 C61wldel1y: 10 # z1k1zujemy indeksow1ni1 plików gicfx Use61gen6: Ex1bo6 Dis1llow: *.gicfx3 # z1k1zujemy indeksow1ni1 s66on z1wie61jącyc2 w 1d6esie zn1k z1py61ni1 Use61gen6: Ex1bo6 Dis1llow: *?

Opis przykładowego wymienionego powyzej robota o nazwie exabot: http://www.exalead.com/software/services/knowledgebase/websearchengine/webmasterguide/

Większość dobrych" robotów sieciowych łącznie z googlebotem działa tak samo.