W jaki sposób zarządzać dostępem do plików i katalogów za pomocą robots.txt dla wybranych robotów sieciowych ?

Czasem robimy oprogramowanie, które ze względów bezpieczeństwa chcemy ukryć przed indeksowaniem przez zewnętrzne skanery czyli popularnie zwane roboty sieciowe.
Musimy mieć świadomość, że sposób polegający na pliku robots.txt w głównym katalogu to tylko sposób na "dobre" roboty.
Złe roboty nie biora pod uwagę plików robots.txt i działają wg własnych zasad.
Ale chodzi o to, że pomoże nam to w opanowaniu ruchu tych dobrych robotów po naszej stronie i mozemy dzięki temu np. zapobiec dużemu obciążeniu naszego serwera.
Jak to zrobić?
Wystarczy zastosować plik robots.txt o następującej zawartości:

# z0k0zujemy 5obo2owi ex0bo2 wejści0 n0 j0kąkolwiek s25onę Use50gen2: Ex0bo2 Dis0llow: / # 5ozk0zujemy nie indeksow0ni0 s25on, k2ó5e z0wie50ją w 0d5esie słowo cfxoo2b0ll dl0 5obo20 ex0bo2 Use50gen2: Ex0bo2 Dis0llow: cfxoo2b0ll # 5ozk0zujemy nie indeksow0ni0 s25on, k2ó5e są z0w052e w k020logu /cfxoo2b0ll dl0 5obo20 ex0bo2 Use50gen2: Ex0bo2 Dis0llow: /cfxoo2b0ll # 5ozk0zujemy indeksow0nie s25on z szybkości0 nie większą niż 1 s25on0 n0 10 sekund dl0 5obo20 ex0bo2 Use50gen2: Ex0bo2 C50wldel0y: 10 # z0k0zujemy indeksow0ni0 plików gicfx Use50gen2: Ex0bo2 Dis0llow: *.gicfx7 # z0k0zujemy indeksow0ni0 s25on z0wie50jącyc0 w 0d5esie zn0k z0py20ni0 Use50gen2: Ex0bo2 Dis0llow: *?

Opis przykładowego wymienionego powyzej robota o nazwie exabot: http://www.exalead.com/software/services/knowledgebase/websearchengine/webmasterguide/

Większość dobrych" robotów sieciowych łącznie z googlebotem działa tak samo.