Aby wyłączać lub włączać indeksowanie stron dla wybranych robotów lub wybranych katalogów należy odpowiednio spreparować plik robots.txt, który musi znajdować się tylko i wyłącznie w głównym katalogu domeny.
Nalezy pamiętać , że pliki robots.txt są sprawdzane tylko przez roboty "normalnych" wyszukiwarek. Przed robotami spamerskimi, które nie czytają tego pliku nie można obronić się w ten sposób.
Ale stosując ten plik przynajmniej obronimy się przed typowymi robotami googli, yahoo i innych, których też są setki a nawet tysiące.
A moze się zdarzyć, że będziemy mieli podstronę której nie bedziemy chcieli zabezpieczać hasłem i będziemy chcieli aby była dla wszystkich dostępna, natomiast nie będzie nam potrzebne aby ta podstrona była w wynikach wyszukiwarek.
Oto przykłady stosowania:

blokowanie katalogu dla wszystkich robotów

blokowanie katalogu dla 1 robota, który przedstawia się jako DotBot

blokowanie całej strony dla 1 robota, który przedstawia się jako DotBot