Преглед садржаја
Поздрав свима, почињем са овим водичем на роботс.ткт, надам се да вам се свиђа 
Дозволите свим роботима да посећују све датотеке које су ускладиштене у коренском директоријуму веба:
Кориснички агент: * Не дозвољава:
Спречите приступ свим роботима и свим датотекама ускладиштеним у коренском директоријуму:
Кориснички агент: * Не дозвољава: /
Дозволи приступ само једном роботу, у овом примеру ће само Гоогле моћи да индексира
Усер-агент: гооглебот Дисаллов: Усер-агент: * Дисаллов: /
Најпопуларнији роботи имају име за употребу у корисничком агенту
гооглебот => за Гоогле
мснбот => МСН претрага
иахоо-слурп => Иахоо!
сцрубби => Сцруб Тхе Веб
робозилла => ДМОЗ Цхецкер
иа_арцхивер => Алека / Ваибацк
баидуспидер => Баиду
Постоје и специфичнији роботи, попут оних на сликама
гооглебот-имаге => Гоогле слика
гооглебот-мобиле => Гоогле Мобиле
Још један пример да сви поддиректоријуми који садрже џокер (/) морају бити блокирани, само они, осим свих других датотека и директоријума који не садрже џокер, номинално су системски или позадински директоријуми блокирани:
Кориснички агент: * Дисаллов: / цги-бин / Дисаллов: / имагес / Дисаллов: / тмп / Дисаллов: / админстрадор /
Спречите праћење одређене датотеке
Кориснички агент: * Не дозвољава: /паге.хтм
Ово се често користи када желимо да елиминишемо страницу која даје грешку 404 или да уклонимо страницу из резултата претраге, спречавајући тако њено пописивање.
Управљајте учесталошћу робота који индексирају
Фром Гугл анализе и од вебмастертоолс можете видети статистику, такође можете видети да понекад неким роботима треба много времена да прегледају нашу веб локацију и поднесу захтеве серверу, роботи троше пропусни опсег и ресурсе као да су само још један посетилац.
Постоји начин на који роботи не измичу контроли, можемо рећи сваком од њих
Кориснички агент: гооглебот Одлагање пописивања: 30
Овим обавештавамо Гоогле робота да сачека 30 секунди између сваког пописивања. Будите опрезни јер кашњење индексирања можда не подржавају сви претраживачи, Бинг и Гоогле.
Званична веб страница роботс.ткт То је хттп://ввв.роботсткт.орг/ где ћемо пронаћи имена свих робота, спецификације кода. Овде се открива да роботи служе за стандардизацију оних који се морају пратити и користе се на другим платформама за праћење и валидацију хтмл -а, проверу веза, индекс информација, ажурирање садржаја у претраживачима, заштиту веб локација.Да ли вам се допао и помогао овај водич?Можете наградити аутора притиском на ово дугме да бисте му дали позитиван поен
