Web botlarına hangi sayfaların ve dizinlerin indekslenip endekslenmeyeceğini yönlendirmek veya anlatmak için kullanılan dosya. Bu dosya, sayfalarınızı barındıran sunucunun kök dizinine yerleştirilmelidir. Dosya, robots.txt olarak adlandırılmalı ve okuma izinlerine sahip olmalıdır. Aşağıda bir robots.txt dosyası örneği verilmiştir.

 //www.computerhope.comUser-agent için # robots.txt dosyası: * Disallow: / directory1 / 
Disallow: / directory2 /

Yukarıdaki robots.txt örneğinde, ilk satır, dosyayı tanımlayan, ele alınamayan bir ifadedir. Daha sonra, User-agent satırı, dosyanın bu bölümünü hangi robotların veya botların izlemesi gerektiğini söyler. Yukarıdaki örnekte, * tüm botları temsil eder. Son olarak, sonraki iki satır, botların endekslememesini istediğiniz iki dizindir.

Bir botun web sitenizdeki tüm URL'leri sorgulamasına izin vermek istiyorsanız, botun adını ve ardından aşağıdaki örnekte görüldüğü gibi boş bir değere izin vermeyin.

 Kullanıcı aracısı: Somebot *
Disallow: 

İnternet terimleri, Meta etiketler, Robot, SEO terimleri, Site haritası, Web tasarım terimleri