Sitenizin belirli bölümlerinin arama motorları tarafından dizinlenmesini istemeyebilirsiniz.Bazı sayfalar, içeriklerinin anlamlı görünmesini için kullanıcının kendilerine başka sayfalardan girmelerini isterler ve siz bu tür sayfaların dizinlenmesini istemeyebilirsiniz; muhtemelen alışveriş sisteminizinde dizinlenmesini istemeyeceksiniz.İstemedikleri yerlerin etrafında olta atan birçok arama motorundan korunmak için bir ipucu, Web sitesinin dosyalarının ana kök dizinine robots.txt diye bilinen özel olarak biçimlendirilmiş bir dosya eklemektedir.Robots.txt’ nin içindeki bir liste, sitedeki hangi sayfaların arama motorları için yasak bölge olarak tasarlandığını gösterir.Robots.txt dosyaları ve nasıl kullanılacakları hakkında daha fazlasını öğrenmek için geliştiricinize danışın ya da önemli arama motorlarını denetleyin.
Özel sayfaların dizinlenmesini engellemenin daha kolay bir yolu vardır.META etiketlerinin içine şu satırı yerleştirebilirsiniz:
‹META NAME=” CONTENT=” NOINDEX”›
Bununla birlikte, az sayıda arama motoru bu yöntemi robots.txt yönteminden daha çok tanır, bu nedenle robots.txt dosyası kullanmak tercih edilir.