Robot.txt Nedir ve Ne İşe Yarar?
Robots.txt bir metin dosyasıdır Sayfaları arama robotları söylemek tanıtmak sitenizde ana dizinde bulunan dosyasıdır. Robots.txt Her arama motorları için zorunlu anlamına gelir O robots.txt sitenizi taramasını arama motorları engelleyecek bir yol ne…