Robots.txt jelentése
Szinte minden oldal robots.txt fájlja nyilvánosan is elérhető. Az URL sávba írjuk be a webhely nevét, majd utána, hogy /robots.txt.
Amikor a robotok az oldalunkra érkeznek, általában ennek a fájlnak a tartalmát vizsgálják meg először.