Mit der Datei robots.txt Seiten vor Robots schützen
Manchmal ist es sinnvoll, bestimmte Seiten oder Bereiche einer Site vor der Indexierung zu schützen. Zum Beispiel dann, wenn es sich um Seiten handelt, die sich täglich ändern oder an denen noch gearbeitet wird. Auch Programmdateien, Bilder oder Logfiles will man vielleicht vor Robots schützen.
Vielleicht wird wirklich eine neue HP gebastelt ??
Register for free to join our community of investors and share your ideas. You will also get access to streaming quotes, interactive charts, trades, portfolio, live options flow and more tools.