​pixolino Website: robots.txt und XML-Sitemaps

​robots.txt

Für jede Website wird automatisch eine robots.txt erstellt. Diese Datei ist für normale Websitebesucher:innen nicht zu sehen und dient dazu, den Zugriff von Suchmaschinen auf die Website zu steuern. In der robots.txt werden alle Seiten für Suchmaschinen gesperrt …

• ... die in einer Website liegen, die für Suchmaschinen gesperrt wurde.
• ... für welche die Option »Seite darf von Suchmaschinen indiziert werden« deaktiviert ist.

Seiten, die versteckt sind, werden bei der Erstellung der robots.txt nicht berücksichtigt. Falls die gesamte Website versteckt ist, wird keine Seite bei der Erstellung der robots.txt berücksichtigt.

In der robots.txt wird zudem auf die XML-Sitemaps verwiesen.

Die robots.txt ist erreichbar unter:

​XML-Sitemaps

Die XML-Sitemaps werden ebenfalls automatisch erstellt. Wie auch die robots.txt sind sie für normale Websitebesucher:innen nicht zu sehen. Statt dessen sind auch sie für Suchmaschinen bestimmt, welche über die Sitemap von allen auf der Website vorhandenen Seiten und Bildern erfahren. Dazu werden drei verschiedene XML-Sitemaps erstellt:

Sitemap für Inhaltsseiten

In dieser Sitemap werden alle Seiten der Website referenziert …

• ... für welche die Option »Seite ist sichtbar und kann aufgerufen werden« aktiviert ist …
  
• … und für welche die Option »Seite wir in Sitemap aufgeführt« aktiviert ist …
  
• … und für welche die Option »Seite darf von Suchmaschinen indiziert werden« aktiviert ist
  
• ... die sich innerhalb einer Website befinden, die nicht versteckt oder für Suchmaschinen gesperrt wurde.
  

Die Inhaltsseiten-Sitemap ist erreichbar unter:

​Sitemap für Bilder

In dieser Sitemap werden alle Bilder der Website referenziert. Weitere Informationen zu dieser Sitemap finden Sie unter PageObject Bild.

Sitemap für Videos

In dieser Sitemap werden alle Videos der Website referenziert.

Die Video-Sitemap wird in der robots.txt automatisch referenziert und ist erreichbar unter: