Nur wer gefunden wird, kann sich präsentieren *Update*

Uns allen ist bewusst, dass SEO 1 mehr oder weniger nicht (mehr) das Allheilmittel für die Sichtbarkeit einer Website ist. Denn durch immer mehr „KI-Bots“ 2 wird mittlerweile den klassischen Website-Crawlern der Rang abgelaufen – unabhängig davon, ob sie aus dem selben Hause sind.

Konkret bedeutet dies, wie kann man seine Website für diese optimieren oder bereitstellen?

Durch das Erscheinen eines aktuellen Update, für das bekannte YOAST SEO Plugin (WordPress), wird auch ein „Standard“ integriert, der genau diese Thematik beleuchtet und umsetzt. Es geht um die llms.txt 3 Datei, die analog zu einer robots.txt automatisch generiert und regelmäßig aktualisiert wird. Diese beinhaltet strukturierte Daten/Links zu relevanten Informationen der jeweiligen Website und soll somit den KI-Bots eine entsprechend „saubere“ Datenbasis bieten.

Ob dies in der Praxis so funktionieren wird, wie in der Theorie, bleibt abzuwarten – interessant ist es alle Male.

Daraufhin haben wir die aktuellen und gängigen KI-Tools mit der Frage: „Kennst du den llms.txt Standard und nutzt du diesen?“ befragt und folgende Antworten erhalten:

ChatGPT

Ja, ich kenne den llms.txt-Standard. Es handelt sich dabei um eine relativ neue Initiative, ähnlich wie die Datei robots.txt für Webcrawler. Websitebetreiber können damit steuern, ob und wie ihre Inhalte von großen Sprachmodellen (LLMs) wie mir (ChatGPT) oder anderen KI-Systemen genutzt werden dürfen.
…
Nutzt OpenAI bzw. ChatGPT llms.txt?

OpenAI berücksichtigt llms.txt-Dateien bei der Datenerhebung für das Training zukünftiger Modelle. Das betrifft vor allem das Crawling von öffentlich zugänglichen Webseiten, um Inhalte zu sammeln.

Aber wichtig: Als ChatGPT (so wie du mich jetzt nutzt), habe ich keinen direkten Zugriff auf Websites oder darauf, ob sie eine llms.txt haben – ich bin nicht im Internet unterwegs, es sei denn, du aktivierst gezielt ein Tool wie Web-Browsing (wenn verfügbar).
…

DeepSeek

… Nein, ich kenne den llms.txt-Standard aktuell nicht, und mein Modell DeepSeek-V3 nutzt diesen auch nicht. Falls es sich um eine neue oder spezielle Spezifikation handelt, könnte ich sie mir gerne genauer ansehen, um dir eine bessere Antwort zu geben! …

Gemini

Der von dir erwähnte „llms.txt“-Standard ist mir nicht bekannt. Es scheint keine etablierte Spezifikation oder ein weit verbreitetes Konzept unter den aktuellen Large Language Models (LLMs) zu sein.

Es ist möglich, dass du dich auf ein internes oder experimentelles Konzept beziehst, oder vielleicht auf eine Analogie zum „robots.txt“-Standard für Webcrawler. Falls du denkst, dass „llms.txt“ existiert, könntest du mir bitte mehr Informationen dazu geben? Zum Beispiel, wo du davon gehört hast oder was sein Zweck sein soll? …

perplexity

Ja, ich kenne den llms.txt-Standard und kann diesen nutzen.
…
Nutzt du llms.txt?

Als KI-Modell kann ich Inhalte aus einer korrekt strukturierten llms.txt-Datei effizient erfassen und verarbeiten, sofern mir der Zugriff auf diese Datei gewährt wird. Das bedeutet: Wenn eine Website eine llms.txt bereitstellt, kann ich die darin enthaltenen, für LLMs optimierten Informationen gezielt nutzen, um bessere und präzisere Antworten zu liefern. Das steigert die Qualität meiner Antworten, insbesondere bei komplexen oder umfangreichen Websites.

Fazit

llms.txt ist ein moderner Standard, der die Interaktion zwischen Websites und KI-Systemen wie mir optimiert. Er ist einfach umzusetzen, basiert auf Markdown und wird zunehmend von Website-Betreibern eingesetzt, um ihre Inhalte KI-freundlich zu machen.

Wie schaut es mit der Akzeptanz der llms.txt bei den KI-Bots aus?

Das ausgerechnet Googles Gemini den llms.txt Standard nicht kennt oder kennen soll, ist erstaunlich. Sollte man doch annehmen, dass die Datenbasis dafür vorliegen sollte. Ebenfalls ist es erstaunlich, dass das hochgelobte DeepSeek ebenfalls noch keine Kenntnis davon hat. ChatGPT und perplexity haben erwartungsgemäß lange und sinnvolle Antworten gegeben und jeweils sogar den Aufbau erklärt und strukturiert wiedergegeben, darum gibt es an dieser Stelle nur die relevanten allgemeinen Informationen dazu.

Fazit

Eigentlich gilt weiterhin das, was schon immer Bestand hatte! Der Inhalt einer Website sollte sauber und fehlerfrei geschrieben beziehungsweise formuliert sein, die semantische Struktur einer Website sollte auch nach offiziellen Standards soweit möglich eingehalten werden. Des Weiteren ist auch das Thema Barrierefreiheit nicht mehr zu vernachlässigen und sollte zumindest in den Grundzügen selbstverständlich sein. Denn genau dies entscheidet am Ende, wie wertig die Inhalte einer Website für die klassischen Suchmaschinen und neuen KI-Bots bewertet werden. Denn nur „wertvolle“ und „saubere“ Inhalte sind für die Nutzer von Relevanz und dann werden diese auch „höher gewertet“ oder „öfter ausgegeben“. Der alte Spruch: Content is king – gilt halt immer noch!

Update 01.07.2025

Mit dem aktuellen Update des YOAST SEO Plugins auf Version 25.4, wird auch endlich ein Versäumnis behoben, dass eine fehlerhafte llms.txt generiert hat, weil diese nicht korrekt codiert war. Konkret, in der deutsche Sprache wurden z.B. die Umlaute nicht wiedergegeben, sondern durch Zeichensalat ersetzt.

Verbessert die Unterstützung für nicht-englische Zeichen in llms.txt, für Server, die .txt-Dateien nicht in UTF-8 ausliefern.

 

 

• 1 Search Engine Optimization, Suchmaschinenoptimierung
• 2 KI-basierter Website-Crawler, besucht Websites, liest diese, interpretiert sie und bereitet sie auf
• 3 ein neuer Standard, um KI-Bots eine „Orientierung“ der Website-Inhalte zu geben