Eine llms.txt ist eine kurze Textdatei im Stammverzeichnis Ihrer Website. Sie erklärt Sprachmodellen in Markdown, wer Sie sind und welche Seiten sie lesen sollten. Geschrieben ist sie in einer Stunde. Ob ChatGPT, Claude oder Perplexity Ihre Seiten überhaupt abrufen dürfen, regelt aber eine andere Datei, und die haben Sie womöglich seit dem letzten Relaunch nicht mehr geöffnet.
Wenn wir eine Website darauf prüfen, ob KI-Assistenten sie finden und zitieren können, öffnen wir deshalb zuerst die robots.txt. Die llms.txt kommt danach. Hier steht, warum diese Reihenfolge stimmt, was in die Datei gehört und wie Sie beides an einem Vormittag in Ordnung bringen.
Was in einer llms.txt steht
Den Vorschlag hat Jeremy Howard am 3. September 2024 auf llmstxt.org veröffentlicht, inzwischen liegt er in einer zweiten Fassung vor. Seine Begründung ist einfach. Webseiten sind für Menschen gebaut, mit Navigation, Werbung und JavaScript, und ein Sprachmodell muss den eigentlichen Text erst mühsam herauslösen. Eine llms.txt gibt ihm stattdessen eine knappe Übersicht und Links auf Fassungen der wichtigsten Seiten, die sich ohne Ballast lesen lassen.
Das Format ist schlank. Pflicht ist nur eine Überschrift erster Ebene mit dem Namen der Website oder des Projekts. Darauf folgen in dieser Reihenfolge eine kurze Zusammenfassung als Zitatblock, beliebige Absätze ohne Überschriften und Abschnitte mit Überschriften zweiter Ebene, die jeweils eine Liste von Links enthalten. Ein Abschnitt mit dem Titel „Optional“ sammelt nach Konvention alles, was ein Agent weglassen kann, wenn der Platz knapp wird.
Für einen fiktiven Anbieter von Wartungssoftware könnte die Datei so aussehen:
# Beispiel GmbH
> Software für die Wartungsplanung in der Fertigung. Kunden sind mittelständische Hersteller in Deutschland, Österreich und der Schweiz.
Preise auf Anfrage. Betrieb als Cloud-Dienst mit Rechenzentrum in Frankfurt.
## Produkt
- [Funktionen](https://www.example.com/funktionen.md): alle Module im Überblick
- [Integrationen](https://www.example.com/integrationen.md): ERP-Anbindung und offene Schnittstelle
## Unternehmen
- [Referenzen](https://www.example.com/referenzen.md): Kundenberichte nach Branche
- [Demo](https://www.example.com/demo.md): Termin vereinbaren
## Optional
- [Blog](https://www.example.com/blog.md)Die Links im Beispiel enden auf .md, weil der Vorschlag empfiehlt, wichtige Seiten zusätzlich als reine Markdown-Fassung bereitzustellen, unter der Adresse der jeweiligen Seite, ergänzt um die Endung .md. Für die meisten Unternehmenswebsites ist das der aufwendigere Teil. Fangen Sie mit der Datei selbst an und entscheiden Sie über die Markdown-Fassungen später.
Wer die Datei heute liest
Howard beschreibt die Nutzung in der zweiten Fassung selbst. Am häufigsten werden llms.txt-Dateien in der Softwaredokumentation eingesetzt. Dort finden Coding-Agenten API-Referenzen und Anleitungen. Ein Agent greift nach seiner Darstellung dann auf die Datei zu, wenn er für die Anfrage eines Nutzers Informationen sucht. Für das Training von Modellen war sie nie primär gedacht.
Dass die Idee angekommen ist, zeigen zwei Dinge. Laut Howard stellen die KI-Anbieter selbst für ihre Entwicklerdokumentation eine llms.txt bereit, darunter die Dokumentationen von OpenAI, Anthropic und Gemini. Auch Lighthouse, das Prüfwerkzeug von Chrome, berücksichtigt die Datei inzwischen bei Tests zur Nutzung von Websites durch KI-Agenten.
Die Lighthouse-Dokumentation ist dabei aufschlussreich. Liefert Ihr Server beim Abruf der Datei einen Fehler, markiert Lighthouse die Seite. Gibt es keine llms.txt und der Server antwortet mit 404, gilt die Prüfung als nicht anwendbar, weil die Datei derzeit optional ist. Eine fehlende Datei kostet Sie in diesem Test nichts. Eine fehlerhaft ausgelieferte schon.
Google braucht für AI Overviews keine Extradatei
Google erklärt in seiner Dokumentation für Website-Betreiber, wie Inhalte in AI Overviews und den AI Mode gelangen. Die Antwort fällt nüchtern aus. Es gebe keine zusätzlichen Anforderungen und keine besonderen Optimierungen, die bekannten Grundlagen der Suchmaschinenoptimierung gelten weiter. Ausdrücklich steht dort, dass Sie keine neuen maschinenlesbaren Dateien, keine KI-Textdateien und kein zusätzliches Markup brauchen, um in diesen Funktionen zu erscheinen.
Was Google stattdessen aufzählt, kennen Sie aus der klassischen Suche. Das Crawling muss in der robots.txt erlaubt sein; auch CDN und Hosting-Infrastruktur dürfen den Zugriff nicht blockieren. Wichtige Inhalte sollen als Text vorliegen, und strukturierte Daten müssen zum sichtbaren Text passen.
Für die KI-Funktionen der Google-Suche ist eine llms.txt damit keine Voraussetzung. Gleiches gilt für Google-Extended, das Token, mit dem Sie steuern, ob Google Ihre Inhalte für das Training und als Grundlage für Antworten von Gemini verwenden darf. Laut Google beeinflusst es weder die Aufnahme in die Google-Suche, noch wird es als Rankingsignal genutzt. Wer Google-Extended sperrt, verschwindet also nicht aus der Suche.
Welche Datei KI-Crawler tatsächlich steuert
Das Protokoll hinter der robots.txt ist seit September 2022 als RFC 9309 bei der IETF beschrieben. OpenAI, Anthropic und Perplexity erklären in ihrer Dokumentation, wie Sie ihre Crawler darüber zulassen oder aussperren. Der Vorschlag zur llms.txt grenzt sich selbst davon ab. Die robots.txt sagt automatisierten Programmen, welcher Zugriff erwünscht ist, die llms.txt liefert Kontext, wenn ein Agent gerade einem Nutzer hilft.
Entscheidend ist, dass OpenAI, Anthropic und Perplexity jeweils mit mehreren KI-Crawlern arbeiten, und jeder davon hat eine andere Aufgabe. Wer pauschal „die KI-Bots“ aussperrt, sperrt damit auch diejenigen, die Ihre Seiten in Suchantworten bringen.
Datentabelle
| Anbieter | Crawler |
|---|---|
| OpenAI | 4 |
| Anthropic | 3 |
| Perplexity | 2 |
Die folgende Übersicht fasst zusammen, was die drei Anbieter selbst über ihre User-Agents schreiben.
| User-Agent | Aufgabe laut Anbieter | Was eine Sperre bewirkt |
|---|---|---|
| OAI-SearchBot (OpenAI) | Websites in den Suchfunktionen von ChatGPT anzeigen | Seiten erscheinen nicht in Suchantworten von ChatGPT, höchstens als Navigationslink |
| GPTBot (OpenAI) | Inhalte sammeln, die für das Training der Basismodelle verwendet werden können | Signal, dass Inhalte nicht ins Training einfließen sollen |
| ChatGPT-User (OpenAI) | Seiten aufrufen, wenn Nutzer in ChatGPT eine Frage stellen | robots.txt-Regeln greifen hier laut OpenAI möglicherweise nicht |
| OAI-AdsBot (OpenAI) | Zielseiten prüfen, die als Anzeige eingereicht wurden | betrifft nur Seiten, die Sie selbst als Anzeige einreichen |
| Claude-SearchBot (Anthropic) | Inhalte für bessere Suchergebnisse auswerten | Inhalte werden nicht für die Suche indexiert |
| Claude-User (Anthropic) | Seiten abrufen, wenn Nutzer Claude eine Frage stellen | Inhalte können für diese Anfragen nicht abgerufen werden |
| ClaudeBot (Anthropic) | Inhalte sammeln, die ins Training einfließen können | Signal, dass künftige Inhalte nicht ins Training einfließen sollen |
| PerplexityBot (Perplexity) | Websites in Suchergebnissen anzeigen und verlinken, kein Training | Perplexity empfiehlt, ihn zuzulassen, damit Seiten in den Suchergebnissen erscheinen |
| Perplexity-User (Perplexity) | Seiten bei Nutzerfragen aufrufen, kein Crawling, kein Training | robots.txt-Regeln ignoriert dieser Abruf laut Perplexity in der Regel |
OpenAI betont, dass die Einstellungen unabhängig voneinander sind. Sie können also den Such-Crawler zulassen und den Trainings-Crawler sperren. Für eine B2B-Website, die in KI-Antworten auftauchen will, ist das meist die sinnvolle Wahl. Ein Ausschnitt einer robots.txt, der genau das abbildet:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Ob Sie die Trainings-Crawler sperren, ist eine geschäftliche Entscheidung, keine technische. Die Such-Crawler dagegen sollten Sie nur dann aussperren, wenn Sie in diesen Antworten bewusst nicht vorkommen wollen.
Wo B2B-Websites KI-Crawler aussperren, ohne es zu merken
Die erste Stelle ist die robots.txt selbst. Irgendwann hat jemand eine Liste von Bots ergänzt, ein Plugin hat Regeln geschrieben, oder eine Zeile aus der Testumgebung ist beim Relaunch mitgewandert. Rufen Sie Ihre-Domain/robots.txt im Browser auf und lesen Sie jede Zeile, die einen der genannten User-Agents oder ein Sternchen mit „Disallow: /“ enthält.
Die zweite Stelle liegt vor der Website. Google nennt in seiner Liste ausdrücklich CDN und Hosting-Infrastruktur, und das hat einen Grund. Cloudflare etwa bietet seinen Kunden Einstellungen, mit denen sich KI-Bots nach ihrem Verhalten sperren lassen, getrennt nach Suche, Training und Agents. Eine solche Sperre greift, bevor Ihre robots.txt überhaupt gelesen wird. Fragen Sie also auch Ihre IT oder Ihren Hoster, welche Einstellungen in der Firewall und im Bot-Schutz hinterlegt sind.
Die dritte Stelle ist der Inhalt selbst. Ein PDF hinter einem Formular ist für Crawler meist unerreichbar, und Inhalte, die erst per JavaScript nachgeladen werden, liest nicht jeder Crawler. Ob ein Formular vor einem Inhalt überhaupt sinnvoll ist, haben wir im Beitrag zu Gated Content im B2B durchgerechnet.
Wann sich eine llms.txt im B2B lohnt
Am meisten bringt die Datei Unternehmen mit umfangreicher technischer Dokumentation, also Softwareanbietern mit API, Integrationen und Handbüchern. Dort arbeiten genau die Coding-Agenten, die Howard als Hauptnutzer beschreibt, und eine gute llms.txt führt sie direkt zur richtigen Referenz.
Für eine typische B2B-Website mit einigen Dutzend Seiten zu Leistungen, Referenzen und Kontakt sieht die Rechnung anders aus. Die Datei kostet wenig und schadet nicht. Versprechen Sie sich davon aber keine schnellen Zitate in KI-Antworten. Google sagt für seine KI-Funktionen ausdrücklich, dass es keine solche Datei braucht, und die anderen großen Anbieter steuern ihre Such-Crawler über die robots.txt.
Wir legen die Datei für Kunden trotzdem an, sobald robots.txt, CDN und Textbasis stimmen. Sie gibt KI-Agenten eine geordnete Übersicht, zwingt das eigene Team, die zehn wichtigsten Seiten zu benennen, und verursacht nur wenig Aufwand. Wie KI-Antworten ihre Quellen auswählen, beschreibt unser Leitfaden zur Generative Engine Optimization, und warum ChatGPT manche Marken nennt und andere nicht, steht im Beitrag AEO: Wie ChatGPT Ihre Marke zitiert.
So legen Sie die llms.txt an einem Vormittag an
- robots.txt prüfen. Die Such-Crawler von OpenAI, Anthropic und Perplexity müssen zugelassen sein, und weder CDN noch Firewall dürfen sie blockieren.
- Seiten auswählen. Zehn bis zwanzig Seiten reichen: Leistungs- oder Produktseiten, öffentlich zugängliche Preise, Referenzen, Unternehmensinformationen und Kontaktmöglichkeiten.
- Datei schreiben. Eine H1 mit dem Firmennamen, zwei Sätze im Zitatblock dazu, was Sie anbieten und für wen, dann Abschnitte mit Links und je einer kurzen Erläuterung.
- Ablegen. Die Datei gehört unter /llms.txt ins Stammverzeichnis. Eine Datei in einem Unterpfad wie /docs/llms.txt deckt nur die Seiten darunter ab.
- Abrufen und testen. Rufen Sie die Adresse im Browser auf, prüfen Sie den Antwortcode 200 und lassen Sie Lighthouse laufen. Ein Serverfehler ist schlechter als gar keine Datei.
- Pflegen. Neue Leistungsseite, neue Referenz, geänderte Preise: Die Datei wandert mit. Legen Sie die Pflege dorthin, wo auch die Sitemap gepflegt wird.
Wenn Sie wissen wollen, wie KI-Assistenten Ihr Unternehmen heute beschreiben und welche Seiten sie dafür heranziehen, ist das eine eigene Analyse. Sie gehört zu unserer Arbeit als GEO-Agentur für B2B.
Häufige Fragen zu llms.txt
Was ist eine llms.txt?
Eine Markdown-Datei unter /llms.txt, die Sprachmodellen und KI-Agenten eine kurze Übersicht über eine Website gibt und auf die wichtigsten Seiten verlinkt. Pflicht ist nur eine H1 mit dem Namen der Website; alles Weitere wird lediglich empfohlen.
Ist llms.txt ein offizieller Standard?
Nein. Es ist ein Vorschlag, den Jeremy Howard 2024 veröffentlicht hat, und die Lighthouse-Dokumentation von Chrome nennt die Datei eine sich etablierende Konvention. Die robots.txt dagegen ist seit 2022 als RFC 9309 bei der IETF beschrieben.
Braucht meine Website eine llms.txt, um in AI Overviews zu erscheinen?
Nein. Google schreibt, dass für AI Overviews und den AI Mode keine neuen maschinenlesbaren Dateien, KI-Textdateien oder zusätzliches Markup nötig sind. Die Seite muss in der Google-Suche indexiert sein und dort mit einem Snippet erscheinen können. Weitere technische Anforderungen gibt es nicht.
Was ist der Unterschied zwischen llms.txt und robots.txt?
Die robots.txt regelt, welche Crawler welche Bereiche Ihrer Website abrufen dürfen. Die llms.txt erlaubt und verbietet nichts. Sie gibt einem KI-Agenten den nötigen Kontext und zeigt ihm, wo die wichtigsten Inhalte liegen.
Welche KI-Crawler sollte ich in der robots.txt zulassen?
Wenn Sie in KI-Antworten vorkommen wollen, die Such-Crawler: OAI-SearchBot, Claude-SearchBot und PerplexityBot. Ob Sie die Trainings-Crawler GPTBot und ClaudeBot zulassen, entscheiden Sie unabhängig davon.
Schadet eine fehlende llms.txt meinem Lighthouse-Ergebnis?
Nein. Antwortet der Server mit 404, wertet Lighthouse die Prüfung als nicht anwendbar. Markiert wird nur ein Serverfehler beim Abruf der Datei.
Wo muss die Datei liegen?
Im Stammverzeichnis unter /llms.txt. Der Vorschlag erlaubt auch Dateien in Unterpfaden wie /docs/llms.txt, die dann nur die Seiten unter diesem Pfad abdecken.
Wie oft sollte ich die llms.txt aktualisieren?
Immer dann, wenn sich eine der verlinkten Seiten ändert oder eine wichtige Seite hinzukommt. Am einfachsten koppeln Sie die Pflege an die Sitemap, damit beide Dateien denselben Stand haben.
COSEOM Team
COSEOM ist eine internationale B2B-Growth-Marketing-Agentur. Seit 2008 verantwortet das COSEOM-Team internationales SEO, Generative Engine Optimization, Paid Media und Demand Generation für B2B-Software- und Technologieunternehmen in ihren jeweiligen Zielmärkten. Hier veröffentlichen wir unsere Studien, Playbooks und Produktleitfäden. Mehr über COSEOM
