{"id":72890,"date":"2025-05-12T07:00:00","date_gmt":"2025-05-12T14:00:00","guid":{"rendered":"https:\/\/dhblog.dream.press\/blog\/?p=72890"},"modified":"2025-07-03T07:15:37","modified_gmt":"2025-07-03T14:15:37","slug":"wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de","status":"publish","type":"post","link":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/","title":{"rendered":"Wie Du Verhindern Kannst, Dass Web-Crawler und Bots Deine Website Verlangsamen"},"content":{"rendered":"\n<p>Deine Website ist wie ein Caf\u00e9. Die Leute kommen rein und schauen sich die Speisekarte an. Einige bestellen Lattes, setzen sich, genie\u00dfen und gehen.<\/p>\n\n\n<p>Aber was ist, wenn die H\u00e4lfte deiner &#8220;Kunden&#8221; nur Tische besetzt, die Zeit deiner Baristas verschwendet und nie Kaffee kauft?<\/p>\n\n\n<p>Verlassen echte Kunden aufgrund fehlender Tische und langsamen Service?<\/p>\n\n\n<p>Nun, das ist die Welt der Webcrawler und Bots.<\/p>\n\n\n<p>Diese automatisierten Programme verbrauchen Deine Bandbreite, verlangsamen Deine Seite und vertreiben echte Kunden.<\/p>\n\n\n<p>Aktuelle Studien zeigen, dass <a target=\"_blank\" href=\"https:\/\/www.imperva.com\/resources\/resource-library\/reports\/2025-bad-bot-report\/\">fast 51% des Internetverkehrs<\/a> von Bots stammen. Das ist richtig \u2014 <strong>mehr als die H\u00e4lfte<\/strong> deiner digitalen Besucher k\u00f6nnte nur deine Serverressourcen verschwenden.<\/p>\n\n\n<p>Aber keine Panik!<\/p>\n\n\n<p>Dieser Leitfaden hilft Dir, Probleme zu erkennen und die Leistung Deiner Website zu steuern, ohne zu programmieren oder Deinen technikaffinen Cousin anzurufen.<\/p>\n\n\n<h2 id=\"h-a-quick-refresher-on-bots\" class=\"wp-block-heading\">Eine Schnelle Auffrischung \u00dcber Bots<\/h2>\n\n\n<p>Bots sind automatisierte Softwareprogramme, die Aufgaben im Internet ohne menschliches Zutun ausf\u00fchren. Sie:<\/p>\n\n\n<ul class=\"wp-block-list\">\n<li>Besuche Websites<\/li>\n\n\n\n<li>Interagiere mit digitalem Inhalt<\/li>\n\n\n\n<li>Und f\u00fchre spezifische Funktionen basierend auf ihrer Programmierung aus.&nbsp;<\/li>\n\n\n<\/ul>\n\n\n<p>Einige Bots analysieren und indizieren Deine Webseite (was potenziell die Suchmaschinen-Rankings verbessern kann.) Einige verbringen ihre Zeit damit, Deine Inhalte f\u00fcr AI-Trainingsdatens\u00e4tze zu scrapen \u2013 oder schlimmer \u2013 Spam zu posten, gef\u00e4lschte Bewertungen zu generieren oder nach Exploits und Sicherheitsl\u00fccken auf Deiner Webseite zu suchen.<\/p>\n\n\n<p>Nat\u00fcrlich sind nicht alle Bots gleich. Einige sind entscheidend f\u00fcr die Gesundheit und Sichtbarkeit deiner Website. Andere sind m\u00f6glicherweise neutral, und einige sind regelrecht sch\u00e4dlich. Den Unterschied zu kennen \u2014 und zu entscheiden, welche Bots blockiert und welche zugelassen werden sollten \u2014 ist entscheidend, um deine Website und ihren Ruf zu sch\u00fctzen.<\/p>\n\n\n<h2 id=\"h-good-bot-bad-bot-what-s-what\" class=\"wp-block-heading\">Guter Bot, Schlechter Bot: Was Ist Was?<\/h2>\n\n\n<figure class=\"wp-block-image size-full\"><img decoding=\"async\" width=\"1600\" height=\"1334\" data-src=\"https:\/\/www.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024.webp\" alt=\"Kreisdiagramm des Webverkehrs 2023 zeigt Menschen bei 49% (-1,4%), Bad Bot bei 37% (+5%) und Good Bot bei 14% (-3,6%).\" class=\"wp-image-67301 lazyload\" data-srcset=\"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024.webp 1600w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024-300x250.webp 300w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024-1024x854.webp 1024w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024-768x640.webp 768w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024-1536x1281.webp 1536w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024-600x500.webp 600w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024-1200x1001.webp 1200w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024-730x609.webp 730w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024-1460x1217.webp 1460w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024-784x654.webp 784w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024-1568x1307.webp 1568w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/01_bad_bot_vs_good_bot_vs_human_traffic_2024-877x731.webp 877w\" data-sizes=\"(max-width: 1600px) 100vw, 1600px\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 1600px; --smush-placeholder-aspect-ratio: 1600\/1334;\" \/><\/figure>\n\n\n<p>Bots machen das Internet aus.<\/p>\n\n\n<p>Zum Beispiel besucht Googles Bot jede Seite im Internet und f\u00fcgt sie ihren Datenbanken zum Ranking hinzu. Dieser Bot hilft dabei, wertvollen Suchverkehr zu liefern, der f\u00fcr die Gesundheit deiner Website wichtig ist.<\/p>\n\n\n<p>Aber nicht jeder Bot bietet einen Mehrwert, und einige sind einfach nur schlecht. Hier ist, was Du behalten und was Du blockieren solltest.<\/p>\n\n\n<h3 class=\"wp-block-heading\">Die VIP-Bots (Behalten Diese)<\/h3>\n\n\n<ul class=\"wp-block-list\">\n<li>Suchmaschinen-Crawler wie <a target=\"_blank\" href=\"https:\/\/www.dreamhost.com\/glossary\/seo\/googlebot\/\">Googlebot<\/a> und Bingbot sind Beispiele f\u00fcr solche Crawler. Blockiere sie nicht, sonst wirst du online unsichtbar.<\/li>\n\n\n\n<li>Analytics-Bots sammeln Daten \u00fcber die Leistung deiner Website, wie der <a target=\"_blank\" href=\"https:\/\/www.dreamhost.com\/blog\/pagespeed-insights-report\/\">Google Pagespeed Insights<\/a>-Bot oder der GTmetrix-Bot.<\/li>\n\n\n<\/ul>\n\n\n<h3 class=\"wp-block-heading\">Die Unruhestifter (Ben\u00f6tigen Verwaltung)<\/h3>\n\n\n<ul class=\"wp-block-list\">\n<li>Inhaltskratzer, die deine Inhalte stehlen, um sie anderswo zu verwenden<\/li>\n\n\n\n<li>Spam-Bots, die deine Formulare und Kommentare mit M\u00fcll \u00fcberfluten<\/li>\n\n\n\n<li>B\u00f6swillige Akteure, die versuchen, Konten zu hacken oder Schwachstellen auszunutzen<\/li>\n\n\n<\/ul>\n\n\n<p>Die Skala der schlechten Bots k\u00f6nnte dich \u00fcberraschen. Im Jahr 2024 machten fortschrittliche Bots <a target=\"_blank\" href=\"https:\/\/www.imperva.com\/resources\/resource-library\/reports\/2025-bad-bot-report\/\">55%<\/a> des gesamten fortschrittlichen schlechten Bot-Traffics aus, w\u00e4hrend die guten f\u00fcr 44% verantwortlich waren.<\/p>\n\n\n<p>Diese fortschrittlichen Bots sind hinterlistig \u2014 sie k\u00f6nnen menschliches Verhalten nachahmen, einschlie\u00dflich Mausbewegungen und Klicks, was ihre Entdeckung erschwert.<\/p>\n\n\n<div class=\"article-newsletter article-newsletter--gradient\">\n\n\n<h2>Get Content Delivered Straight to Your Inbox<\/h2><p>Subscribe now to receive all the latest updates, delivered directly to your inbox.<\/p><form class=\"nwsl-form\" id=\"newsletter_block_\" novalidate><div class=\"messages\"><\/div><div class=\"form-group\"><label for=\"input_newsletter_block_\"><input type=\"email\"name=\"email\"id=\"input_newsletter_block_\"placeholder=\"Enter your email address\"novalidatedisabled=\"disabled\"\/><\/label><button type=\"submit\"class=\"btn btn--brand\"disabled=\"disabled\"><span>Sign Me Up!<\/span><svg width=\"21\" height=\"14\" viewBox=\"0 0 21 14\" fill=\"none\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\">\n<path d=\"M13.8523 0.42524L12.9323 1.34521C12.7095 1.56801 12.7132 1.9304 12.9404 2.14865L16.7241 5.7823H0.5625C0.251859 5.7823 0 6.03416 0 6.3448V7.6573C0 7.96794 0.251859 8.2198 0.5625 8.2198H16.7241L12.9405 11.8535C12.7132 12.0717 12.7095 12.4341 12.9323 12.6569L13.8523 13.5769C14.072 13.7965 14.4281 13.7965 14.6478 13.5769L20.8259 7.39879C21.0456 7.17913 21.0456 6.82298 20.8259 6.60327L14.6477 0.42524C14.4281 0.205584 14.0719 0.205584 13.8523 0.42524Z\" fill=\"white\"\/>\n<\/svg>\n<\/button><\/div><\/form><\/div>\n\n<h2 id=\"h2_are-bots-bogging-down-your-website-look-for-these-warning-signs\" class=\"wp-block-heading\">Belasten Bots Deine Website? Achte Auf Diese Warnzeichen<\/h2>\n\n\n<p>Bevor wir uns den L\u00f6sungen zuwenden, stellen wir sicher, dass Bots tats\u00e4chlich das Problem sind. Sieh dir die untenstehenden Anzeichen an.<\/p>\n\n\n<h3 class=\"wp-block-heading\">Warnsignale In Deiner Analyse<\/h3>\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Ungekl\u00e4rte Traffic-Spitzen:<\/strong> Wenn deine Besucherzahlen pl\u00f6tzlich ansteigen, aber die Verk\u00e4ufe nicht, k\u00f6nnten Bots die Ursache sein.<\/li>\n\n\n\n<li><strong>Alles wird langsamer:<\/strong> Seiten laden langsamer, was echte Kunden frustriert, die m\u00f6glicherweise f\u00fcr immer gehen. Aberdeen zeigt, dass <a target=\"_blank\" href=\"https:\/\/www.aberdeen.com\/techpro-essentials\/gone-in-three-seconds-your-customers-have-no-patience-for-a-slow-website\/\">40% der Besucher<\/a> Websites verlassen, die l\u00e4nger als drei Sekunden zum Laden brauchen, was zu&#8230;<\/li>\n\n\n\n<li><strong>Hohe Absprungraten:<\/strong> \u00dcber 90% deuten oft auf Bot-Aktivit\u00e4ten hin.<\/li>\n\n\n\n<li><strong>Ungew\u00f6hnliche Sitzungsmuster:<\/strong> Menschen besuchen typischerweise nicht nur f\u00fcr Millisekunden oder bleiben stundenlang auf einer Seite.<\/li>\n\n\n\n<li><strong>Du erh\u00e4ltst pl\u00f6tzlich<\/strong><a target=\"_blank\" href=\"https:\/\/www.dreamhost.com\/blog\/driving-traffic-to-your-website\/\"><strong> <\/strong><strong>viele ungew\u00f6hnliche Besuche<\/strong><\/a><strong>:<\/strong> Besonders aus L\u00e4ndern, in denen du keine Gesch\u00e4fte machst. Das ist verd\u00e4chtig.<\/li>\n\n\n\n<li><strong>Formulareingaben mit zuf\u00e4lligem Text:<\/strong> Klassisches Bot-Verhalten.<\/li>\n\n\n\n<li><strong>Dein Server wird \u00fcberlastet:<\/strong> Stelle dir vor, 100 Kunden kommen gleichzeitig, aber 75 davon sind nur Schaufensterbummler.<\/li>\n\n\n<\/ul>\n\n\n<h3 class=\"wp-block-heading\">\u00dcberpr\u00fcfe Deine Serverprotokolle<\/h3>\n\n\n<p>Die Serverprotokolle Deiner Website enthalten Aufzeichnungen \u00fcber jeden Besucher.<\/p>\n\n\n<p><strong>Hier ist, worauf Du achten solltest:<\/strong><\/p>\n\n\n<ul class=\"wp-block-list\">\n<li>Zu viele aufeinanderfolgende Anfragen von derselben IP-Adresse<\/li>\n\n\n\n<li>Seltsame User-Agent-Strings (die Identifikation, die Bots bereitstellen)<\/li>\n\n\n\n<li>Anfragen f\u00fcr ungew\u00f6hnliche URLs, die auf deiner Seite nicht existieren<\/li>\n\n\n<\/ul>\n\n\n\n\n<div class=\"glossary-term\">\n\t<a\n\t\tclass=\"glossary-term__above-title\"\n\t\thref=\"\"\n\t\ttarget=\"_blank\"\n\t\trel=\"noopener noreferrer\"\n\t>\n\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewBox=\"0 0 640 512\"><path d=\"M320 32c-8.1 0-16.1 1.4-23.7 4.1L15.8 137.4C6.3 140.9 0 149.9 0 160s6.3 19.1 15.8 22.6l57.9 20.9C57.3 229.3 48 259.8 48 291.9v28.1c0 28.4-10.8 57.7-22.3 80.8c-6.5 13-13.9 25.8-22.5 37.6C0 442.7-.9 448.3 .9 453.4s6 8.9 11.2 10.2l64 16c4.2 1.1 8.7 .3 12.4-2s6.3-6.1 7.1-10.4c8.6-42.8 4.3-81.2-2.1-108.7C90.3 344.3 86 329.8 80 316.5V291.9c0-30.2 10.2-58.7 27.9-81.5c12.9-15.5 29.6-28 49.2-35.7l157-61.7c8.2-3.2 17.5 .8 20.7 9s-.8 17.5-9 20.7l-157 61.7c-12.4 4.9-23.3 12.4-32.2 21.6l159.6 57.6c7.6 2.7 15.6 4.1 23.7 4.1s16.1-1.4 23.7-4.1L624.2 182.6c9.5-3.4 15.8-12.5 15.8-22.6s-6.3-19.1-15.8-22.6L343.7 36.1C336.1 33.4 328.1 32 320 32zM128 408c0 35.3 86 72 192 72s192-36.7 192-72L496.7 262.6 354.5 314c-11.1 4-22.8 6-34.5 6s-23.5-2-34.5-6L143.3 262.6 128 408z\"\/><\/svg>\n\t\t<span><\/span>\n\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewBox=\"0 0 384 512\"><path d=\"M342.6 233.4c12.5 12.5 12.5 32.8 0 45.3l-192 192c-12.5 12.5-32.8 12.5-45.3 0s-12.5-32.8 0-45.3L274.7 256 105.4 86.6c-12.5-12.5-12.5-32.8 0-45.3s32.8-12.5 45.3 0l192 192z\"\/><\/svg>\n\t<\/a>\n    <h3>User Agent<\/h3>\n    <p>Ein User Agent ist eine Art Software, die Webinhalte abruft und darstellt, sodass Benutzer damit interagieren k\u00f6nnen. Die g\u00e4ngigsten Beispiele sind Webbrowser und E-Mail-Leser.<\/p>\n            <a\n            href=\"https:\/\/www.dreamhost.com\/glossary\/seo\/user-agent\/\"\n                        class=\"btn btn--white-outline btn--sm btn--round\"\n                                    target=\"_blank\"\n            rel=\"noopener noreferrer\"\n            >\n                            Mehr lesen                    <\/a>\n\n<\/div>\n\n\n<p>Eine legitime Googlebot-Anfrage k\u00f6nnte in deinen Protokollen so aussehen:<\/p>\n\n\n<pre class=\"wp-block-code\"><code>66.249.78.17 - - &#091;13\/Jul\/2015:07:18:58 -0400] \"GET \/robots.txt HTTP\/1.1\" 200 0 \"-\" \"Mozilla\/5.0 (kompatibel; Googlebot\/2.1; +http:\/\/www.google.com\/bot.html)\"<\/code><\/pre>\n\n\n<p>Wenn Du Muster erkennst, die keinem normalen menschlichen Surfverhalten entsprechen, ist es Zeit zu handeln.<\/p>\n\n\n<h3 class=\"wp-block-heading\">Das GPTBot-Problem durch den Anstieg der AI-Crawler<\/h3>\n\n\n<p>In letzter Zeit haben viele Website-Betreiber Probleme mit AI-Crawlern gemeldet, die ungew\u00f6hnliche Verkehrsmuster erzeugen.<\/p>\n\n\n<p>Laut Imperva&#8217;s Forschung hat OpenAI&#8217;s <a target=\"_blank\" href=\"https:\/\/vercel.com\/blog\/the-rise-of-the-ai-crawler\">GPTBot 569 Millionen Anfragen<\/a> in einem einzigen Monat gemacht, w\u00e4hrend Claude&#8217;s Bot 370 Millionen im Netzwerk von Vercel gemacht hat.<\/p>\n\n\n<p>Suche nach:<\/p>\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Fehler-Spitzen in Deinen Protokollen:<\/strong> Wenn Du pl\u00f6tzlich hunderte oder tausende von 404-Fehlern siehst, \u00fcberpr\u00fcfe, ob sie von AI Crawlern stammen.<\/li>\n\n\n<\/ul>\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Extrem lange, unsinnige URLs:<\/strong> AI-Bots k\u00f6nnten seltsame URLs wie die folgenden anfordern:<\/li>\n\n\n<\/ul>\n\n\n<pre class=\"wp-block-code\"><code>\/Odonto-lieyectoresli-541.aspx\/assets\/js\/plugins\/Docs\/Productos\/assets\/js\/Docs\/Productos\/assets\/js\/assets\/js\/assets\/js\/vendor\/images2021\/Docs\/...<\/code><\/pre>\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Rekursive Parameter<\/strong>: Suche nach endlos wiederholenden Parametern, zum Beispiel:<\/li>\n\n\n<\/ul>\n\n\n<pre class=\"wp-block-code\"><code>amp;amp;amp;page=6&amp;amp;amp;amp;page=6<\/code><\/pre>\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Bandbreitenspitzen:<\/strong> Readthedocs, ein renommiertes Unternehmen f\u00fcr technische Dokumentationen, gab an, dass ein AI Crawler <a target=\"_blank\" href=\"https:\/\/about.readthedocs.com\/blog\/2024\/07\/ai-crawlers-abuse\/\">73TB an ZIP-Dateien<\/a> heruntergeladen hat, wobei an einem einzigen Tag 10TB heruntergeladen wurden, was ihnen mehr als $5,000 an Bandbreitenkosten verursachte.<\/li>\n\n\n<\/ul>\n\n\n<p>Diese Muster k\u00f6nnen auf AI Crawler hinweisen, die entweder fehlfunktionieren oder manipuliert werden, um Probleme zu verursachen.<\/p>\n\n\n<h3 class=\"wp-block-heading\">Wann Du Technische Hilfe Holen Solltest<\/h3>\n\n\n<p>Wenn Du diese Anzeichen bemerkst, aber nicht wei\u00dft, was Du als N\u00e4chstes tun sollst, ist es Zeit, professionelle Hilfe hinzuzuziehen. Bitte Deinen Entwickler, spezifische User-Agents wie diesen zu \u00fcberpr\u00fcfen:<\/p>\n\n\n<p><strong>Mozilla\/5.0 AppleWebKit\/537.36 (KHTML, wie Gecko; kompatibel; GPTBot\/1.2; +<\/strong><a target=\"_blank\" href=\"https:\/\/openai.com\/gptbot\"><strong>https:\/\/openai.com\/gptbot<\/strong><\/a><strong>)<\/strong><\/p>\n\n\n<p>Es gibt viele aufgezeichnete <a target=\"_blank\" href=\"https:\/\/developers.netlify.com\/guides\/blocking-ai-bots-and-controlling-crawlers\/\">Benutzer-Agent-Strings f\u00fcr andere AI Crawler<\/a>, die Du auf Google nachschlagen kannst, um sie zu blockieren. <strong>Bitte beachte<\/strong>, dass sich die Strings \u00e4ndern, was bedeutet, dass Du mit der Zeit eine ziemlich gro\u00dfe Liste bekommen k\u00f6nntest.<\/p>\n\n\n<p><em>\ud83d\udc49 Hast Du keinen Entwickler auf Kurzwahl?<\/em> <a target=\"_blank\" href=\"https:\/\/www.dreamhost.com\/pro-services\/management\/dreamcare\/\"><em>Das DreamCare-Team von DreamHost<\/em><\/a><em> kann Deine Protokolle analysieren und Schutzma\u00dfnahmen implementieren. Sie haben diese Probleme bereits gesehen und wissen genau, wie sie damit umgehen sollen.<\/em><\/p>\n\n\n<h2 id=\"h2_your-bot-busting-toolkit-5-simple-steps-to-take-back-control\" class=\"wp-block-heading\">Dein Bot-Bek\u00e4mpfungs-Toolkit: 5 Einfache Schritte Zur R\u00fcckgewinnung Der Kontrolle<\/h2>\n\n\n<p>Jetzt zum guten Teil: wie man diese Bots davon abh\u00e4lt, deine Seite zu verlangsamen. Krempel die \u00c4rmel hoch und lass uns an die Arbeit gehen.<\/p>\n\n\n<h3 class=\"wp-block-heading\">1. Erstelle Eine Richtige robots.txt-Datei<\/h3>\n\n\n<figure class=\"wp-block-image size-full\"><img decoding=\"async\" width=\"1600\" height=\"911\" data-src=\"https:\/\/www.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file.webp\" alt=\"robots.txt-Datei von dreamhost.com, die Crawler-Anweisungen zeigt, die das Indizieren bestimmter Pfade verbieten und gleichzeitig den Standort der Sitemap angeben.\" class=\"wp-image-67302 lazyload\" data-srcset=\"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file.webp 1600w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file-300x171.webp 300w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file-1024x583.webp 1024w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file-768x437.webp 768w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file-1536x875.webp 1536w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file-600x342.webp 600w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file-1200x683.webp 1200w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file-730x416.webp 730w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file-1460x831.webp 1460w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file-784x446.webp 784w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file-1568x893.webp 1568w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/02_create_a_proper_robots_txt_file-877x499.webp 877w\" data-sizes=\"(max-width: 1600px) 100vw, 1600px\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 1600px; --smush-placeholder-aspect-ratio: 1600\/911;\" \/><\/figure>\n\n\n<p>Die robots.txt einfache Textdatei befindet sich in deinem Root-Verzeichnis und teilt gutartigen Bots mit, welche Bereiche deiner Seite sie nicht zugreifen sollten.<\/p>\n\n\n<p>Du kannst auf die robots.txt f\u00fcr so gut wie jede Website zugreifen, indem Du \/robots.txt an deren Domain anh\u00e4ngst. Zum Beispiel, wenn Du die robots.txt-Datei f\u00fcr DreamHost sehen m\u00f6chtest, f\u00fcge robots.txt am Ende der Domain hinzu, so wie hier: <a target=\"_blank\" href=\"https:\/\/dreamhost.com\/robots.txt\">https:\/\/dreamhost.com\/robots.txt<\/a><\/p>\n\n\n<p>Es besteht keine Verpflichtung f\u00fcr irgendwelche Bots, die Regeln zu akzeptieren.<\/p>\n\n\n<p>Aber h\u00f6fliche Bots werden es respektieren, und die St\u00f6renfriede k\u00f6nnen sich entscheiden, die Regeln zu ignorieren. Es ist am besten, trotzdem eine robots.txt hinzuzuf\u00fcgen, damit die guten Bots nicht beginnen, Admin-Login, Post-Checkout-Seiten, Dankesseiten usw. zu indizieren.<\/p>\n\n\n<p><strong>Wie Du Implementierst<\/strong><\/p>\n\n\n<p>1. Erstelle eine reine Textdatei mit dem Namen <strong>robots.txt<\/strong><\/p>\n\n\n<p>2. F\u00fcge deine Anweisungen in diesem Format hinzu:<\/p>\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *          # Diese Zeile gilt f\u00fcr alle Bots\nDisallow: \/admin\/      # Durchsuche nicht den Admin-Bereich\nDisallow: \/private\/    # Bleib aus privaten Ordnern fern\nCrawl-delay: 10        # Warte 10 Sekunden zwischen den Anfragen\nUser-agent: Googlebot  # Spezielle Regeln nur f\u00fcr Google\nAllow: \/               # Google kann auf alles zugreifen<\/code><\/pre>\n\n\n<p>3. Lade die Datei in das Stammverzeichnis deiner Website hoch (so dass sie unter <strong>deinedomain.com\/robots.txt<\/strong> liegt)<\/p>\n\n\n<p>Die &#8220;Crawl-delay&#8221;-Direktive ist hier Deine Geheimwaffe. Sie zwingt Bots dazu, zwischen Anfragen zu warten und verhindert, dass sie Deinen Server bombardieren.<\/p>\n\n\n<p>Die meisten gro\u00dfen Crawler respektieren dies, obwohl Googlebot seinem eigenen System folgt (das Du \u00fcber die Google Search Console steuern kannst).<\/p>\n\n\n<p><strong>Profi-Tipp: <\/strong>Teste deine robots.txt mit dem <a target=\"_blank\" href=\"https:\/\/www.google.com\/webmasters\/tools\/robots-testing-tool\">robots.txt Test-Tool von Google<\/a>, um sicherzustellen, dass Du nicht versehentlich wichtige Inhalte blockiert hast.<\/p>\n\n\n<h3 class=\"wp-block-heading\">2. Einrichten der Ratenbegrenzung<\/h3>\n\n\n<p>Das Ratelimiting beschr\u00e4nkt, wie viele Anfragen ein einzelner Besucher innerhalb eines bestimmten Zeitraums machen kann.<\/p>\n\n\n<p>Es verhindert, dass Bots deinen Server \u00fcberlasten, sodass normale Menschen deine Seite ohne Unterbrechungen durchsuchen k\u00f6nnen.<\/p>\n\n\n<p><strong>Wie Du Umsetzt<\/strong><\/p>\n\n\n<p>Wenn Du Apache verwendest (\u00fcblich f\u00fcr WordPress-Seiten), f\u00fcge diese Zeilen zu Deiner .htaccess-Datei hinzu:<\/p>\n\n\n<pre class=\"wp-block-code\"><code>&lt;IfModule mod_rewrite.c&gt;\nRewriteEngine On\nRewriteCond %{REQUEST_URI} !(.css|.js|.png|.jpg|.gif|robots.txt)$ &#091;NC]\nRewriteCond %{HTTP_USER_AGENT} !^Googlebot &#091;NC]\nRewriteCond %{HTTP_USER_AGENT} !^Bingbot &#091;NC]\n# Erlaube maximal 3 Anfragen in 10 Sekunden pro IP\nRewriteCond %{REMOTE_ADDR} ^(&#091;0-9]+.&#091;0-9]+.&#091;0-9]+.&#091;0-9]+)$\nRewriteRule .* - &#091;F,L]\n&lt;\/IfModule&gt;<\/code><\/pre>\n\n\n\n\n<div class=\"glossary-term\">\n\t<a\n\t\tclass=\"glossary-term__above-title\"\n\t\thref=\"\"\n\t\ttarget=\"_blank\"\n\t\trel=\"noopener noreferrer\"\n\t>\n\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewBox=\"0 0 640 512\"><path d=\"M320 32c-8.1 0-16.1 1.4-23.7 4.1L15.8 137.4C6.3 140.9 0 149.9 0 160s6.3 19.1 15.8 22.6l57.9 20.9C57.3 229.3 48 259.8 48 291.9v28.1c0 28.4-10.8 57.7-22.3 80.8c-6.5 13-13.9 25.8-22.5 37.6C0 442.7-.9 448.3 .9 453.4s6 8.9 11.2 10.2l64 16c4.2 1.1 8.7 .3 12.4-2s6.3-6.1 7.1-10.4c8.6-42.8 4.3-81.2-2.1-108.7C90.3 344.3 86 329.8 80 316.5V291.9c0-30.2 10.2-58.7 27.9-81.5c12.9-15.5 29.6-28 49.2-35.7l157-61.7c8.2-3.2 17.5 .8 20.7 9s-.8 17.5-9 20.7l-157 61.7c-12.4 4.9-23.3 12.4-32.2 21.6l159.6 57.6c7.6 2.7 15.6 4.1 23.7 4.1s16.1-1.4 23.7-4.1L624.2 182.6c9.5-3.4 15.8-12.5 15.8-22.6s-6.3-19.1-15.8-22.6L343.7 36.1C336.1 33.4 328.1 32 320 32zM128 408c0 35.3 86 72 192 72s192-36.7 192-72L496.7 262.6 354.5 314c-11.1 4-22.8 6-34.5 6s-23.5-2-34.5-6L143.3 262.6 128 408z\"\/><\/svg>\n\t\t<span><\/span>\n\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewBox=\"0 0 384 512\"><path d=\"M342.6 233.4c12.5 12.5 12.5 32.8 0 45.3l-192 192c-12.5 12.5-32.8 12.5-45.3 0s-12.5-32.8 0-45.3L274.7 256 105.4 86.6c-12.5-12.5-12.5-32.8 0-45.3s32.8-12.5 45.3 0l192 192z\"\/><\/svg>\n\t<\/a>\n    \n<\/div>\n\n\n<p>Wenn Du Nginx verwendest, f\u00fcge dies zu Deiner Serverkonfiguration hinzu:<\/p>\n\n\n<pre class=\"wp-block-code\"><code>limit_req_zone $binary_remote_addr zone=one:10m rate=30r\/m;\nserver {\n    ...\n    location \/ {\n        limit_req zone=one burst=5;\n        ...\n    }\n}<\/code><\/pre>\n\n\n<p>Viele Hosting-Control-Panels wie cPanel oder Plesk bieten auch Werkzeuge zur Ratenbegrenzung in ihren Sicherheitsbereichen an.<\/p>\n\n<div class=\"single__related-article\">\n\t<span>Related Article<\/span>\n\t<div class=\"single__related-article__wrap\">\n\t\t<div class=\"single__related-article__title\">\n\t\t\tNGINX vs. Apache: How to Choose the Best Web Server\n\t\t<\/div>\n\t\t<a href=\"https:\/\/www-dev.dreamhost.com\/blog\/nginx-vs-apache\/\" class=\"btn btn--sm btn--brand\" target=\"_blank\" rel=\"noopener\">\n\t\t\tRead More\n\t\t<\/a>\n\t<\/div>\n<\/div>\n\n<p><strong>Profi-Tipp:<\/strong> Beginne mit konservativen Limits (wie 30 Anfragen pro Minute) und \u00fcberwache Deine Website. Du kannst die Beschr\u00e4nkungen immer weiter versch\u00e4rfen, wenn der Bot-Verkehr anh\u00e4lt.<\/p>\n\n\n<h3 class=\"wp-block-heading\">3. Verwende Ein Content Delivery Network (CDN)<\/h3>\n\n\n<p><a target=\"_blank\" href=\"https:\/\/www.dreamhost.com\/features\/cdn\/\">CDNs<\/a> tun zwei gute Dinge f\u00fcr Dich:<\/p>\n\n\n<ol class=\"wp-block-list\">\n<li>Verteile Inhalte \u00fcber globale Servernetzwerke, damit deine Website weltweit schnell ausgeliefert wird<\/li>\n\n\n\n<li>Filtere den Traffic, bevor er die Website erreicht, um irrelevante Bots und Angriffe zu blockieren<\/li>\n\n\n<\/ol>\n\n\n<p>Der Teil mit den \u201eirrelevanten Bots\u201c ist f\u00fcr uns vorerst wichtig, aber auch die anderen Vorteile sind n\u00fctzlich. Die meisten CDNs beinhalten ein eingebautes Bot-Management, das verd\u00e4chtige Besucher automatisch identifiziert und blockiert.<\/p>\n\n\n<p><strong>Wie zu implementieren<\/strong><\/p>\n\n\n<ol class=\"wp-block-list\">\n<li>Melde Dich f\u00fcr einen CDN-Service wie <a target=\"_blank\" href=\"https:\/\/www.dreamhost.com\/features\/cdn\/\">DreamHost CDN<\/a>, Cloudflare, Amazon CloudFront oder Fastly an.<\/li>\n\n\n\n<li>Folge den Einrichtungsanweisungen (kann \u00c4nderungen an den Nameservers erfordern).<\/li>\n\n\n\n<li>Konfiguriere die Sicherheitseinstellungen, um Bot-Schutz zu aktivieren.<\/li>\n\n\n<\/ol>\n\n\n<p>Wenn dein Hosting-Dienst standardm\u00e4\u00dfig ein CDN anbietet, entfallen alle Schritte, da deine Website automatisch auf einem CDN gehostet wird.<\/p>\n\n\n<p><strong>Sobald eingerichtet, wird dein CDN:<\/strong><\/p>\n\n\n<ul class=\"wp-block-list\">\n<li>Statischen Inhalt cachen, um die Serverlast zu reduzieren.<\/li>\n\n\n\n<li>Verd\u00e4chtigen Datenverkehr filtern, bevor er deine Seite erreicht.<\/li>\n\n\n\n<li>Machine Learning anwenden, um zwischen legitimen und b\u00f6sartigen Anfragen zu unterscheiden.<\/li>\n\n\n\n<li>Bekannte b\u00f6sartige Akteure automatisch blockieren.<\/li>\n\n\n<\/ul>\n\n\n<p><strong>Profi-Tipp:<\/strong> Die kostenlose Stufe von Cloudflare umfasst <a target=\"_blank\" href=\"https:\/\/www.cloudflare.com\/en-in\/application-services\/products\/bot-management\/\">einfachen Bot-Schutz<\/a>, der f\u00fcr die meisten kleinen Unternehmensseiten gut funktioniert. Ihre bezahlten Pl\u00e4ne bieten weitergehende Optionen, falls Du sie ben\u00f6tigst.<\/p>\n\n\n<h3 class=\"wp-block-heading\">4. CAPTCHA F\u00fcr Empfindliche Aktionen Hinzuf\u00fcgen<\/h3>\n\n\n<figure class=\"wp-block-image size-full\"><img decoding=\"async\" width=\"1600\" height=\"1008\" data-src=\"https:\/\/www.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha.webp\" alt=\"CAPTCHA-Verifizierung w\u00e4hrend des Checkout-Prozesses mit Feld f\u00fcr Postleitzahl, verzerrte Text-Herausforderung und &quot;Kreditkarte Hinzuf\u00fcgen&quot;-Button, der 58,39 $ anzeigt.\" class=\"wp-image-67303 lazyload\" data-srcset=\"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha.webp 1600w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha-300x189.webp 300w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha-1024x645.webp 1024w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha-768x484.webp 768w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha-1536x968.webp 1536w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha-600x378.webp 600w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha-1200x756.webp 1200w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha-730x460.webp 730w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha-1460x920.webp 1460w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha-784x494.webp 784w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha-1568x988.webp 1568w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/03_add_a_captcha-877x553.webp 877w\" data-sizes=\"(max-width: 1600px) 100vw, 1600px\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 1600px; --smush-placeholder-aspect-ratio: 1600\/1008;\" \/><\/figure>\n\n\n<p>CAPTCHAs sind diese kleinen R\u00e4tsel, die dich bitten, Ampeln oder Fahrr\u00e4der zu identifizieren. Sie sind l\u00e4stig f\u00fcr Menschen, aber fast unm\u00f6glich f\u00fcr die meisten Bots zu l\u00f6sen, was sie zu perfekten W\u00e4chtern f\u00fcr wichtige Bereiche deiner Website macht.<\/p>\n\n\n<p><strong>Wie Man Implementiert<\/strong><\/p>\n\n\n<ol class=\"wp-block-list\">\n<li>Melde Dich bei <a target=\"_blank\" href=\"https:\/\/developers.google.com\/recaptcha\">Google&#8217;s reCAPTCHA (kostenlos)<\/a> oder <a target=\"_blank\" href=\"https:\/\/www.hcaptcha.com\/\">hCaptcha<\/a> an.<\/li>\n\n\n\n<li>F\u00fcge den CAPTCHA-Code Deinen sensiblen Formularen hinzu:\n<ul class=\"wp-block-list\">\n<li>Login-Seiten<\/li>\n\n\n\n<li>Kontaktformulare<\/li>\n\n\n\n<li>Checkout-Prozesse<\/li>\n\n\n\n<li>Kommentarbereiche<\/li>\n\n\n<\/ul>\n\n\n<\/li>\n\n\n<\/ol>\n\n\n<p>F\u00fcr WordPress-Nutzer k\u00f6nnen Plugins wie <a target=\"_blank\" href=\"https:\/\/automattic.pxf.io\/daXbzW\">Akismet<\/a> dies automatisch f\u00fcr Kommentare und Formulareingaben handhaben.<\/p>\n\n\n<p><strong>Profi-Tipp:<\/strong> Moderne unsichtbare CAPTCHAs (wie reCAPTCHA v3) arbeiten im Hintergrund f\u00fcr die meisten Besucher und zeigen Herausforderungen nur verd\u00e4chtigen Nutzern. Nutze diese Methode, um Schutz zu erhalten, ohne legitime Kunden zu ver\u00e4rgern.<\/p>\n\n\n<h3 class=\"wp-block-heading\">5. Den Neuen llms.txt Standard Ber\u00fccksichtigen<\/h3>\n\n\n<figure class=\"wp-block-image size-full\"><img decoding=\"async\" width=\"1600\" height=\"1150\" data-src=\"https:\/\/www.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard.webp\" alt=\"Zapier API-Dokumentation, die Endpunkte f\u00fcr 'Get Action Details', 'Get Prefill Choices', 'Search Actions' und 'Create AI Action' mit ihren jeweiligen HTTP-Methoden und Beschreibungen zeigt.\" class=\"wp-image-67304 lazyload\" data-srcset=\"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard.webp 1600w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard-300x216.webp 300w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard-1024x736.webp 1024w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard-768x552.webp 768w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard-1536x1104.webp 1536w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard-600x431.webp 600w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard-1200x863.webp 1200w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard-730x525.webp 730w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard-1460x1049.webp 1460w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard-784x564.webp 784w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard-1568x1127.webp 1568w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/04_consider_the_new_llms_txt_standard-877x630.webp 877w\" data-sizes=\"(max-width: 1600px) 100vw, 1600px\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 1600px; --smush-placeholder-aspect-ratio: 1600\/1150;\" \/><\/figure>\n\n\n<p>Der <a target=\"_blank\" href=\"https:\/\/llmstxt.org\/\">llms.txt Standard ist eine neuere Entwicklung<\/a>, die steuert, wie AI Crawler mit deinem Inhalt interagieren.<\/p>\n\n\n<p>Es ist wie robots.txt, aber speziell daf\u00fcr gedacht, KI-Systemen zu sagen, auf welche Informationen sie zugreifen k\u00f6nnen und was sie vermeiden sollten.<\/p>\n\n\n<p><strong>Wie Du Implementierst<\/strong><\/p>\n\n\n<p>1. <strong>Erstelle eine Markdown-Datei mit dem Namen llms.txt mit dieser Inhaltsstruktur:<\/strong><\/p>\n\n\n<ol class=\"wp-block-list\"><\/ol>\n\n\n<pre class=\"wp-block-code\"><code># Dein Website-Name\n&gt; Kurze Beschreibung Deiner Seite\n\n## Hauptinhaltsbereiche\n- &#091;Produktseiten](https:\/\/yoursite.com\/products): Informationen zu Produkten\n- &#091;Blog-Artikel](https:\/\/yoursite.com\/blog): Bildungsinhalte\n\n## Einschr\u00e4nkungen\n- Bitte nutze unsere Preisinformationen nicht in Schulungen<\/code><\/pre>\n\n\n<p>2. <strong>Lade es in dein Root-Verzeichnis hoch (unter yourdomain.com\/llms.txt) \u2192<\/strong> Wende dich an einen Entwickler, wenn du keinen direkten Zugriff auf den Server hast.<\/p>\n\n\n<ol class=\"wp-block-list\"><\/ol>\n\n\n<p>Ist llms.txt der offizielle Standard? Noch nicht.<\/p>\n\n\n<p>Es ist ein Standard, der Ende 2024 von Jeremy Howard <a target=\"_blank\" href=\"https:\/\/llmstxt.org\/#proposal\">vorgeschlagen<\/a> wurde und von Zapier, Stripe, Cloudflare und vielen anderen gro\u00dfen Unternehmen \u00fcbernommen wurde. Hier ist eine <a target=\"_blank\" href=\"https:\/\/github.com\/thedaviddias\/llms-txt-hub?tab=readme-ov-file\">wachsende Liste von Websites, die llms.txt \u00fcbernehmen<\/a>.<\/p>\n\n\n<p>Also, wenn Du an Bord kommen m\u00f6chtest, gibt es <a href=\"https:\/\/github.com\/AnswerDotAI\/llms-txt\" target=\"_blank\">offizielle Dokumentation auf GitHub<\/a> mit Implementierungsrichtlinien.<\/p>\n\n\n<p><strong>Profi-Tipp:<\/strong> Nach der Implementierung pr\u00fcfe, ob ChatGPT (mit aktivierter Websuche) auf die llms.txt-Datei zugreifen und verstehen kann.<\/p>\n\n\n<figure class=\"wp-block-image size-full\"><img decoding=\"async\" width=\"1600\" height=\"987\" data-src=\"https:\/\/www.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt.webp\" alt=\"Screenshot der KI-Assistenten-Schnittstelle, die die Zapier API-Dokumentation f\u00fcr KI-Aktionen erl\u00e4utert, einschlie\u00dflich Endpunkte zum Abrufen von Aktionsdetails, Suchen von Aktionen und Verwalten der Authentifizierung.\" class=\"wp-image-67305 lazyload\" data-srcset=\"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt.webp 1600w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt-300x185.webp 300w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt-1024x632.webp 1024w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt-768x474.webp 768w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt-1536x948.webp 1536w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt-600x370.webp 600w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt-1200x740.webp 1200w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt-730x450.webp 730w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt-1460x901.webp 1460w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt-784x484.webp 784w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt-1568x967.webp 1568w, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/05_verify_that_the_llms_txt_is_accessible_with_chatgpt-877x541.webp 877w\" data-sizes=\"(max-width: 1600px) 100vw, 1600px\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 1600px; --smush-placeholder-aspect-ratio: 1600\/987;\" \/><\/figure>\n\n\n<p>Stelle sicher, dass die llms.txt f\u00fcr diese Bots zug\u00e4nglich ist, indem Du ChatGPT (oder ein anderes LLM) bittest, \u201e\u00dcberpr\u00fcfe, ob Du diese Seite lesen kannst\u201c oder \u201eWas sagt die Seite.\u201c<\/p>\n\n\n<p>Wir k\u00f6nnen nicht wissen, ob die Bots llms.txt bald respektieren werden. Wenn jedoch die AI-Suche die llms.txt-Datei jetzt lesen und verstehen kann, k\u00f6nnten sie sie auch in Zukunft respektieren.<\/p>\n\n\n<h2 id=\"h2_monitoring-and-maintaining-your-sites-bot-protection\" class=\"wp-block-heading\">\u00dcberwachung Und Wartung Des Bot-Schutzes Deiner Website<\/h2>\n\n\n<p>Also hast Du Deine Bot-Abwehr eingerichtet \u2014 gro\u00dfartige Arbeit!<\/p>\n\n\n<p>Denk daran, dass die Bot-Technologie sich st\u00e4ndig weiterentwickelt, was bedeutet, dass Bots mit neuen Tricks zur\u00fcckkommen. Lass uns sicherstellen, dass deine Seite auf lange Sicht gesch\u00fctzt bleibt.<\/p>\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Regelm\u00e4\u00dfige Sicherheits\u00fcberpr\u00fcfungen Planen:<\/strong> Einmal im Monat solltest Du Deine Serverprotokolle auf verd\u00e4chtige Aktivit\u00e4ten pr\u00fcfen und sicherstellen, dass Deine robots.txt und llms.txt Dateien mit neuen Seitenlinks aktualisiert werden, die Du den Bots erlauben oder verbieten m\u00f6chtest zuzugreifen.<\/li>\n\n\n\n<li><strong>Halte Deine Bot-Blockliste Aktuell:<\/strong> Bots \u00e4ndern st\u00e4ndig ihre Tarnungen. Folge Sicherheitsblogs (oder lass es Deinen Hosting-Anbieter f\u00fcr Dich tun) und aktualisiere Deine Blockierungsregeln in regelm\u00e4\u00dfigen Abst\u00e4nden.<\/li>\n\n\n\n<li><strong>Achte Auf Deine Geschwindigkeit:<\/strong> Bot-Schutz, der Deine Seite verlangsamt, ist nicht hilfreich. Behalte Deine Seitenladezeiten im Auge und justiere Deinen Schutz nach, wenn es anf\u00e4ngt, langsam zu werden. Denk daran, echte Menschen sind ungeduldige Kreaturen!<\/li>\n\n\n\n<li><strong>\u00dcberlege, den Autopiloten Zu Aktivieren:<\/strong> Wenn Dir das alles zu viel Arbeit erscheint (wir verstehen das, Du hast ein Unternehmen zu f\u00fchren!), solltest Du Dir automatisierte L\u00f6sungen oder <a target=\"_blank\" href=\"https:\/\/www.dreamhost.com\/wordpress\/managed-wp-hosting-2\/\">verwaltetes Hosting<\/a> ansehen, das die Sicherheit f\u00fcr Dich \u00fcbernimmt. Manchmal ist das beste DIY DIFM \u2014 Mach es f\u00fcr mich!<\/li>\n\n\n<\/ul>\n\n\n<h2 id=\"h2_a-bot-free-website-while-you-sleep-yes-please\" class=\"wp-block-heading\">Eine botfreie Website, w\u00e4hrend Du schl\u00e4fst? Ja, bitte!<\/h2>\n\n\n<p>Klopf Dir selbst auf die Schulter. Du hast hier viel erreicht!<\/p>\n\n\n<p>Allerdings kann das Ganze trotz unserer Schritt-f\u00fcr-Schritt-Anleitung ziemlich technisch werden. <em>(Was ist eigentlich eine .htaccess-Datei?)<\/em><\/p>\n\n\n<p>Und obwohl das DIY-Management von Bots durchaus m\u00f6glich ist, wirst Du vielleicht feststellen, dass Deine Zeit besser investiert ist, wenn Du Dich auf das Gesch\u00e4ft konzentrierst.<\/p>\n\n\n<p><a target=\"_blank\" href=\"https:\/\/www.dreamhost.com\/pro-services\/management\/dreamcare\/\">DreamCare<\/a> ist der &#8220;Wir k\u00fcmmern uns darum&#8221;-Knopf, den Du suchst.<\/p>\n\n\n<p>Unser Team h\u00e4lt deine Seite gesch\u00fctzt mit:<\/p>\n\n\n<ul class=\"wp-block-list\">\n<li>24\/7-\u00dcberwachung, die verd\u00e4chtige Aktivit\u00e4ten erfasst, w\u00e4hrend Du schl\u00e4fst<\/li>\n\n\n\n<li>Regelm\u00e4\u00dfige Sicherheits\u00fcberpr\u00fcfungen, um neuen Bedrohungen immer einen Schritt voraus zu sein<\/li>\n\n\n\n<li>Automatische Software-Updates, die Sicherheitsl\u00fccken schlie\u00dfen, bevor Bots sie ausnutzen k\u00f6nnen<\/li>\n\n\n\n<li>Umfassende Malware-Scans und -Entfernung, falls doch etwas durchkommt<\/li>\n\n\n<\/ul>\n\n\n<p>Siehe, Bots sind hier, um zu bleiben. Angesichts ihres Anstiegs in den letzten Jahren k\u00f6nnten wir in naher Zukunft mehr Bots als Menschen sehen. Niemand wei\u00df es.<\/p>\n\n\n<p>Aber, warum deswegen schlaflose N\u00e4chte haben?<\/p>\n\n\n\n<div class=\"article-cta-shared article-cta-small article-cta--product\">\n\t<div class=\"tr-img-wrap-outer jsLoading\"><img decoding=\"async\" class=\"js-img-lazy \" src=\"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/themes\/blog2018\/assets\/img\/lazy-loading-transparent.webp\" data-srcset=\"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2024\/03\/product-cta-pro-services-website-management-877x586.webp 1x, https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2024\/03\/product-cta-pro-services-website-management.webp 2x\"  \/><\/div>\n\n\t<a href='https:\/\/www.dreamhost.com\/pro-services\/management\/' class='link-top' target='_blank' rel='noopener noreferrer'>\n\t\t<span>Pro Services &#8211; Website Management<\/span>\n\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewBox=\"0 0 384 512\" width=\"15\"><path d=\"M342.6 233.4c12.5 12.5 12.5 32.8 0 45.3l-192 192c-12.5 12.5-32.8 12.5-45.3 0s-12.5-32.8 0-45.3L274.7 256 105.4 86.6c-12.5-12.5-12.5-32.8 0-45.3s32.8-12.5 45.3 0l192 192z\"\/><\/svg>\n\t<\/a>\n\n\t<div class=\"content-btm\">\n\t\t<h2 class=\"h2--md\">\n\t\t\tWe&#8217;ll Handle the Technical Stuff\n\t\t<\/h2>\n\t\t<p class=\"p--md\">\n\t\t\tBring enterprise-grade performance and reliability to your website. Leave the backend to the experts \u2013 you focus on your business.\n\t\t<\/p>\n\n\t\t        <a\n            href=\"https:\/\/www.dreamhost.com\/pro-services\/management\/\"\n                        class=\"btn btn--white-outline btn--sm btn--round\"\n                                    target=\"_blank\"\n            rel=\"noopener noreferrer\"\n            >\n                            See More                    <\/a>\n\n\t<\/div>\n<\/div>\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\" \/>\n\n\n<p><em>Diese Seite enth\u00e4lt Affiliate-Links. Das bedeutet, dass wir eine Provision verdienen k\u00f6nnen, wenn Du Dienstleistungen \u00fcber unseren Link kaufst, ohne dass Dir zus\u00e4tzliche Kosten entstehen.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Erfahre, wie Du schlechte Bots daran hinderst, die Ressourcen Deiner Website zu ersch\u00f6pfen, w\u00e4hrend Suchmaschinen zufrieden bleiben. Unser Leitfaden zum Stoppen von Web-Crawlern zeigt Dir, wie es geht.<\/p>\n","protected":false},"author":1058,"featured_media":67300,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_yoast_wpseo_metadesc":"Finde heraus, wie du schlechte Bots davon abhalten kannst, die Ressourcen deiner Website zu ersch\u00f6pfen, w\u00e4hrend du Suchmaschinen zufriedenstellst. Unser Leitfaden zum Stoppen von Web-Crawlern zeigt dir, wie es geht.","toc_headlines":"[[\"h-a-quick-refresher-on-bots\",\"Eine Schnelle Auffrischung \u00dcber Bots\"],[\"h-good-bot-bad-bot-what-s-what\",\"Guter Bot, Schlechter Bot: Was Ist Was?\"],[\"h2_are-bots-bogging-down-your-website-look-for-these-warning-signs\",\"Belasten Bots Deine Website? Achte Auf Diese Warnzeichen\"],[\"h2_your-bot-busting-toolkit-5-simple-steps-to-take-back-control\",\"Dein Bot-Bek\u00e4mpfungs-Toolkit: 5 Einfache Schritte Zur R\u00fcckgewinnung Der Kontrolle\"],[\"h2_monitoring-and-maintaining-your-sites-bot-protection\",\"\u00dcberwachung Und Wartung Des Bot-Schutzes Deiner Website\"],[\"h2_a-bot-free-website-while-you-sleep-yes-please\",\"Eine botfreie Website, w\u00e4hrend Du schl\u00e4fst? Ja, bitte!\"]]","hide_toc":false,"footnotes":""},"categories":[14497],"tags":[],"class_list":["post-72890","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-webhosting-de"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v26.3 (Yoast SEO v27.4) - https:\/\/yoast.com\/product\/yoast-seo-premium-wordpress\/ -->\n<title>Wie Du Verhindern Kannst, Dass Web-Crawler und Bots Deine Website Verlangsamen - DreamHost Blog<\/title>\n<meta name=\"description\" content=\"Finde heraus, wie du schlechte Bots davon abhalten kannst, die Ressourcen deiner Website zu ersch\u00f6pfen, w\u00e4hrend du Suchmaschinen zufriedenstellst. Unser Leitfaden zum Stoppen von Web-Crawlern zeigt dir, wie es geht.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/\" \/>\n<meta property=\"og:locale\" content=\"en_US\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Wie Du Verhindern Kannst, Dass Web-Crawler und Bots Deine Website Verlangsamen\" \/>\n<meta property=\"og:description\" content=\"Finde heraus, wie du schlechte Bots davon abhalten kannst, die Ressourcen deiner Website zu ersch\u00f6pfen, w\u00e4hrend du Suchmaschinen zufriedenstellst. Unser Leitfaden zum Stoppen von Web-Crawlern zeigt dir, wie es geht.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/\" \/>\n<meta property=\"og:site_name\" content=\"DreamHost Blog\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/DreamHost\/\" \/>\n<meta property=\"article:published_time\" content=\"2025-05-12T14:00:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2025-07-03T14:15:37+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/1460x1095_blog_hero_how_to_stop_web_crawlers_and_bots_from_slowing_down_your_website.webp\" \/>\n\t<meta property=\"og:image:width\" content=\"1460\" \/>\n\t<meta property=\"og:image:height\" content=\"1095\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/webp\" \/>\n<meta name=\"author\" content=\"Ian Hernandez\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@dreamhost\" \/>\n<meta name=\"twitter:site\" content=\"@dreamhost\" \/>\n<meta name=\"twitter:label1\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data1\" content=\"Ian Hernandez\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data2\" content=\"13 minutes\" \/>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Wie Du Verhindern Kannst, Dass Web-Crawler und Bots Deine Website Verlangsamen - DreamHost Blog","description":"Finde heraus, wie du schlechte Bots davon abhalten kannst, die Ressourcen deiner Website zu ersch\u00f6pfen, w\u00e4hrend du Suchmaschinen zufriedenstellst. Unser Leitfaden zum Stoppen von Web-Crawlern zeigt dir, wie es geht.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/","og_locale":"en_US","og_type":"article","og_title":"Wie Du Verhindern Kannst, Dass Web-Crawler und Bots Deine Website Verlangsamen","og_description":"Finde heraus, wie du schlechte Bots davon abhalten kannst, die Ressourcen deiner Website zu ersch\u00f6pfen, w\u00e4hrend du Suchmaschinen zufriedenstellst. Unser Leitfaden zum Stoppen von Web-Crawlern zeigt dir, wie es geht.","og_url":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/","og_site_name":"DreamHost Blog","article_publisher":"https:\/\/www.facebook.com\/DreamHost\/","article_published_time":"2025-05-12T14:00:00+00:00","article_modified_time":"2025-07-03T14:15:37+00:00","og_image":[{"width":1460,"height":1095,"url":"https:\/\/www.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/1460x1095_blog_hero_how_to_stop_web_crawlers_and_bots_from_slowing_down_your_website.webp","type":"image\/webp"}],"author":"Ian Hernandez","twitter_card":"summary_large_image","twitter_creator":"@dreamhost","twitter_site":"@dreamhost","twitter_misc":{"Written by":"Ian Hernandez","Est. reading time":"13 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/#article","isPartOf":{"@id":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/"},"author":{"name":"Ian Hernandez","@id":"https:\/\/www-dev.dreamhost.com\/blog\/#\/schema\/person\/220faf2464d5ae08e41cf5f3b28fdc96"},"headline":"Wie Du Verhindern Kannst, Dass Web-Crawler und Bots Deine Website Verlangsamen","datePublished":"2025-05-12T14:00:00+00:00","dateModified":"2025-07-03T14:15:37+00:00","mainEntityOfPage":{"@id":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/"},"wordCount":2324,"publisher":{"@id":"https:\/\/www-dev.dreamhost.com\/blog\/#organization"},"image":{"@id":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/#primaryimage"},"thumbnailUrl":"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/1460x1095_blog_hero_how_to_stop_web_crawlers_and_bots_from_slowing_down_your_website.webp","articleSection":["Webhosting"],"inLanguage":"en-US"},{"@type":"WebPage","@id":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/","url":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/","name":"Wie Du Verhindern Kannst, Dass Web-Crawler und Bots Deine Website Verlangsamen - DreamHost Blog","isPartOf":{"@id":"https:\/\/www-dev.dreamhost.com\/blog\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/#primaryimage"},"image":{"@id":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/#primaryimage"},"thumbnailUrl":"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/1460x1095_blog_hero_how_to_stop_web_crawlers_and_bots_from_slowing_down_your_website.webp","datePublished":"2025-05-12T14:00:00+00:00","dateModified":"2025-07-03T14:15:37+00:00","description":"Finde heraus, wie du schlechte Bots davon abhalten kannst, die Ressourcen deiner Website zu ersch\u00f6pfen, w\u00e4hrend du Suchmaschinen zufriedenstellst. Unser Leitfaden zum Stoppen von Web-Crawlern zeigt dir, wie es geht.","breadcrumb":{"@id":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/#breadcrumb"},"inLanguage":"en-US","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/"]}]},{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/#primaryimage","url":"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/1460x1095_blog_hero_how_to_stop_web_crawlers_and_bots_from_slowing_down_your_website.webp","contentUrl":"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2025\/05\/1460x1095_blog_hero_how_to_stop_web_crawlers_and_bots_from_slowing_down_your_website.webp","width":1460,"height":1095,"caption":"How To Stop Web Crawlers and Bots From Slowing Down Your Website"},{"@type":"BreadcrumbList","@id":"https:\/\/www-dev.dreamhost.com\/blog\/de\/wie-du-verhindern-kannst-dass-web-crawler-und-bots-deine-website-verlangsamen-de\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/dhblog.dream.press\/blog\/"},{"@type":"ListItem","position":2,"name":"Wie Du Verhindern Kannst, Dass Web-Crawler und Bots Deine Website Verlangsamen"}]},{"@type":"WebSite","@id":"https:\/\/www-dev.dreamhost.com\/blog\/#website","url":"https:\/\/www-dev.dreamhost.com\/blog\/","name":"DreamHost Blog","description":"","publisher":{"@id":"https:\/\/www-dev.dreamhost.com\/blog\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www-dev.dreamhost.com\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"en-US"},{"@type":"Organization","@id":"https:\/\/www-dev.dreamhost.com\/blog\/#organization","name":"DreamHost","url":"https:\/\/www-dev.dreamhost.com\/blog\/","logo":{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/www-dev.dreamhost.com\/blog\/#\/schema\/logo\/image\/","url":"https:\/\/dhblog.dream.press\/blog\/wp-content\/uploads\/2019\/01\/dh_logo-blue-2.png","contentUrl":"https:\/\/dhblog.dream.press\/blog\/wp-content\/uploads\/2019\/01\/dh_logo-blue-2.png","width":1200,"height":168,"caption":"DreamHost"},"image":{"@id":"https:\/\/www-dev.dreamhost.com\/blog\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/DreamHost\/","https:\/\/x.com\/dreamhost","https:\/\/www.instagram.com\/dreamhost\/","https:\/\/www.linkedin.com\/company\/dreamhost\/","https:\/\/www.youtube.com\/user\/dreamhostusa"]},{"@type":"Person","@id":"https:\/\/www-dev.dreamhost.com\/blog\/#\/schema\/person\/220faf2464d5ae08e41cf5f3b28fdc96","name":"Ian Hernandez","image":{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2022\/04\/ian-hernandez-dreamhost-150x150.png","url":"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2022\/04\/ian-hernandez-dreamhost-150x150.png","contentUrl":"https:\/\/www-dev.dreamhost.com\/blog\/wp-content\/uploads\/2022\/04\/ian-hernandez-dreamhost-150x150.png","caption":"Ian Hernandez"},"description":"Ian is a Product Designer based in Los Angeles, California. He is responsible for driving brand and product design at DreamHost, developing and maintaining our internal design system, and writing frontend code when he can. In his free time, he enjoys walking his dog, learning history, and discovering new music online and irl. Connect with him on LinkedIn: https:\/\/www.linkedin.com\/in\/ianhernandez23\/","url":"https:\/\/www-dev.dreamhost.com\/blog\/author\/ianh\/"}]}},"lang":"de","translations":{"de":72890,"en":67299,"es":67284,"it":68678,"fr":70927,"nl":70963,"uk":72301,"pt":72314,"pl":72342,"ru":72898},"pll_sync_post":[],"_links":{"self":[{"href":"https:\/\/www-dev.dreamhost.com\/blog\/wp-json\/wp\/v2\/posts\/72890","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www-dev.dreamhost.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www-dev.dreamhost.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www-dev.dreamhost.com\/blog\/wp-json\/wp\/v2\/users\/1058"}],"replies":[{"embeddable":true,"href":"https:\/\/www-dev.dreamhost.com\/blog\/wp-json\/wp\/v2\/comments?post=72890"}],"version-history":[{"count":2,"href":"https:\/\/www-dev.dreamhost.com\/blog\/wp-json\/wp\/v2\/posts\/72890\/revisions"}],"predecessor-version":[{"id":72894,"href":"https:\/\/www-dev.dreamhost.com\/blog\/wp-json\/wp\/v2\/posts\/72890\/revisions\/72894"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www-dev.dreamhost.com\/blog\/wp-json\/wp\/v2\/media\/67300"}],"wp:attachment":[{"href":"https:\/\/www-dev.dreamhost.com\/blog\/wp-json\/wp\/v2\/media?parent=72890"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www-dev.dreamhost.com\/blog\/wp-json\/wp\/v2\/categories?post=72890"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www-dev.dreamhost.com\/blog\/wp-json\/wp\/v2\/tags?post=72890"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}