# robots.txt für midgards-messer-shop.com
Sitemap: https://midgards-messer-shop.com/sitemap_index.xml

# ------------------------------------------------------------
# 1) Meta-AI-Crawler blocken
# ------------------------------------------------------------
User-agent: meta-externalagent
Disallow: /

# Optional härter:
# Wenn du auch Meta-Fetches für nutzerinitiierte Abrufe nicht willst,
# kannst du zusätzlich Folgendes testen.
# Achtung: Das kann Auswirkungen auf Meta-/Social-Fetches haben.
#
# User-agent: meta-externalfetcher
# Disallow: /

# ------------------------------------------------------------
# 2) Typische SEO-/Scraper-/Harvesting-Bots blocken
#    Diese Liste ist bewusst konservativ gehalten.
# ------------------------------------------------------------
User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: PetalBot
Disallow: /

# ------------------------------------------------------------
# 3) Allgemeine Crawl-Hygiene für alle übrigen Bots
#    Suchmaschinen und führende KI-Bots bleiben grundsätzlich erlaubt,
#    aber unnötige WC-/WP-Aktions- und Filter-URLs werden ausgespart.
# ------------------------------------------------------------
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Standard-WooCommerce/Account-Seiten
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /wishlist/

# Interne Suche
Disallow: /?s=
Disallow: /*?s=

# Aktions- und Nonce-URLs
Disallow: /*?add-to-cart=
Disallow: /*&add-to-cart=
Disallow: /*?add_to_wishlist=
Disallow: /*&add_to_wishlist=
Disallow: /*?wpnonce=
Disallow: /*&wpnonce=

# WooCommerce AJAX
Disallow: /*?wc-ajax=
Disallow: /*&wc-ajax=

# Typische Facetten-/Sortierparameter
Disallow: /*?orderby=
Disallow: /*&orderby=
Disallow: /*?filter_
Disallow: /*&filter_
Disallow: /*?min_price=
Disallow: /*&min_price=
Disallow: /*?max_price=
Disallow: /*&max_price=
Disallow: /*?rating_filter=
Disallow: /*&rating_filter=