# Bagian 1: Instruksi untuk semua bot (Google, Bing, dll)
User-agent: *
Disallow: /Auth/            # Blokir akses ke folder admin (Contoh: WordPress)
Disallow: /Admin/
Allow: /wp-admin/admin-ajax.php  # Tetap izinkan file fungsionalitas admin tertentu
Disallow: /tmp/                 # Jangan indeks folder sementara
Disallow: /search/              # Hindari perayapan hasil pencarian internal (hemat crawl budget)

# Bagian 2: Opsional - Blokir bot AI jika Anda tidak ingin konten digunakan untuk pelatihan AI
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /

# Bagian 3: Lokasi Sitemap (Sangat Penting untuk SEO)
Sitemap: https://batukota.go.id