Bizler gibi Flarum v1.x (ya da diğer sürümleri) kullanan web siteleri için arama motoru botlarının (Googlebot, Bingbot vb.) siteyi nasıl tarayacağını belirleyen robots.txt dosyası hem SEO performansı hem de sunucu güvenliği için kritik bir öneme sahiptir.
Flarum, yapısı gereği single-page application (SPA) gibi davranır ve bazı dinamik rotaların veya sistem dosyalarının arama motorları tarafından gereksiz yere taranması Yumuşak 404 (Soft 404) hatalarına ya da tarama bütçenizin boşa harcanmasına neden olabilir.
Bundan dolayı özellikle Flarum v1.x sürümleri için optimize edilmiş, en güvenli ve SEO dostu robots.txt kalıbını ve satır satır ne işe yaradıklarını anlattım.
Aşağıda yazdığım kodları sitenizin kök dizininde (public/ klasörü içinde) yer alan robots.txt dosyanıza doğrudan ekleyebilirsiniz, yoksa da bir robots.txt dosyasını bunlarla oluşturabilirsiniz:
User-agent: *
# Flarum Sistem ve Güvenlik Dizinleri
Disallow: /admin
Disallow: /admin/
Disallow: /api
Disallow: /api/
Disallow: /vendor/
Disallow: /storage/
Disallow: /assets/
# Kullanıcı Özel Sayfaları ve Oturum İşlemleri
Disallow: /settings
Disallow: /notifications
Disallow: /login
Disallow: /logout
Disallow: /reset
Disallow: /confirm
# Yinelenen İçerik (Duplicate Content) ve Tarama Bütçesi Koruyucular
Disallow: /*?sort=
Disallow: /*?page=
# Site Haritası Tanımı (Kendi sitenize göre güncelleyin)
Sitemap: https://www.siteadi.com/sitemap.xml
**User-agent: * ** Bu kuralın altındaki tüm emirlerin Google, Bing, Yandex dahil dünyadaki tüm arama motoru botları için geçerli olduğunu belirtir.
/admin ve /admin/ Forumun yönetim panelini botlara kapatır. Yönetim panelinin indekslenmesi hem güvenlik açığı oluşturabilir hem de arama sonuçlarında çıkmaması gereken bir alandır.
/api ve /api/ Flarum tamamen API tabanlı çalışır. Botların arka plandaki ham JSON verilerini çeken API uç noktalarınızı taramasını engelleyerek sunucu yükünü hafifletirsiniz.
/vendor/, /storage/, /assets/ Flarum'un çekirdek kodlarının, eklenti paketlerinin, sistem loglarının ve önbellek dosyalarının bulunduğu klasörlerdir. Botların bu teknik dosyalarla işi yoktur; kapatılması güvenliği artırır.
/settings, /notifications, /login, /logout, /reset, /confirm Kullanıcıların kişisel ayarları, bildirimleri ve giriş-çıkış gibi şifre sıfırlama sayfalarıdır. Tamamen üyelere özel olan bu sayfaların taranması engellenmelidir.
/?sort= ve /?page= Flarum'un en önemli SEO ayarlarından biridir. Forumda konuları "en yeni", "en eski" veya "en çok yanıt alan" diye sıralayan URL parametreleri Google gözünde yinelenen içerik (duplicate content) yaratır. Botların aynı konuyu farklı filtrelerle defalarca taramasını engeller, tarama bütçenizi korur.
Sitemap: Arama motorlarına sitenizin haritasının tam olarak nerede olduğunu gösterir. Botlar bu satırı okuyarak sitenizdeki yeni açılan konuları çok daha hızlı keşfeder.
Dosyayı sunucunuza (varsayılan kurulumlarda public/robots.txt içine) yükledikten sonra tarayıcınızdan https://siteadi.com/robots.txt şeklinde kontrol etmeyi unutmayın.
