Bu yazım da daha çok nasıl en iyi bir şekilde robot.txt dosyası oluşturulur değilde örnek bir robot.txt dosyası paylaşmayı amaçlamış bulunmaktayım. İster WordPress içerik yönetim sistemli bir Web Sitemiz olsun ya başka bir script içeren Web Sitesi olsun olmazsa olmazlarından gereken bir şey vardır ki yazının başlığında da anlaşıldığı şekilde robot.txt dosyamız.
Robot.txt dosyanızın neleri Arama Motorlarının dizine alması yada almaması gerektiğini ayarlayacağınız bir konsol gibi bir şey olduğunu en az sizde benim kadar biliyorsunuzdur. Önemli olan ise sitenin kendi özel bilgilerini yayınlaması değilde yazılarınızı yorumlarınızı yayınlamasıdır. İşte buyrun sizlere bir örnek site haritası ⬇️⬇️⬇️.
———-
sitemap: http://www.siteadiniz.com/sitemap.xml User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /archives/ disallow: /*?* Disallow: *?replytocom Disallow: /wp-* Disallow: /author Disallow: /comments/feed/ User-agent: Mediapartners-Google* Allow: / User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: Googlebot-Mobile User-agent: Adsbot-Google Allow: /
———-
Yukarı’da belirtmiş olduğum metin’de kopyala yapıştır yapmadan önce dikkat etmeniz gereken yer siteadiniz.com ‘u kendi site adınızla değiştirmeniz gerekmektedir. Bunun haricin’de her şeyi kopyala yapıştır ile yapabilirsiniz.
Webdunya.com ‘un robot.txt dosyasına göz atmak isterseniz tıklayınız.