Yeni Bloglarda İndekslenmeme Sorununun Çözümü

Günümüzden aşağı yukarı 10 yıl önce iddia edilen “Gelecekte hernet bir internet sitesi olacak” sözü neredeyse gerçekleşmek üzere. Şu an dünya’da 11,5 milyar civarında web sitesi bulunmaktadır. Türkiye’de ise 2 milyondan fazla web sitesi bulunmaktadır. Hâl böyle olunca, gün geçtikçe yeni bir blog açılmakta ve bu blogların ise bazı problemleri olmaktadır. Bu problemlerin en başta ise yeni bloglarda indekslenmeme problemu gelir. İndeks, blog içeriklerinin arama motoru sonuçlarında çıkması anlamına gelmektedir. Bir blog için içeriklerinin indekslenmesi oldukça önemlidir; zira içerikler indekslenmeden bir blog hit alınamaz.



İndekslenmeme probleminin dışında bunun yanı sıra, indekslenen içeriğin bir müddet sonra indeksinin kaldırılması problemu da blog kullanıcıların rastladıkları problemlerdan biridir. Peki, bloglar neden indekslenmez veya indeksleri neden kaldırılır? Bu problemin tek bir cevabı yoktur. Pek çok nedenden kaynaklı indekslenmeme problemu oluşabilir. Bunların başında blog’a derli toplu içerik girilmemesi indeks hızını yavaşlatabileceği gibi, zaman içinde indeksli içeriklerinde indekslerinin arama motorları tarafından kaldırılmasına yol açabilir. Bir diğer neden ise, bloglarda paylaşılan içeriklere Google vb. arama motorları ceza verebilir, hatta banlayabilir. Ancak, yeni açılmış birkaç haftalık bir blog söz konusu olduğunda nedenler biraz farklılaşabilir.

Sorunlarından ilki, arama motorlarının robotlarının siteleri çok sık ziyaret etmemesidir. Google robotlarının blog ve siteleri ziyaret sıklığı “Google Web Yöneticisi Araçları” sitesine girildikten sonra Tarama > Tarama İstatistiklerine girilerek öğrenilebilir. Şimdi, şayet yeni açılmış bir blog’a arama motoru robotları uğramasına rağmen uzun süre boyunca blog indekslenmiyorsa, bu problemu çözüme ulaştırmak için bazı yollar vardır. Şimdi bu yapılabileceklere bakalım.

Yeni bloglarda indekslenmeme probleminun çözümü için ilk yapılması gereken, şayet arama motoru robotları uğruyor ancak indekslemiyorsa, blogun robots.txt dosyasının kontrol edilmelidir. Robots.txt dosyaları, arama motorlarının blog ya da sitelerdeki bazı içerikleri indekslememesi için konulan dosyalardır. Blogger vb. blog servislerinde robots.txt dosyası blog açıldığında hazır gelir. Eğer bir blog’da indekslenmeme problemu varsa, robots.txt dosyası silinmeli ya da internetten İdeal robots.txt dosyası ile değiştirilmelidir. Peki, robots.txt dosyası nasıl değiştirilir? Şimdi bilmeyenler için kısaca buna bakalım.

Robots.txt Dosyası Nasıl Değiştirilir?

Robots.txt dosyasını değiştirmeden önce blogun robots.txt dosyası kontrol edilmelidir. Bunun için adres çubuğuna www.siteadı.blogspot.com/robots.txt yazılmalıdır. Eğer çıkan kodlar aşağıdaki gibi ise, blogdaki içerikler taranmaz. Bu yüzden bu kodlar değiştirilmelidir.

User-agent:*
Disallow: /

Bunun için ilk önce internetten araştırarak İdeal robots.txt kodlarını bulmak gerekir. Aşağıda örnek amacıyla verilen kodlar kullanılabileceği gibi, isteyenler diğer kodlar da bulup kullanabilirler.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search?q=*

Disallow: /*?updated-max=*

Allow: /
Sitemap:http://www.siteadı.blogspot.com/feeds/posts/default?orderby=updated
(Siteadı yazan yere kendi site adınızı yazmalısınız)
Robots.txt dosyasını değiştirmek için yapılması gerekli olanlar şu şekildedir:

1)Blog admin paneli açılır.

2)“Ayarlar” düğmesi ve sonrasında da “Arama Tercihleri” düğmesi tıklanır.

3)Açılan sayfada “Özel robot.txt” yazan yerin yanındaki “Düzenle” düğmesi tıklanır. İçi boş olan bu alana, yeni robots.txt kodları yapıştırılır.

4) Son olarak “Değişiklikleri kaydet” adı verilir.

Robots.txt dosyası anlık değişmez. Genellikle, yapılan değişiklik blog’a 1 gün sonra yansımaktadır. Robots.txt dosyasının değişiminin sonrasında arama motoru robotlarının gelmesi beklenmelidir. Bu süreç ping atılarak hızlandırılabilir. Ping atıldıktan 1 gün sonra şayet yine blog indekslenme problemu çözülmez ise ikinci yapılması gereken şey, “Google Web Yöneticisi Araçları” sitesine girerek “Google gibi getir” opsiyonuni kullanmaktır.

Google Gibi Getir Nasıl Kullanılır?

Google gibi getir, aslında indeksleme amacıyla yapılmasa da Google robotları dizine ekleme için geldiklerinde bunun yanı sıra indeksleme prosedürü de yaparlar. “Google Web Yöneticisi Araçlarına” girildikten sonra sırayla şu prosedürler yapılmalıdır:

1)”Tarama” düğmesi tıklanır ve sonrasında da “Google gibi Getir” düğmesi tıklanır.

2) Üstünde site adınız yazan bir URL adres bölümü açılır. Bu bölüme site ana sayfası dâhil, ayrı ayrı tüm içeriklerin URL’leri girilir. Her seferinde çıkan “Dizine Gönder” düğmesi tıklandıktan sonra “Yalnızca bu URL bağlantısı”  opsiyonu her gönderimde işaretlenir. Bu prosedür bütün URL’ler için yapıldıktan sonra prosedür bitmiş olur.

Eğer blogunuza arama motorları tarafından ceza verilmemişse ya da blogunuz ban yememişse, bu prosedürlerin sonrasında aynı gün içinde büyük ihtimalla bütün blog içerikleriniz indekslenecektir.