Konuya geçmeden önce indekslemenin basitçe tanımını yapmak istiyorum. İndeksleme, arama motorunun web sitesini kendi veritabanına kaydetmesidir. Bot adı verilen robot yazılımlarla yapılan bu iş, arama motoru yazılımlarının en önemli işlevidir. Örneğin Google ‘ın Adsense, Freshbot ve DeepCrawl adında bilinen 3 robot yazılımı vardır. Bu robotlar sitenizin her sayfasına girerler, içerikleri kategorize ederler ve veritabanına kaydederler. Adsense, Google ‘ın site sahiplerine reklam yayınlamaları karşılığı kazanç sağlamalarını sağlayan bir sistemdir. Adsensse botları, bu reklamları yayınlayan siteler için çalışır. Sitenin içeriği değiştikçe, içeriğe göre reklam yayınlamak için, her değişimden sonra Adsense botları sitedeki yeni içerikleri indexler.

FreshBot, web sitenizde bulunan en popüler ve en yeni sayfalarla ilgilenir. İçeriğin bir veya binlerce adet olmasının bir önemi yoktur. Sıkça güncellendiği ve çok trafik aldığı bilinen siteler Google tarafından her 10 dakikada bir ziyaret edilir ve indexlenir. Diğer sitelere bu robotun uğrama sıklığı, sitenin popülerliği ve güncellenmesine bağlı olarak her gün veya 15 günde bir olabilir. FreshBot sitenizi ziyaret ettiğinde sitedeki bütün bağlantıları gezer ve onları veritabanına kaydeder. Bu sayede diğer bot DeepCrowl sitenize geldiğinde bu bağlantılar ona yol gösterir ve işini yapmasına yardımcı olur. DeepCrowl ise ayda bir kez gelerek sitenizdeki tüm bilgileri indeksler. Bu yüzden web sitenizdeki yeni bilgiler Google sonuçlarında 1 ay sonra ortaya çıkmaya başlayabilir.