(0212) 212 5736 / (0542) 345 1980

Google Bot

Google Bot, Google tarafından kullanılan ve web sayfalarını bağlantılar yoluyla tarayan, bu sitelerdeki yeni ve güncellenmiş içerikleri bulup okuyan, ayrıca hataları analiz edip sonunda bunları Google indexine eklenmesi konusunda öneride bulunan bir yazılımdır. Özet olarak ise Google bot, Google'ın web siteleri hakkında bilgileri toplayan arama motoru botudur.
Google Bot Nedir?
Google Bot

Google Bot – Web Tarayıcısı – Örümcek

Google Bot Nedir? Öncelikle kafa karışıklığını azaltmak adına başlıktaki tüm terimlerin SEO açısından bakıldığında aynı anlama geldiklerini bilmenizde fayda var. Google Bot, Google tarafından kullanılan ve web sayfalarını bağlantılar yoluyla tarayan, bu sitelerdeki yeni ve güncellenmiş içerikleri bulup okuyan, ayrıca hataları analiz edip sonunda bunları Google indexine eklenmesi konusunda öneride bulunan bir yazılımdır. Özet olarak ise Google bot, Google’ın web siteleri hakkında bilgileri toplayan arama motoru botudur.

Google’ın arama sonuçları Google Veritabanı’ndan gelmektedir ve arama sonuçlarında hangi sitenin çıkması gerektiği, kaçıncı sırada çıkması gerektiği gibi konulara karar veren yani Google’ın beyni farklı bir yapay zeka algoritmasıdır. Bu sebeple Googlebot ile Google algoritmasını karıştırmamak gerekir. Google Bot’un görevi kesintisiz şekilde tüm dünyadaki web sitelerini gezmektir.

GoogleBot Nasıl Çalışır?

Googlebot, nereye nasıl gideceğini belirlemek için daha önceki tarama verileri, site haritalarını ve veritabanlarını kullanır. Siteniz çok sık güncellenen veya Google News kayıtlı bir site değilse sitenizi ziyaretinde bulduğu yeni bağlantıları daha sonra ziyaret edilecek sayfa listesine ekleyerek yoluna devam eder. Eğer daha önceki bağlatılarda değişiklik veya kopukluk bulursa (kırık link) bunu da anında yapmaz ve dizin güncellemesi yapılacaklar listesine ekler. Örneğin bir sayfanız 404 hatası verse bile bir süre daha arama sonuçlarında çıkmasının sebebi bundandır. Bu gibi daha sonra yapılacak işlemlerin tümünü Google Search Console (Google Arama Konsolu) sayfasından sizde takip edebilirsiniz. Search Console hakkında aşağıda biraz daha bilgi vereceğim.

Google Botları

Google farklı ürünleri için farklı botlar kullanmaktadır. Örneğin, AdSense ve AdsBot reklam kalitelerini kontrol etmek için kullanılan farklı bir bottur. Aynı şekilde görseller ve videolar içinde botlar mevcuttur. Bizim için en önemli Google Botları aşağıdakilerdir;

Bot AdıYönlendiren / Kullanıcı Temsilcisi
Googlebot (desktop)Mozilla/5.0 (compatible; Googlebot/2.1;
+http://www.google.com/bot.html)
Googlebot (mobile)Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile
Safari/537.36 (compatible; Googlebot/2.1;
+http://www.google.com/bot.html)
Googlebot VideoGooglebot-Video/1.0
Googlebot ImagesGooglebot-Image/1.0
Googlebot NewsGooglebot-News

GoogleBot Çağırma

Google Bot’un sitenizi ne sıklıkta ziyaret ettiğini ve orada ne yaptığını öğrenmek için, günlük log dosyalarınızı inceleyebilir veya Google Arama Konsolunun Tara bölümününden kolayca bu işi gerçekleştirebilirsiniz. Log dosyalarını incelemek zahmetli bir iştir. Üstelik spam yapmak yada en kötüsü sitenizdeki açıkları arayıp hacklemek isteyen kişiler siteler Googlebot şeklinde erişmeye çalışmaktadır. Burada en kesin çözüm IP adresi olmasına rağmen Google botlarının kullandığı IP adreslerini açıklamadığı ve belli aralıklar ile değiştirdiği için Google’ın anlattığı şekilde Googlebot doğrulaması yapmak olabilir.

GoogleBot’u Yönetme ve Sınırlama

Aslında bir çok bot Robots.txt dosyasını okur ve dikkate alır. Eğer Googlebot’un sitenizde kafasına göre oradan oraya dolaşmasını istemiyorsanız Robots.txt dosyası kullanabilirsiniz. Robots.Txt dosyası ile Google Bot’a hangi klasörleri indexlemesi hangilerini indexlememesi gibi komutları verebilirsiniz. Ancak bu işlemi yaparken dikkatli olmanızda fayda var. Çünkü  yanlış bir şekilde yaparsanız, Googlebot’un tamamen gelmesini durdurabilirsiniz. Buda sitenizin Google dizininden çıkarılmasına kadar varan sonuçları olabilir. Bu konuyu sizlere farklı bir makalede detaylı bir şekilde anlatacağım.

Arama Konsolu (Search Console)

Arama Konsolu, sitenizin durumunu ve Google gözünde güvenilirliğini kontrol etmek için en önemli araçlardan biridir. Bu aracı kullanarak Googlebot’un sitenizi nasıl gördüğünü görebilir, hatalarınızı düzelterek sitenizin itibarını artırabilirsiniz. Düzeltmeniz gereken tarama hataları varsa Arama Konsolu buları size bir liste halinde sunar. Düzeltmelerden sonra veya yeni bir sayfa ekledikten sonra Arama Konsolu’ndan, Googlebot’tan sitenizi yeniden taramasını isteyebilirsiniz.

Google Bot İçin Optimize Edin!

Googlebot’un sitenizi daha hızlı taramasını sağlamak, tarayıcının sitenize düzgün şekilde erişmesini engelleyen teknik sorunları kaldırmak teknik bir işlem olsada bunu mutlaka yapmak/yaptırmak zorundasınız. Eğer Google organik aramalarda sitenizin belli bir yere gelmesini hedefliyorsanız öncelikle siteniz ve Google arasındaki bağlantının, anlaşmanın çok iyi olması şarttır. Sitenizi anlayamayan bir Google Bot’tan ne bekleyebilirsiniz ki? Ayrıca unutmayın ki Google sizi değil siz Google’ı anlayıp derdinizi onun dilinde (Googleca) anlatmak zorundasınız.

Googlebot Ziyaret Sıklığı

Google Bot, sitenizi ziyaret eden küçük robottur. Siteniz için teknik olarak sağlam bir altyapı kurduysanız ve kendinizi ona doğru şekilde anlatabildiyseniz sık sık ziyaretinize gelir. Gerçek hayatta en sık görüştüğünüz kişiler en iyi anlaştığınız kişiler değil mi? Bu da aynı mantık! Düzenli ve istikrarlı bir şekilde taze içerik eklerseniz onu daha da sık görürsünüz. Bazen, sitenize büyük çaplı değişiklikler yaptığınızda sizde Googlebot’u çağırabilirsiniz. Aranız iyiyse sizi kırmaz ve en kısa sürede gelip yaptığınız değişiklikleri işleme aldırır.

Umarım açıklayıcı ve faydalı bir yazı olmuştur. Soru ve yorumlarınızı yazmayı unutmayın lütfen.

Kaynaklar:

https://developers.google.com/search/docs/advanced/crawling/googlebot?hl=tr            https://developers.google.com/search/docs/advanced/crawling/verifyinggooglebothl=tr&visit_id=63752773304863070-1369576747&rd=1   

Bot Nedir ? Arama Motoru Botları

Bot Nedir ? Arama Motoru Botları

Arama motoru botlarını daha derinlemesine incelemekte de fayda var. Gelin konuya biraz daha inelim ve genel olarak arama motoru botlarının tarihi ve çalışma prensibini öğrenelim.

Bot Nedir? İnternet Botları Nasıl Çalışır?

Bot, su üstüne genelde bir kaç yolcuyu taşımaya yarayan küçük gemilerdir. Birde kışın ayağımıza giydiğimiz ayakkabı çeşidi vardır. Ne alaka diyebilirsiniz ama aslında bu açıklamayı kullanıcı deneyimi örneği olması açısından yazdım.

Google kullanıcılarınıza aradıkları konu hakkında gerçek ve açıklayıcı bilgi verin demiyor mu? Siz buraya belki arama motoru botları hakkında bilgi almaya geldiniz ama belki başka bir kullanıcı “Bot Nedir”‘in kelime anlamını arıyordur? Google bunu bilebilir mi? Tabi ki de bilemez zaten bu sebeple sayfalarınızın içeriklerinde konuyu derinlemesine anlatmanızı istiyor…

Bu kısa örnekten sonra biz asıl konumuz olan “Arama Motoru Botları“na dönelim.

Not: Ülkemizde internetin yaygınlaşmaya başladığı 2000’li yıllarda IRC dediğimiz chat uygulamaları çok popülerdi. Bunlar içinde en çok kullandığımız MIRC programıydı. MIRC içinde yazışarak sohbet edebileceğiniz bir çok kanal bulunurdu. Bu kanalların en ünlüsü Zurna’ydı. Bunu şundan anlattım Çünkü tanıştığım ilk bot aslında bu chat kanallarında kullanılan Chat Bot’lardı. Bu botlar hem kanalları kalabalık göstermek için hemde küfür vs edenleri otomatik olarak kanaldan atmaya yarardı. Sonrasında tanıştığım Bot ise Quake  oyunundaki botlardı.

MIRC

MIRC Programı Ekran Görüntüsü

 

Arama Motoru Botları

SEO firması veya SEO uzmanı olun eğer işiniz arama motoru optimizasyonu ise ve bir web sitesinin belli kelimelerde rakiplerinizden yukarıda çıkarmak istiyorsanız öncelikle tüm çalışmalarının temelinde Google gelir. Tabi yüzlerce arama motoru olsa bile insanların %94 gibi büyük bir kısmının aramalarını Google’da yaptığını bilince diğer arama motorlarının bir önemi kalmıyor. Tüm çalışmalar Google için yapılıyorsa gerçekten O’nu anlamalı ve kendinizi anlatmalısınız. Google’ı anladığınız zaman emin olun O’nunda sizi anladığını göreceksiniz. Arama motorları 3 ana bölümden oluşur. Tarama, indeksleme (Kataloglama) ve listeleme… Bu makalede tarama işlemini yapan botları öğreneceğiz.

Google’ı anlamaya vaktiniz varsa “Arama Motorlarının Tarihi” ile başlayabilirsiniz. 

Arama Motoru Botları Nedir?

Bot Nedir? Bot, bilgisayar robotu, internet botu, spider, örümcek, Google Bot gibi amacına uygun farklı isimleri olan, tekrarlayan görevleri ve komutları, insanların yetişemeyeceği inanılmaz hızlarda yapabilen programlara verilen isimdir. İnternet botları ise genellikle arama motorları tarafından kullanılan web siteleri hakkında bilgi ve içerikleri toplayan, örümcek veya spider olarak bilinen yazılımlardır.

Bot Nedir? Bot, bilgisayar robotu, internet botu, spider, örümcek, Google Bot gibi amacına uygun farklı isimleri olan, tekrarlayan görevleri ve komutları, insanların yetişemeyeceği inanılmaz hızlarda yapabilen programlara verilen isimdir.

Örümcek denmesinin sebebi ise internet ağının çok büyük bir örümcek ağına benzemesinden ve botların bu ağı kesintisiz olarak sürekli taramalarından kaynaklanmaktadır. Bu arama motoru botları yani örümcekler bir web sitesine gelir erişebildiği tüm içeriği indeksler ve sonrasında site içerisindeki linkler yardımıyla diğer sitelere geçerler. Bu döngü sonsuz bir döngüdür ve hiç bitmez. Öyle ki tüm dünyanın internet trafiğinin yarısını arama motorları botları oluşturmaktadır. Umarım bot nedir sorusunun cevabını verebilmişimdir.

Arama Motoru Botları Nasıl Çalışır?

Bot nedir sorusunun çok geniş bir cevabı vardır. Fakat bizim işimiz arama motoru botları olduğu için bu makalede sadece arama motoru botlarından bahsedeceğim. Arama motoru veya internet botları aslında çok basit veri toplama programlarıdır. Web’te bilgi ve bağlantılar bulmak için seyahat ederler ve sadece okuyabildikleri içerikleri arama motorlarına gönderirler.

Farklı amaçlar için farklı botlar olsa bile aslında yaptıkları sadece sayfa içindeki metinleri okumak, anlamaktır. Bunu yaparken izledikleri belli adımlar vardır ve içeriklerinizi onların rahatça anlayabileceği şekilde oluşturursanız sizi çok daha iyi anlamalarına yardımcı olmuş olursunuz. Zaten SEO stratejisinin ilk adımı arama motoru botlarının içeriğinize erişebilmesi, okuyabilmesini sağlayabilmek olmalıdır. Botların erişemediği bir içeriğin kimseye faydası olmaz.

Arama Motoruna Ekleme

Basit bir şekilde sıfırdan yapılmış ve yeni alınmış bir alan adına kurduğunuz web sitenizin arama motorlarına eklenme aşamaları şu şekilde olur. Arama motorlarının SİTE ekle veya URL ekle sayfasından, URL’nizi eklersiniz. Bu ekleme işlemi sonrasında arama motoru sitenizi incelenecek siteler sırasına alır. Sıra size geldiğinde arama motoru botu yazdığınız URL’den sitenize ulaşmaya çalışır. Ulaştıktan sonra ilk baktığı robots.txt dosyanız olup olmadığıdır. Bu dosya bildiğiniz gibi botlara sitenizin hangi bölümlerini okuyup dikkate alması gerektiğini gösterir. Bazı botlar bu dosyayı dikkate almaz ama çoğunluk için bu dosya bir yol göstericidir. (Sitenizde mutlaka olsun)

Devamında sitenizdeki linkleri takip ederek tüm sayfalarınızın listesini çıkarırlar. Bir nevi kendine göre bir site haritası oluşturur. Sonraki adım ise botun asıl becerisi yani sayfaları okumak ve derlemek gelir. Bot bir sayfanın içeriğini okur, düzenler, kategorilendirir ve arama motoru dizinine eklenmesi için arama motoruna gönderir. Bot sitenizde erişebildiği tüm sayfalarınızı gezdikten sonra eğer sitenizden başka sitelere verdiğiniz linkler varsa onlara doğru yoluna devam eder. Dışarıya verilen link yoksa kaynağa geri dönerek kaynağından incelenecek yeni bir URL alarak işine hiç ara vermez.

Arama Motorunda Listelenme

Bir arama motoru botunun sitenize gelip indekslemesi sitenizin arama motoru sonuçlarında  listelenmesinin garantisi değildir. Çünkü bu adımdan sonrası siteniz ayrıca arama motoru mühendislerinin oluşturduğu algoritmaya göre belli kontrollerden ve aşamalardan geçer. En basiti olarak oluşturduğunuz içeriğin kopya olup olmadığına bakılır. Eğer kopya içerik varsa bu sitenizin genel anlamda kalite puanını (Örnek, Pagerank) etkiler ve o içerik arama sonuçlarında listelenmez veya alt sıralarda listelenir. Arama motoru algoritması hem genel siteniz için hem de tek tek sayfalarının içeriği konusunda bir puanlama yapar ve puanınıza göre arama sonuçlarında o kadar yukarıda çıkarsınız.

Arama motoru bot bir web sitesini ziyaret ettiğinde, web sayfasındaki tüm görünür metni, kaynak koddaki çeşitli etiketlerin içeriğini (başlık etiketi, meta etiketleri, yorum etiketleri, alt etiketleri, özellik etiketleri, içerik, vb.) ve web sayfasındaki linklerin içindeki metinleri okur. Bunlara göre okuduğu sayfanın ve genel olarak web sitesinin ne olduğuna karar verir. Sayfada neyin önemli ve değerli olduğu bulmak için kullanılan birçok faktör vardır ve bu faktörler arama motorlarına göre değişiklik gösterir.

İşte SEO uzmanı yukarıdaki bu bilgileri bilir ve sitenin genel yapısı ve içeriklerin odak anahtar kelimelerini botların anlayabileceği şekilde organize eder.

Botların Siteyi Ziyaret Sıklığı

Arama motoru veri tabanları değişik zamanlarda güncelleşir. Bir web sitesi arama motoru veri tabanına girdikten sonra, web siteleri sayfalarında yapılan değişiklikleri almak ve en güncel verilere sahip olmalarını sağlamak için botlar düzenli olarak ziyaret etmeye devam edecektir. Bir web sitesinin ziyaret edilme sayısı, aktif bir web sitesi olup olmadığı gibi kriterler botların siteleri ziyaret etme süresini belirler. Yani bir web sitesi çok fazla trafik çekiyorsa ve çok sık güncelleniyorsa botlar siteye daha sık uğrar.

Örneğin web siteniz Google News kayıtlı bir haber sitesi ise haber yayınlandığı anda Google indeksler.

Yani botların sitenizi ziyaret sıklığı tamamen içerik ve sitenin istikrarı ile alakalı bir durumdur.

En Ünlü 5 İnternet Botu

1. Googlebot

Googlebot, Google’ın web tarama botudur ve genelde örümcek olarak da bilinir. Googlebot ünlü Google algoritmasını kullanır ve botlar içinde en ünlüsü bu bottur. Googlebot sayfamızda daha detaylı bilgiyi bulabilirsiniz.

2. Baiduspider

Baiduspider, Baidu ayni zamanda Google’dan sonraki en büyük arama motorudur. Kullanıcı sayısı olarak 2. olan Baidu bu şerefini Çin’in nüfusuna ve Çin’deki Google ambargosuna borçludur. Çünkü Çin’in kendi arama motorunun botudur. Baidu web siteleri, ses dosyaları ve resimleri taramaktadır.

3. MSN Bot / Bingbot

MSN Bot Ekim 2010’da emekli oldu ve yerini Bingbot’a bıraktı. Aslına bakarsanız Microsoft tarafından yeniden markalaştılar. Bingbot, Bing arama motoru için çalışır ve web sitelerini indeksler. Bing indeksi Yahoo tarafından da kullanıldığı için Bing tarafından indekslenmek Yahoo arama sonuçlarında da çıkacağınız anlamına gelir. Bing nasıl çalışır hangi SEO kurallarını dikkate almanız gerekir öğrenmek isterseniz Bing SEO sayfamızı inceleyebilirsiniz.

4. Yandex Bot

Yandex Bot,  Yandex arama motorunun botudur. Yandex, Rusya’daki en büyük arama motorudur ve Rusya’da yaklaşık %60’lık bir pazar payına sahiptir. Yandex, Nisan 2012 itibariyle günde 150 milyondan fazla arama ve 25,5 milyondan fazla ziyaretçi ile dünya çapında beşinci en büyük arama motoru olarak yerini almıştır. Ülkemizde de Google’dan sonra en çok kullanılan arama motorları arasındadır. Büyük futbol takımlarımızın formalarında reklamlarını görebilirsiniz.

5. Soso Örümcek

Soso.com , Tencent Holdings Limited şirketine ait olan ve iyi bilinen bir Çinli arama motorudur. 13 Mayıs 2012 tarihi itibariyle Soso, Alexa verilerine göre, dünyada en çok ziyaret edilen 36. ve Çin’de en çok ziyaret edilen 13. web sitesi olarak sıralanmaktaydı. Günlük ortalama 21.064.490 sayfa görüntülenmesi almaktadır. Burada Badiu gibi Soso’nunda en büyük artısı aslında Çin’in dışarıya kapalı internet alt yapısı ve nüfusudur.

SEO sektöründe kullanılan terimlerini açıkladığım SEO Sözlüğü sayfamı incelediniz mi?

En İyi 10 Ücretsiz Ping Sitesi

https://www.pingler.com/

http://www.pingomatic.com/

Ping

http://www.www.pingfarm.com/

http://www.feedshark.brainbliss.com/

http://www.pingoat.com/

http://www.bulkping.com/

http://www.pingates.com.tested.website/

http://www.pingmyblog.com/

http://www.ping.in/

 

Print Friendly, PDF & Email
Share on facebook
Share on twitter
Share on linkedin

Leave a Reply

E-posta hesabınız yayımlanmayacak.