Arama Motorlarının Tarihçesi
Arama motoru denildiğinde aklımıza Google gelse de aslında arama motoru sadece internette web sitesi aramaya yarayan web siteleri değildir. Arama motorlarının tarihi bilgisayarın gelişmeye başladığı 2. Dünya savaşı ile başlamaktadır. Şimdi bu konuyu derinlemesine inceleyerek SEO bilgimize katkı sağlayalım. Makale oldukça uzun olsa da yazarken zevk aldığım makalelerim arasındadır ve vakit ayırıp okumanızı fazlasıyla tavsiye ederim.
Düşündüğümüz Gibi (1945)
“Gelecekte bir kişinin tüm kitaplarını, kayıtlarını, iletişimini depoladığı, hız ve esnekliği aşarak bir araya getirebilen bir cihaz düşünün.” İşte geçmişte arama motorlarının tarihi bu cümleleri söyleyen Dr. Vannevar Bush ile başladı olarak kabul edilebilir.
2. Dünya Savaşı’nın etkilerinden biride bilimsel açıdan yaşanan gelişmeler olmuştur. O zamana kadar insanlık tarihinde gerçekleşen tüm gelişmeler ve buluşlar aslında tamamen fiziksel gücü arttırmak için yapılan icatlardı. Ta ki Bilimsel Araştırma ve Geliştirme Ofisi Direktörü olarak Dr. Vannevar Bush “The Atlantic” dergisinde yazmış olduğu “Düşündüğümüz Gibi” makalesine kadar. Atlantik Öyküleri dergisinde yayınlanan Düşündüğümüz Gibi (1945) makalesinin temelinde artık fiziki gücü değil insan bilgiyi, tecrübeyi arttıracak buluşların yapılması gerektiği bunun için farklı disiplinlerde olsa bile bilim adamlarının bir araya gelebilmesi, bilgi alışverişi yapması gerekliliği gibi konuların üzerinde durmuştur.
Düşündüğümüz Gibi
Düşündüğümüz gibi, bilim insanlarını tüm insanlığın bilgi birikimi için birlikte çalışmaya çağırdı. İşte bu makaleden bir kaç örnek cümle;
- İlerleme için uzmanlaşma giderek daha gerekli hale geliyor ve disiplinler arasında köprü kurma çabası buna bağlı olarak yüzeysel kalıyor.
- Bilime yararlı olacaksa, sürekli olarak genişletilmeli, saklanmalı ve her şeyden önce danışılmalıdır.
İnternet Öncesi Arama Motoru Tarihi
Dr. Vannevar Bush, sadece veri depolanması değil bununla birlikte bu verilerin insan beynine faydası olacak şekilde işlenmesi gerektiğine inanıyordu. O yıllarda veri depolama zaten oldukça zorlu ve yetersizken, verinin depolamasından sonra bu verinin işlenmesi, sonrasında sadece gerekli bölümlerin sorgulanması bulmak imkansızdı. Sorunun temel kaynağı ise tabiki veri depolamada kullanılan sistemlerin yapaylığından kaynaklanıyordu. Halbuki insan beyni ise bu şekilde çalışmıyordu. İnsan beyni göreceli kalıcılığa sahipti ve ufak bir bilgiyi hafızada bulunan tüm bilgiler için bulup süzebiliyordu.
Memex Projesi (1945)
Dr. Vannevar Bush, bilgiler arasında gezinmenin ve birinin arama nedenlerine özgü tüm belgeleri veya bölümleri bulmanın kolay bir yolu olmadığını fark etti. Bu sorunun çözümünü ise geliştirdiği “Memex” adındaki sistem ile çözdü. Memex, depolanmış olan büyük boyutlardaki veriye yani bilgiye erişim sağlayarak insanların hayatlarını iyileştirmelerine yardımcı olmayı amaçlamaktaydı. Neredeyse sınırsız, hızlı, güvenilir ve genişletilebilir olması sayesinde günümüz internet ağının temeliydi.
Memex’in konumuzla alakası ise burada başlıyor çünkü bu sistem internetin temelinde yatmaktadır ve Ted Nelson, Douglas Engelbart başta olmak üzere internetin gelişimindeki birçok kişiye ilham kaynağı olmuştur.
[su_note note_color=”#ffffd8″]Bilgi teknolojisi alanında Amerikalı bir öncü olan Ted Nelson, 1963 yılında Hiper metin ve hiper medya terimlerini ilk kullanan filozof ve sosyologdur.[/su_note]
[su_note note_color=”#ffffd8″]Dr. Douglas C. Engelbart Norveç asıllı bir Amerikalı bir mucittir. Bilgisayar-insan etkileşiminin öncülerinden olan Engelbart en çok bilgisayar faresini bulmasıyla ünlenmiştir. Takımı ile beraber hypertext, bağlantılı bilgisayarlar ve bilgisayar arabirimlerinin ilk örneklerini geliştirmiştir.[/su_note]
Memex asla inşa edilmedi, ancak teorik olarak makinenin orijinal ekranları ve kullanıcı tarafından yapılan eklemeleri saklamak için görüntüleme ekranları, klavyesi, alım seçicileri ve mikrofilm depolaması vardı.
Gerard Salton (1960’lar – 1990’lar)
A Theory of Indexing
Harvard ve Cornell merkezli bir matematikçi olan Gerard Salton günümüz dijital aramanın babası olarak sayılır. 28 Ağustos 1995’te ölen Gerard Salton, 1960’ların sonunda SMART adında bilgi alma sistemini geliştirmiştir. Bu sistem ilk dijital arama motoru olarak nitelendirilmiş ve tarihe geçmiştir.
Modern arama teknolojisinin babası Gerard Salton’un SMART sistemi günümüz arama motorlarının kullandığı sihirli otomatik metin alıcısı, vektör uzay modeli, ters belge frekansı (IDF), terim Frekansı (TF), terim ayrımcılık değerleri ve alaka düzeyi geri bildirim mekanizmaları gibi önemli kavramları içeriyordu.
Gerars Salton arama teknolojisinin dayandığı testlerinin çoğunu açıklayan Endeksleme Teorisi (A Theory of Indexing) adlı 56 sayfalık bir kitap yazdı.
Ted Nelson
Ted Nelson, 1960’da Xanadu Projesi‘ni yarattı ve 1963’te köprü metni terimini kullandı. Xanadu Projesi ile hedefi, atıf gibi birçok sosyal problemi çözen basit bir kullanıcı ara yüzüne sahip bir bilgisayar ağı oluşturmaktı.
Ted karmaşık biçimlendirme koduna, kırık bağlantılara ve WWW’deki geleneksel HTML ile ilişkili diğer sorunlara karşıyken, WWW’yi oluşturma ilhamının çoğu Ted’in çalışmalarından alınmıştır. Xanadu Projesi farklı nedenlerden dolayı başlayamamıştır.
Xanadu Projesi hakkında daha detaylı bilgi
İnternetin Temeli ARPANet
Günümüz arama motorlarının tarihi ise internetin başlangıcı ile olmaktadır. İnternetin temeli ARPANET, Amerika Birleşik Devletleri Savunma Bakanlığı Gelişmiş Araştırma Projeleri Ajansı (ARPA) tarafından kurulmuştur. ARPANET’te kullanılan paket değiştirme metodolojisi Leonard Kleinrock, Paul Baran, Donald Davies ve Lawrence Roberts’in konseptlerine ve tasarımlarına dayanıyordu.
TCP/IP iletişim protokolleri, ARPANET bilgisayar bilimcileri Robert Kahn ve Vint Cerf tarafından geliştirilmiştir. Louis Pouzin tarafından yönetilen Fransız CYCLADES projesinden konseptler içermektedir .
Proje ilerledikçe, internetin temel işleyiş mantığı olan birden fazla bilgisayar ağının bir arada kullanılabilmesi şeklinde gelişmiştir. 1982’de, ARPANET’te standart ağ protokolü olarak İnternet protokol takımı (TCP/IP) tanıtıldı.
ARPANet’in kullanıma açılmasından sonra asıl konumuz olan arama motorlarının tarihi konusuna ilk arama motoru kabul edilen Archie ile başlayabiliriz…
İlk Arama Motoru Archie
Arama motorlarının tarihin dikkate alındığında tüm arama motorlarının dedesi ve ilk arama motoru olarak kabul edilen Archie’dir. 1990 yılında Montreal’deki McGill Üniversitesi’nde bir öğrenci olan Alan Emtage tarafından oluşturulan ve ilk arama motoru olarak kabul edilen Archie arşiv kelimesinin kısaltması olarak kullanılmıştı. Tabiki gerçek anlamda bildiğimiz günümüz arama motorları kadar kabiliyetli değildi hatta kimilerine göre yararsız ve gereksizdi. Ancak 1990’lı yıllarda internet sunucuları arasında arama yapabilmeye yarayan tek arama motoruda Archie’ydi.
Archie ilk başladığında indexleme yapmıyordu. Sadece bir dosyanın adını biliyorsanız arama yapabilirdiniz. Yani dosya içinde geçen bir metni arama kabiliyeti tabiki bulunmuyordu. Ancak 1993 yılında Alan Emtage yaptığı güncelleme ile ağ üzerinde serbestçe kullanılabilen veya kamu belgeleri, görüntüler, sesler ve hizmetleri indekslemeye yardımcı olacak bir şablon indeksleme yöntemi de açıkladı. Bu güncelleme bazı açılardan bugünün Google Site Haritasından çokta farklı değildir.
Archie, internete bağlı sunucular içinde dosya arama işlemi yapan ilk arama motorudur. Archie’den önce arama işlemi yapan farklı programlar vardır ama onlar internet ağı üzerinde arama yapmaz. Örneğin Whois, Archie’den önce de vardı, ancak internette ağ numaraları (IP adresi) ve etki alanlarına hakkında bilgi veriyordu. Yani internette dosya bulmanın bir yolundan ziyade, aranabilecek ağ hakkında bilgi veren dizindi.
Veronica ve Jughead
Archie’nin yayılması ve duyulmaya başlamasından sonra Nevada Üniversitesi Bilgisayar Bilişim Hizmetleri grubu arama motoru konusuna el atarak Veronica‘yı geliştirmeye başladı. Veronica da Archie ile aynı amaca hizmet etti. Ancak Veronica daha çok dosya adları dışında düz metinler üzerine odaklandı. Veronica’dan kısa süre sonra farklı bir ara yüze sahip ancak Veronica ile aynı şekilde çalışan Jughead ortaya çıktı.
İnternetin Başlangıcı WWW
Buraya kadar olanlar ARPANet’te yaşanan gelişmelerdi. Ancak bizim internet diye bildiğimiz World Wide Web (WWW) yani http protokolü ve 1991 yılında Tim Berners-Lee tarafından ilk web sitesi yayına alındıktan sonra kurulmuş oldu. İnternetin babası olarak bilinen Tim Berners-Lee, şu anda W3C’nin başkanı, MIT ve Oxford Üniversite’nde bilgisayar bilimi profesörlüğü yapmaktadır.
[su_box title=”İlk Web Sitesi”]İlk web sitesi günümüzde de yayında olan 6 Ağustos 1991 yılında yayına geçen http://info.cern.ch’dir. http protokolü kullandığı için link veremiyorum. [/su_box]
İlk Web Dizini ve İlk Web Sitesi
World Wide Web kurulana kadar insanlar dosya paylaşımını FTP (Dosya Aktarım Protokolü) üzerinden yapmaktaydı. Paylaşmak istediğiniz bir dosyanız varsa, bir FTP sunucusu kurarsınız, birisi veriyi almakla ilgileniyorsa FTP istemcisi kullanarak bu dosyayı indirirdi. Bu küçük gruplarda etkili bir şekilde çalışıyordu ancak kullanıcılar artmaya başladığında yetersiz kalıyordu.
1980 yılında yani daha geriye gittiğimizde CERN’de bağımsız bir mühendis olarak görev yapan Burners-Lee araştırmacılar arasında bilgi paylaşımını ve güncellemesini kolaylaştırmak için köprü metin kavramına dayanan bir proje önerdi. Hatta Robert Cailliau ile bu konuda Inquire adında bir prototip sistemde kurdular. Sürekli gelişen bu prototip sonunda kişisel ve teknik bazı nedenler sebebiyle 1991 yılında tamamlandı ve ilk web sitesi yayına geçti.
Konumuzla alakası ise http://info.cern.ch ‘nin dünyanın ilk web sitesi olması yanında ayrıca dünyanın ilk web dizini olmasıdır. Çünkü Barners-Lee bu sitede World Wide Web’in ne olduğunu, nasıl bir tarayıcı kullanılması gerektiği, web sunucunun nasıl kurulacağı gibi bilgiler dışında diğer açılan web sitelerinin listesini de yayınlamaktaydı. Arama motorlarının tarihi söz konusuyken ilk web sitesi ayrıca ilk web dizini olarakta kabul edilir.
İlerleyen yıllarda (1994) Berners-Lee Massachusetts Institute of Technology’de World Wide Web Konsorsiyumu’nu (W3C) kurdu. W3C ile internet sitelerini oluşturan kodlara belli standartlar getirmeyi amaçladılar. Günümüze kadar gelen W3C halen güncel teknolojileri dikkate alarak web sitelerini oluşturan HTML kodlarının belli bir standart içinde kalmasını amaçlamaktadır
İlk Arama Motoru Botu Wanderer
Arama motorlarının tarihi konusunda günümüz arama motorlarının sürekli durmadan çalışan ve milyarlarca siteyi inceleyen botlarına bakmadan geçmek tabiki de olmazdı. 1993 yılının Haziran ayında Matthew Gray, World Wide Web Wanderer‘ı tanıttı. Bu aslında internetin büyümesini ölçmek için hazırlanan ve web sunucularını ölçmeyi hedefleyen bir yazılımdı. Daha sonrasında sunucuları değil web sitesi URL’lerini sayacak şekilde güncelledi. Bu Wanderer’i ilk arama motoru botu haline getirdi.
Wanderer ilk zamanlarda insanlara bir çözüm gibi gelse de tahmin edilmeyen bir problem olan sunucuları yavaşlatma sorunu ortaya çıktı. Bot çalışırken aynı sayfayı yüzlerce kez ziyaret ederek sunucular üzerine yük oluyor ve sistemlerin yavaşlamasına sebep oluyordu. Bunun düzeltilmesi de fazla sürmedi. Ancak bu düzeltme kötü geçmişi yüzünden insanların botlara olumsuz bakmalarının önüne geçemedi.
Aliweb
1993 yılının Ekim ayında Martin Kojter, Wanderer’a rakip olan ve Archie benzeri bir indeksleme yapan Aliweb‘i oluşturdu. Bunun zamanına göre güzelliği indekslenmesi istenen sitenin site sahipleri tarafından eklenmesiydi. Yani sitenizi Aliweb’e siz kayıt ediyordunuz. Buda Wanderer gibi sunucu yükü, aşırı bant genişliği gibi sıkıntıların yaşanmaması anlamına geliyordu. Yalnız Aliweb’in büyük bir dezavantajı vardı. Kayıt sitelerin meta etiketleri okunarak yapılıyordu ve maalesef site sahipleri sitelerini Aliweb’e nasıl kayıt edeceklerini bilmiyorlardı.
Martin Kojter sonrasında arama motorlarının içeriği indekslemesi veya indekslememesi için standartlar oluşturan web robotları sayfasını da oluşturdu. Buna Robots.txt’nin temeli diyebiliriz. Günümüz de Aliweb bir çok kişiye göre dünyanın ilk internet arama motoru olarak kabul edilmektedir.
İlkel Web Araması
Arama motorlarının tarihi konusunda günümüz arama motorları gibi çalışan ilk arama motoru 1993 yılında yayına başlayan JumpStation’dır. 1993 yılı Aralık ayında yayına başlayan JumpStation günümüz arama motorlarının 3 işlevini yerine getiren ilk arama motoruydu. Günümüz arama motorlarının 3 temel görevi yani bot ile bulan, dizinine ekleyen ve kullanıcılar için listeleyen ilk ilkel arama motoru.
JumpStation, WWW Solucanı ve RBSE (Depo tabanlı yazılım mühendisliği) bir arada kullanılıyordu. JumpStation web sayfalarının başlıklarını topluyordu ki bunu basit ve doğrusal bir arama yaparak gerçekleştiriyordu. Bu günümüze göre ilkel kalan arama motoru yeteri kadar analiz yapamadığından, sadece başlıkları alıp sayfaların içeriklerini indekslemediğinden maalesef aradığınızı bulmakta çok zorlanıyordu. Yine de bir başlangıçtı…
Excite
6 Stanford lisans öğrencisinin Şubat 1993 yılında başlattığı bir proje olan Architext duyuldu. Architext internet aramalarını daha verimli hale getirmek için kelime ilişkilerinin istatistiksel analinizi kullanma fikri ile doğmuştu. Bu fikir tuttu ve yatırım alıp finans edilerek 1993 ortalarında internette yayılmaya başladılar. Architext 1999 yılında Home adında bir internet servis sağlayıcı tarafından 6.5 milyar dolara satın alındı ve adını Excite @ Home olarak değiştirdi. Sonrasında işler istedikleri gibi gitmedi ve 2001 Ekim ayında iflas başvurusunda bulundular. İflas mahkemesinde 10 milyon dolara InfoSpace tarafından satın alınarak internet okyanusunda kayboldular.
İşin ilginç olan yanı ise 1997 yılında Lary Page’in Google’ı o zamanki adi BackRub’u Excite’a satıyor olmasıdır. 1,6 milyon dolara varılan anlaşmaya göre 600 bin dolar nakit, 700 bin dolar hisse senedi ve 300 bin dolar Stanford Üniversitesi’ne ödeme yapılacaktı. Fakat bu anlaşma gerçekleşmedi. Yıllar sonra bu sorunun yöneltildiği Excite CEO’su George Bell anlaşmanın gerçekleşmeme sebebini Lary Page’in Excite’ın tüm arama algoritmasını BackRub ile değiştirilmesi konusundaki ısrarı olarak açıklamıştır. Bu konuyu Google’ın Tarihi makalemde daha detaylı bir şekilde bulabilirsiniz.
Excite erken web’in çok tanınan bir markasıydı, 1990’ların sonunda halka açık bir şirketti ve bazı ölçütlere göre 1997’de dünya üzerinde en çok ziyaret edilen altıncı web sitesiydi. Bugün web sitesi eski benliğinin sadece bir gölgesi. Web portalı Ask Jeeves ile birleştirildi ve medya şirketi IAC tarafından işletilmeye devam ediyor.
Web Dizinleri
Web dizinleri internetin ilk yıllarında kullanıcıların aradıklarını bulmaları için başvurdukları en önemli kaynaklardı. Dizinler içinde bir çok kategoride binlerce web sitesini listeleyen web siteleridir. İnternetin ilk dönemlerinde arama motorlarından çok web dizinleri fazlasıyla kullanılmaktaydı. Şimdi arama motorları tarihine bir mola vererek biraz da web dizinlerini inceleyelim.
VLib
Tim Berners-Lee interneti kurduğunda, yayına giren web sitelerini listeleyen Sanal Kütüphane adında basit bir dizin kurmuştu. Burada yeni açılan web siteleri listeleniyordu ve günümüz dizinlerine göre oldukça basitti. Halen yayında olan aslında ilk web sitesi ve ilk web dizinidir.
Global Network Navigator (GNN)
O’Reilly Media Mayıs 1993’te GNN projesine başladı ve resmi olarak Ağustos 1993’te yayına geçti. Tüm internet kataloğuna dayanan bir dizinde ve reklamlar içeren ilk web sitesiydi. İlk reklam verenleri Heller, Ehrman, White ve McAuliffe adında bir hukuk firmasıydı.
GNN, 1995 yılında AOL tarafından satın alındı ve 1996’da kapatıldı.
EINet Galaxy
EINet Galaxy adındaki web dizini 1994 yılının Ocak ayında doğdu. Bugünün web dizinlerine benzer şekilde düzenlendi ve açıkça başarılıda oldular. EINet Galaxy’nin başarılı olmasının en büyük nedeni, web arama özelliğine ek olarak Gopher ve Telnet arama özelliklerini de içermesiydi.
Yahoo Rehber (Yahoo Directory)
Nisan 1994’te David Filo ve Jerry Yang tarafından sık kullandıkları web sitelerinin bir listesini yayınlamak amacıyla kurulan Yahoo, zamanla artan bağlantı sayısını bir düzene sokabilmek için dizin haline dönüştürülmek zorunda kaldı. Yahoo’nun zamanına göre diğer dizinlerden farkı eklenen sitelerin URL’leri dışında insanlar tarafından yapılan yorumlarını da yayınlamasıydı. Zaman geçtikçe ticari sitelerin Yahoo’ya eklenme sayısı artmıştır. Bunu fırsat bilen Yahoo ticari sitelerden kayıt için ücret almaya başladı bu sayede hatırı sayılır bir gelir elde etti.
DMOZ (Açık Dizin Projesi)
1998’de Rich Skrenta ve küçük bir arkadaş grubu, herkesin tamamen veya kısmen indirip kullanabileceği bir dizin olan DMOZ’u (Açık Dizin Projesi) yarattı. DMOZ kısa sürede neredeyse tamamen bir grup gönüllü editör tarafından yönetilen en büyük internet rehberi haline geldi. DMOZ editörleri sayesinde kalitesiz sitelerin eklenmesi engellediğinden bir çok arama motoru sitelerin güvenirliği konusunda bu dizinden faydalanmıştır. Bu arama motorlarından biride Google’dır. Google dışında Netscape Search, AOL Search, Lycos, HotBot, DirectHit’te verilerini DMOZ’dan almaktaydı.
DMOZ 17.03.2017 tarihinde kapandı. Rehber kapatıldığında, 90 dilde 3.861.210 aktif listeye sahipti. DMOZ hakkında daha detaylı bilgi için SEO makalemi okuyabilirsiniz.
Librarians Internet Index (LII)
Google, kütüphanecilerin ve diğer web editörlerinin bilgilere daha kolay erişebilmesi için bir bülten sunar. İkinci Google kütüphanecisi bülteni, Kütüphanecilerin İnternet Dizini direktörü olan Karen G. Schneider’den geldi. LII kütüphanecileri hedef alan yüksek kaliteli bir rehberdi. LII 20 yıllık hizmetten sonra yalnızca arşiv moduna giren web sitelerinin bir başka bakımlı dizisi olan İnternet Halk Kütüphanesi (Internet Public Library) ile birleştirildi.
Business.com
Yeni dizinlerdeki kayıtlı siteler belli bir sayıya ulaşana kadar yönetmek kolay gibi gözükebilir ancak kayıtlı site sayısı arttıkça dizin sitelerinin yönetimi ve kalitesini belli standartlarda tutmak oldukça zordur. Üstelik yerel veya genel bir çok kategori ve bunlara bağlı alt kategorilerde oldukça fazla sayıdadır. Bu sebeple belli bir kategoriye veya yerele yönelmek kalite ve yönetilebilir olma açısından oldukça faydalı olacaktır.
Bu mantıkla yola çıkan Business.com dizin siteleri içinde oldukça iyi yerlere geldi. Fakat Google Panda algoritma güncellemesi oldukça sert vurdu. Organik arama sonuçlarında kaybettiği sıralar, sitenin hitlerindeki ciddi düşüşler bu dizinin yok olmasına kadar giden bir süreç oldu. Son olarak 2016 Haziran ayında Pruch Group tarafından satın alındı.
Looksmart
1995 yılında kurulan Looksmart, dizinindeki sitelerin sayısı bakımından Yahoo ile sürekli yarışacak seviyelerdeydi. 1998 yılında ticari olmayan Zeal dizinini 20 milyon dolara satın alarak kendini genişletmeye çalıştı. Yalnız tıklama başı ücret almaya başlaması yüzünden sadık ziyaretçilerinin büyük çoğunluğunu kaçırdı. Bu tıklama ücret aldığı siteleri MSN gibi bazı büyük portallara eşitleyerek onlarında kar etmelerine sebep oldu. Zamanla MSN’e bağımlılığı çok fazla arttı. Bu bağımlılığa karşı 2003 yılında Microsoft’un işletme modelini değiştirip Looksmart’tan vaz geçtiklerini açıklaması dizin için çok büyük bir yıkım oldu.
Aslında bunun olabileceğini düşünüp B planı olarak WiseNut adında bir arama motoru satın alan Looksmart bu arama motoru ile istediği çıkışı yakalayamadı. Çok büyük bir içerik ve makale veri tabanına sahip olsada arama sonuçlarındaki alaka düzeyinin düşüklüğü yüzünden bir türlü istediği momentuma sahip olamadı.
2004 yılında kullanıcıların Web’deki herhangi bir sayfanın tam metin kopyasını kaydetmelerini ve ardından bu verileri aramasını ve paylaşmalarını sağlayan yenilikçi bir hizmet olan Furl.net’i satın aldığını duyurdu. 28 Mart 2006’da Zeal dizinini tamamen kapatarak sadece Furl.net ile yoluna devam etti. Looksmart günümüzde bir arama motoru ve arama motoru reklamcılığıyla yoluna devam ediyor.
Dizinlerden Arama Motorlarına Geçiş
Görüntüde aynı işlevi görüyor gibi olsalar bile dizin ve arama motoru farkı bulunur. En büyük fark ise veri tabanlarına kayıt işleminde ortaya çıkmaktadır.
Büyük arama motorlarının yeni site bulma işlemleri kesintisiz çalışan botları tarafından yapılmaktadır. Bu sitelerin editoryal olarak hiç incelenmediği veya çok az incelendiği anlamına gelir. Buna karşın dizin sitelerinde bu işlem bir editör tarafından gerçekleştirilir. Editör siteyi ve site bilgilerini inceler ve onay verirse site dizinde yayınlanmaya başlar. Bu açıdan bakıldığında dizin sitelerinde yayınlanan siteler daha güvenlidir sonucuna varılabilir. Ancak arama motorlarının sürekli iyileşen teknolojileri ile paralel gelişen alaka düzeyi başarısı sayesinde dizinlerden daha güven verici hale gelmelerine sebep olmuştur.
WebCrawler
Washington Üniversitesi’nden Brian Pinkerton 20 Nisan 1994’te WebCrawler’ı piyasaya sürdü. Tüm sayfaları endeksleyen ilk arama motoru diyeceğimiz WebCrawler, kısa sürede o kadar popüler oldu ki, bazı günler trafik yoğunluğundan gündüz saatlerinde erişilemiyordu. Bu başarıdan sonra AOL, WebCrawler’ı satın alarak kendi ağlarında kullanmaya başladılar. 1997 yılında ise Excite WebCrawler’ı satın aldı.
WebCrawler’ın başarısı birçok benzer sitenin ortaya çıkmasına sebep oldu. WebCrawler’dan sonra 1 yıl içinde Lycos, Infoseek ve OpenText geldi.
Lycos
Lycos, ar-ge çalışmaları Carnegie Mellon Üniversitesi tarafından yapılan bir projeydi. 54.000 belge indeksi ile 20 Temmuz 1994 tarihinde yayın hayatına başladı. Bu arama motorunun sorumlusu Michael Mauldin’di ve günümüzde de Lycos ’un baş bilim insanı olmaya devam etmektedir.
Arama motorları tarihçesinde Lycos, bir çok ilkle gelmekteydi. Alaka düzeyi başarısının yanı sıra, ön ek ekleme, yakın kelimeleri önerme özellikleri gelmekteydi. Bunların dışındaki diğer arama motorları ile kıyaslandığında en büyük farkı ise indekslediği sayfa sayısının büyüklüğü geliyordu.
Lycos ayrıca çok hızlı bir şekilde siteleri indeksleme kabiliyetine sahipti. Öyle ki 54bin indeks ile başladığı Temmuz ayından Ağustos’a geldiğimizde bile 394 bin sayfa indekslemişti bile. 1995 Ocak ayında 1.5 milyon, 1996 Kasım ayında ise 60 milyon indeks ile tüm arama motorlarını geride bırakmıştı.
InfoSeek
Infoseek, Ocak 1994’te yayın hayatına başladı. Bilinen arama motorlarından pekte farklı bir özellik veya yenilik getirmediler. Yine de bir kaç patent aldılar. Infoseek’in başarısı ise Aralık 1995’te Netscape’in varsayılan arama motoru olmasından sonra geldi. Infoseek’in popüler özelliklerinden biri, web yöneticilerinin arama dizinine gerçek zamanlı olarak bir sayfa göndermelerini sağlamaktı.
AltaVista
1995 yılına geldiğimizde bir zamanların en iyi arama motoru sahneye çıktı. AltaVista, 1995 yılında, ‘Dijital’ olarak bilinen Digital Equipment Corporation tarafından resmen başlatıldı. Google şu anda büyük bir farkla lider arama motoru olsada AltaVista ’ya çok şey borçlu olduğu bir gerçektir. Altavista arama motorlarının bugün hala kullandığı birçok tekniğe öncülük etti ve web sayfalarının tam metin içeriğini indeksleyen ilk arama motoru olarak tarihteki yerini aldı.
Ülkemizde de çok sık kullanılan AltaVista, web sahnesine birçok önemli özellik getirdi. Neredeyse sınırsız bant genişliğine sahiplerdi (o zaman için), doğal dil sorgularına, gelişmiş arama tekniklerine izin veren ilk arama motoruydu. Kullanıcıların 24 saat içinde kendi URL’lerini eklemelerine ya da silmelerine izin verdiler. Hatta gelen bağlantı kontrolüne bile izin verdiler. AltaVista ayrıca sayısız arama ipuçları ve gelişmiş arama özellikleri de sağlamıştır. Web siteleri dışında resim, video ve ses aramaları da yapılabilen ilk arama motoruydu.
1995’te günlük 300bin ziyaretçi alırken sadece 1 yıl sonra 1996’da günlük 19 milyon ziyaretçiye ulaştılar. 1998’de ise 80 milyon ziyaretçiye hizmet veriyorlardı.
[su_note note_color=”#ffffd8″]Altavista modern arama motorlarının önünü açtı ve tek bir web sitesinin tüm web’i endekslemesinin (Neredeyse) mümkün olduğunu kanıtladı.[/su_note]
Bu kadar popülerlik ve ziyaretçiye karşın kötü yönetim ve yanlış hedefler yüzünden kapandılar. Öncelikle en büyük hataları Yahoo’ya rakip olup temiz ve sade ara yüzlerini portal şekline çevirmeleri oldu. Ana sayfasındaki bu kargaşa ziyaretçilerinin yeni bir arama motoru olan Google’a geçmelerine sebep oldu.
Altavista’nın 1998 yılındaki arayüzü kargaşası ziyaretçilerinin Google’a kaçmasına sebep oldu.
1999’da, AltaVista’nın %83’ü Lycos arama motorunun sahibi olan CMGI tarafından satın alındı. Bu zaman zarfında Google’ın popülerliği AltaVista’nın önüne geçti ve Google ilk kez rakiplerinden daha fazla arama sorgusu yaptı. AltaVista portal yerleşimi denemesinden eski düzenine dönmeye çalışsa da kendi kendine büyük zararı vermişti.
Kötü AltaVista markası Şubat 2003’te Overture tarafından sadece 140 milyon dolar karşılığında satın alındı. Daha sonra Yahoo, 4 ay sonra Overture’yi aldı ve bu da AltaVista adı için sonun başlangıcını işaretledi.
AltaVista markası altında oluşturulan tüm arama teknolojisi, arama sonuçları 2011’de Yahoo aramasına dahil edildi. Yahoo 2013 yılında AltaVista’yı sessizce kapattı.
Inktomi
Inktomi, 1996 yılının Şubat ayında California Üniversitesi’nde profesör olan Eric Brewer ve yüksek lisans öğrencilerinden Paul Gauthier tarafından kurulmuştur. Inktomi, arama motorları tarihinde önemli bir oyuncuydu. Ancak kendi markası altında bir arama motoru değil, perde arkasındaki en büyük veri sağlayıcıydı. Başta MSN, HotBot, Looksmart olmak üzere bir çok bölgesel arama motorunun sonuçları Inktomi tarafından sağlanmaktaydı. Ayrıca Yahoo’nun arama teknolojisinin gelişimindeki en büyük payda Inktomi’ye aittir.
Piyasaya sunulduğu 1996 yılında 1.3 milyondan fazla belge ile en büyük web indeksine sahip olduğunu iddia ediyorlardı. Aradan geçen 4 yıl gibi kısa bir sürede yani 2000 yılında 25 milyar dolarlık bir piyasa değerine ulaşmıştı. Ancak tam olarak bir yıl sonra, hisse senetlerinin değeri yüzde 99,9 oranında düştü. Peki 1 yılda bu kadar büyük bir kayıp nasıl oldu?
Yahoo, Inktomi’nin en büyük müşterisiydi fakat memnun olmadıkları bir şey vardı. Yahoo’da “Yahoo” kelimesini aradığınızda 1. sırada Yahoo.com çıkmıyordu. Inktomi, Yahoo için bu sorunu çözse de diğer birçok işletme ve web sitesi için bu sorunu bir türlü çözemediler. Bu sebeple Yahoo ile anlaşmaları sona erdi. Buna karşın Google ise boş durmuyor ve “alaka düzeyi” sorununu çözüyordu. Google PageRank bir çok arama motoru gibi Inktomi’yi de geri bırakmıştı.
Inktomi PageRank gibi çalışan 1 ile 10 arası bir puanlamayı içeren, önceden hesaplanmış insan yargılarına dayanan algoritmik bir araç geliştirmeye çalıştı. Bunda da kısmen başarılı oldular ancak bununla uğraşırken Altavista gibi ziyaretçilerinin çoğunu Google’a kaptırmışlardı bile. Yani PageRank’ta Google’ı yakaladılar ancak kullanıcı deneyiminde geride kaldılar. Öyle ki Inktomi mühendisleri bile aramalarını Google’da yapmaya başlamışlardı.
Yahoo 2003 yılının Aralık ayında yaklaşık 235 milyon dolara Inktomiyi satın aldı ve zaman içinde AltaVista gibi Inktomiyi de sessiz sedasız kapattı.
Ask.COM
1996 yılında, Ask.com girişimci David Warthen ve Garrett Gruener arasında bir ortaklık olan Ask Jeeves olarak lanse edildi. Buradaki fikir, kullanıcıları anahtar kelimeler yerine doğal dillerinde sorular sormaya yönlendiren bir arama motoru oluşturmaktı.
Şirket ilk birkaç yılında hızla büyüdü ve 1999’da NASDAQ borsasına girdi. Aynı zamanda, iki teknoloji şirketi daha satın alarak büyümeye devam etti. Ask Jeeves her zaman en popüler arama motorları arasında yer almıştır.
1999’da, şirket bir halka arz gerçekleştirdi. Her şey yoluna giderken Google ortaya çıkmış ve çok hızlı bir şekilde büyümeye başlamıştı. Muhtemelen hikayenin geri kalanını tahmin ediyorsunuzdur. Ask.com, daha çevik bir rakip olan Google karşısında ziyaretçi dolayısıyla parasını kaybetmeye başladı. Buna paralel olarak hızlı bir şekilde ziyaretçilerinin ilgisini de kaybetti. 2005 yılında ise internet şirketlerinden InterActive Corp. tarafından 1.85 milyar $ karşılığında satın alındı. Günümüzde çok popüler olmasa bile halen kullanımdadır.
AlltheWeb
AlltheWeb, 1999’un ortalarında ilk kez ortaya çıkmış ve 2011’de kapanmış olan bir İnternet arama motoruydu. Arama pazarında sıra dışı bir oyuncuydu. FAST şirketi tarafından geliştirilen AlltheWeb çok az tanınıyordu, ancak web’deki en büyük indekslerden biriydi. Üstelik arama sonuçları Google’a göre çok daha iyiydi. Yalnız Google’ın yakaladığı uluslararası başarıya karşın kendini pazarlayamadı.
AlltheWeb 1997 yılında Norveç Bilim ve Teknoloji Üniversitesi’nden (NTNU) yapılan akademik araştırma ve geliştirme çalışmaları sonucunda kuruldu. Kullandığı arama teknolojisi bir çok uluslararası şirket yanında Lycos tarafından da kullanılmaktaydı. AlltheWeb 2002 yılında web araması dışında haber, görüntü, FTP, video ve MP3 gibi multimedya dosyaları da dahil olmak üzere bir dizi yeni arama seçeneği ekledi.
Şubat 2003’te Overture tarafından 100 milyon dolara satın alındı. Devamında Yahoo’nun Overture’ı satın almasıyla Yahoo’nun ürünü oldu. Günümüzde Yahoo’nun ile paralel çalışmaktadır ve Yahoo ile aynı arama sonuçlarını gösterir.
Meta Arama Motorları
Çoğu meta arama motoru, arama sonuçlarını birden çok arama motorundan alır. Ardından bu sonuçları birleştirir ve yeniden sıralar. Bu, arama motorlarının web’de gezinme konusunda daha az bilinçli olmaları ve her bir motorun oldukça benzersiz bir dizine sahip olması durumunda faydalı bir özellikti. Arama arttıkça meta arama motorlarına olan ihtiyaç azalmıştır. Genel olarak meta arama ile ilgili en büyük sorunlardan biri, meta arama motorlarının çoğunun, organik arama sonuçları ile reklamları karıştırma eğiliminde olmalarıdır.
Hotbot & Infospace
Hotbot, Wired’a aitti, hızlı sonuçlara ve kulağa hoş gelen güzel bir isme sahipti. Ancak Lycos’un satın alıp görmezden gelmesinden çok kısa bir süre sonra öldü. Yeniden doğuştan sonra meta arama motoru olarak doğdu. Çoğu meta arama motorunun aksine, Hotbot bir seferde yalnızca bir arama motorundan sonuçları alır, ancak arama yapanların web’deki daha popüler arama motorlarından birkaçını seçmesine izin verir. Infospace muhtemelen piyasadaki en popüler meta arama motoru, ancak diğer tüm meta arama motorları gibi, pazar payı sınırlıdır.
Google’ın hikayesi 1995’te Stanford Üniversitesi’nde başladı. Larry Page ve Sergey Brin isimli 2 genç Stanford Üniversitesi’nde Backrub adlı bir arama motoru üzerinde işbirliği yaptılar. Yaptıkları arama motoru zamanın arama motorlarının aksine web sayfalarının birbiriyle olan alaka düzeylerini belirleyen geri bağlantıları (Backlinks) takip eden ve Pagerank olarak bilinen bir puanlama sistemi üzerine kuruluydu.
Google’ın ilk adı Backrub’tur ve Backrub adı Google olarak değiştirildi. Bağlantı analizi konusundaki benzersiz yaklaşımları, BackRub’a artan bir ün kazandırdı. Bu tanınma ve kaliteli sonuçlar sonrası dikkat çeken BackRub 1998 yılında Sun’un kurucu ortağı Andy Bechtolsheim’den yatırım aldı. 100.000 $’lık bu ilk yatırım sonrası Google Inc. resmi olarak kurulup garajdan ilk resmi ofisine taşınmıştır. Yani Google kurulmuş oldu.
Google hızlı bir şekilde neredeyse tüm dünyada hit oldu ve 2000 yılında dünyanın en büyük arama motoru haline geldi. Günümüzde de bu unvanını elinde bulundurmaktadır.
Google tek başına ayrı bir konu olduğundan dolayı arama motorlarının tarihçesi makalesini burada bitiriyorum. Günümüzde arama motoru kelimesinin karşılığı sadece Google gibi gözükse bile aslında arama motorlarının tarihi 1945’te bir fikir olarak ortaya atılıp günümüze kadar uzanan çok geniş bir zamana sahiptir. Arama motoru tarihi için bilgisayarlardan ve internetten önce bile vardı demek sanırım pek yanlış olmaz.
Diğer yandan arama motorlarının tarihi dışında günümüz arama motorları hakkında daha fazla bilgiyi Günümüz Arama Motorları makalemde bulabilirsiniz.
