(0212) 212 5736 / (0542) 345 1980

Kötü Bot Engelleme

Kötü Bot Engelleme
Kötü Bot Engelleme

.htaccess ile Kötü Bot (Spam) ve Engelleme

.htaccess ile Kötü Bot Engelleme; Kötü botlar aslında web sitenizi ziyaret eden, içeriği kopyalayan, güvenlik açığı arayan veya e-posta adreslerini tarayan programları ifade eder. Arama motorlarının botları ile karıştırmamak gereklidir. Bu botlar bilinen arama motoru botlarının aksine robots.txt dosyasında belirtilen kuralları dikkate almaz hiçe sayarlar. Direkt bir zararları olmasa da gereksiz trafik yükü ve kafa karışıklılığı meydana getirir. Gereksiz trafik sunucu bazlı maddi kayıpların oluşmasını da sağlar. Aşağıda, bazı yaygın “kötü botların” nasıl engelleneceğine dair faydalı bir örnek görebilirsiniz.

Aşağıdaki kodu .htaccess dosyanıza ekleyerek sitenize gelen kötü botları engelleyebilirsiniz. Ayrıca aşağıdaki listede olmayan botları yorum bölümüne eklerseniz sevinirim.

RewriteEngine On 
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR] 
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR] 
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR] 
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR] 
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR] 
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR] 
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR] 
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR] 
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR] 
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR] 
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR] 
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR] 
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR] 
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR] 
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR] 
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR] 
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR] 
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR] 
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR] 
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR] 
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR] 
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR] 
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR] 
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR] 
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR] 
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR] 
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR] 
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR] 
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR] 
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR] 
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR] 
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR] 
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR] 
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR] 
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR] 
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Zeus 
RewriteRule ^.* - [F,L]

SPAM Trafiği Engelleme

İstenmeyen Yönlendirmeleri Engelleme; Bu trafik genelde web sitenizin trafiğinin arttığı fakat ziyaretçi sayılarında artma olmadığı durumlar için kullanılabilir. Çünkü bu durumda bir anormallik vardır. Belki biri sitenizi hacklemeye çalışıyor bile olabilir. Not, bu işlevsellik sunucunuzda mod_rewrite‘ın etkin olmasını gerektirir.

Yukarıdaki kodlar arama motoru botları için kullanabileceğiniz kodlardı. Diğer yandan anti seo teknikleri içinde en çok başvurulan yolların başında gelen bot ziyaretçi yönlendirme durumlarında ise aşağıdaki kodları deneyebilirsiniz. Aşağıdaki kod ile trafficbot4free.com sitesinden sürekli gelen bot ziyaretçileri engelledik.

RewriteEngine on
RewriteCond %{HTTP_REFERER} trafficbot4free\.club [NC]
RewriteRule .* - [F]

Eğer bot ziyaretçiler birden farklı domain üzerinden geliyorsa bu durumda aşağıdaki kodları kullanmalısınız. Dikkat etmeniz gereken son satırdaki alan adı hariç ekleyeceğiniz tüm spam yapan alan adlarını [NC,OR] ile bitirmek.

Site log dosyalarınızı inceleyerek gereksiz trafik kaynağı olan web adreslerini bulabilir ve bu siteden gelen trafiği engellemek için aşağıdaki kodları .htaccess dosyanıza ekleyebilirsiniz.

RewriteEngine on
RewriteCond %{HTTP_REFERER} trafficbot4free\.club [NC,OR]
RewriteCond %{HTTP_REFERER} alanadi\.com [NC,OR]
RewriteCond %{HTTP_REFERER} alanadi\.com [NC,OR]
RewriteCond %{HTTP_REFERER} alanadi\.com [NC,OR]
RewriteCond %{HTTP_REFERER} alanadi\.com
RewriteRule .* - [F]
Yukarıdaki kodta dikkat etmeniz gereken ilk alan adında kullandığımız [NC,OR] komutudur. Her alan adından sonra bu kodu eklemeniz son alan adında ise eklememelisiniz.

Site Kopyalamayı Engelleme

Son zamanlarda uygulanan diğer anti seo tekniklerinden biride sitenizin birebir kopyasını oluşturmaktır. Bunu da o kadar başarılı bir şekilde yapıyorlar ki web siteniz sanki başka bir alan adında çalışıyormuş gibi oluyor. Sitenizde yaptığınız en ufak değişiklikten anında diğer kopya sitede de gözüküyor. Kaynak kodlara baktığınızda ise görseller, css, java gibi dosya türklerinin kaynağı sizin site olarak gözüküyor.

Bu durum için açıkçası tam bir araştırma yapamadım hangi teknikleri kullanıyorlar onuda bilmiyorum. Bir kaç teorim var daha deneme fırsatı bulamadım ancak hotlink koruması geçici bir süre içinde olsa buna bir çözüm olabilir.

Hotlink ile Site Kopyalamayı Engelleme

Hotlink Nedir? Hotlink kısa tanımı sizin sitenizdeki dosyalarınızın başka bir sitede kullanılmasıdır. Bunu içeriği kopyalama olarak algılamama gerekir. Örnek sitenizdeki bir görsel başka bir sitede gösterilir ama görselin yolu sizin sitenizdir. Bu durumda diğer site sizin trafiğinizden çalışıyordur ve siz bunun farkına bile varmazsınız. Bu genellikle diğer web sitelerinin resimlerinizi göstermesini önlemek için kullanılsa da işi bir adım öteye götürüp sitenizin JavaScript veya CSS  dosyalarınızı kullanan kişilerin önlenmesinde de kullanılabilir.

RewriteEngine On
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?seocu\.org/ [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule .*\.(jpg|gif|bmp|png)$ https://siteadresiniz.com/gostereceginiz_gorsel.gif [L]

Yukarıdaki örnekte gif, jpg,bmp ve png dosyalarının başka sitelerde bizim site yolumuzu kullanarak kullanılmasını engellemiş olduk. Son satırda ise eğer kullanırlarsa karşılarına çıkmasını istediğimiz bir görselin adresini yazdık.

DİKKAT! .htaccess Üzerinde Çalışmalar Yaparken Mutlaka Öncesinde .htaccess Dosyanızın Yedeğini Aldığınızdan Emin Olun.

 

Print Friendly, PDF & Email
Share on facebook
Share on twitter
Share on linkedin

Leave a Reply

E-posta hesabınız yayımlanmayacak.