Kako da blokirate loše botove od pristupa vašem veb-sajtu – All in one SEO plugin (3.deo)

Kao što smo objasnili u prošlom članku na našem blogu koji možete pročitati ovde, roboti (botovi) su programi čija je glavna uloga da se kreću internet sajtovima i skeniraju ih za razne namene. Tako će recimo Google robot skenirati vaš veb-sajt kako bi zabeležio njegov sadržaj i tu informaciju predao Google-u za potrebe indeksiranja.

Ovo je samo jedan od primera, ali pored Google-a postoje i mnogi drugi korisni i potpuno legalni botovi koji kruže Internetom sa ciljem da obave neki koristan i legalan zadatak. Nekoliko studija je pokazalo da čak 50% celokupnog Internet saobraćaja dolazi od botova. Priznaćete, izuzetno velika aktivnost za tako male programe. Ali botovi su tu sa dobrim razlogom i neophodni su i veoma korisni na Internetu.

U slučaju Google-a radi se o takozvanom dobrom botu. Ova vrsta botova svakako ima dobru ulogu i teško je zamisliti kako bi izgledala pretraga na Google-u bez njih.

Međutim postoje i takozvani loši botovi čiji je cilj da rade, kako im i sam naziv kaže, neke loše, odnosno nelegalne radnje. Njih prave i koriste obično grupe organizovane oko nekih nelegalnih aktivnosti kao što su krađa podataka i informacija razne vrste. Oni mogu recimo da ukradu sadržaj vašeg sajta i objave ga na nekim drugim mestima, što može direktno uticati na vaše rangiranje u pretragama na Google-u, ali takođe i da ukradu vaše osetljive podatke ili preuzmu vaše naloge na raznim forumima i platformama. Za kompanije čiji su serveri izloženi Internetu loši botovi mogu biti prava noćna mora, jer mogu ozbiljno opteretiti njihove raspoložive resurse i ugroziti njihov rad. Dakle radi se o potencijalno veoma opasnim programima koji mogu da prouzrokuju ozbiljnu štetu vašem poslovanju.

S obzirom da svaka aktivnost bota na vašem veb sajtu zapravo opterećuje resurse vašeg servera i sam tim usporava vaš sajt, najbolje je da im nekako onemogućimo pristup sajtu i na taj način pokušamo da se zaštitimo od njihovog delovanja i posledica koje mogu da proizvedu.

Dakle, danas ćemo naučiti kako da blokirate loše botove od pristupa vašem sajtu.

Da budemo odmah jasni, loši botovi su realnost i ne možemo ih se tako lako rešiti niti sprečiti njihov negativan uticaj. Postoji čitava nauka oko rešavanja ovog probema, kao i gomila high-tech i low-end rešenja kako blokirati loše botove, ali nema potrebe da u ovom članku ulazimo detaljnije u tu obimnu priču. Dovoljno je da konstatujemo da za prosečnog korisnika i njegove potrebe postoji nekoliko jednostavnih rešenja, a mi ćemo ovde razmotriti jedno od njih.

Podešavanje Bad Bot Blockera

U prethodna dva teksta bavili smo se podešavanjem ALL IN ONE SEO plugin-a (ALL IN ONE SEO plugin – podešavanja za bolji SEO (1.deo) – Opšta podešavanja i ALL IN ONE SEO plugin – podešavanja za bolji SEO (2.deo) – Robots.txt), koji između ostalog u sebi ima i opciju podešavanja za robote (botove). Sada ćemo objasniti kako da aktivirate tu opciju i podesite plugin tako sprečite da deo loših botova dođe do vašeg veb-sajta.

Ulogujte se na dashboard vašeg veb-sajta i pokrenite ALL IN ONE SEO plugin, a zatim i opciju Feature Manager. Pronađite modul pod nazivom Bad Bot Blocker i kliknite na Activate (Slika 1).

Čim ste aktivirali u meniju ALL IN ONE SEO plugin-a će se pojaviti opcija Bad Bot Blocker (Slika 2).

Pokrenite Bad Bot Blocker i otvoriće se prozor kao na slici 3.

Prva opcija je Block Bad Bot Using HTTP.

Svakako čekirajte ovu opciju kako biste sprečili loše botove koji su u relevantnim bazama već registrovani kao oni koji ne poštuju standarde u komunikaciji sa web serverima, da opterećuju vaš server čak i onda kada od njega dobijaju poruku da je preopterećen.

Ovo može dodatno opteretiti vaš server i prouzrokovati pad vašeg veb-sajta. Zato je dobro da ova opcija obavezno bude čekirana.

Sledeća opcija je Block Referral Spam using HTTP.

Referral spam (naziv dolazi od opcije Referral u Google Analytics-u, koja je u nekim momentima bila predmet zloupotreba od strane spamera) je slanje neželjenih poruka od strane spamera ka vašem veb-sajtu.

Scenario je obično sledeći: spamer ima veb-sajt za koji namerava da veštački stvori takozvane back-linkove da bi mu veštački podigao rejting u Google indeksaciji. On šalje spam zahteve sa lažnim URL-ovima ka različitim veb-sajtovima, sa ciljem da vaš veb-sajt odgovori na tu poruku linkovanjem ka njegovom sajtu.

S obzirom da su obično u pitanju sajtovi lošeg kvaliteta, linkovanje vašeg veb-sajta ka takvim sajtovima može da rezultira lošom ocenom od strane Google-a za vaš sajt, što vremenom može da oslabi ukupan skor vašg sajta.

Google, Bing, Yahoo već imaju implementirana rešenja za ovakve zloupotrebe, ali je svakako dobra opcija izbeći opisani scenario, Zato je pametan izbor da čekirate opciju Block Referral Spam using HTTP.

Sledeća opcija je Track Blocked Bots.

Kao što sam naziv kaže, čekiranjem ove opcije ćete aktivirati opciju logovanja (praćenja) svih blokiranih loših botova koji su slali zahteve ka vašem veb-sajtu. Ovo može biti od korisiti ukoliko je potrebno primeniti neke radikalnije mere u blokiranju loših botova, pa je dobro imati ovu listu i logove.

Dakle, naša preporuka je da čekirate ovu opciju.

Čim je budete čekirali, u prozoru će se pojaviti još jedna opcija pod nazivom Log of Blocked Bots. Ovo samo govori da će svi pomenuti zahtevi biti logovani.

Sledeća opcija je Use Custom Blocklist.

Ako imate neke posebne potrebe čekirajte ovu opciju kako biste eventualno sami uredili listu agenata (botova) i referral spam zahteva. Naša preporuka je da ostavite ovu opciju kako već jeste (nije čekirana), jer u većini slučajeva nećete imati potrebe da je posebno uređujete.

Ako vas kojim slučajem zanima da pogledate listu loših botova i vidite njihov opis i uputstva kako blokirati loše botove podešavanjem Robots.txt, htaccess fajl ili meta-tagova, pogledajte link http://www.botreports.com/badbots/index.shtml

Kada ste završili sa podešavanjima, vaš prozor bi trebalo da izgleda kao na slici 4.

Zatim kliknite na opciju Update Options u vrhu ili u dnu prozora, kako biste sačuvali željena podešavanja.

Ovim ste ujedno i podesili vaš sajt za susret sa lošim botovima, što u krajnjem slučaju samo može biti od korisiti kada je u pitanju brzina i kvalitet rada vašeg veb-sajta. Kao što smo već ranije naučili, brzina veb-sajta je jedan od veoma važnih faktora kada je u pitanju SEO.

U sledećem tekstu ćemo se baviti boljom integracijom vašeg sajta sa društvenim mrežama uz pomoć takozvanih Social Meta Data. To je svakako savremena i zanimljiva tema, pa budite sa nama i sledećeg ponedeljka.

Do tada, podesite Bad Bot Blocker u sklopu ALL IN ONE SEO plugin-a, ukoliko do sada niste. Ako već koristite neki drugi Bot Blocker, podelite u komentarima vaša iskustva, možda još nekome bude korisno ?

Nenad Mihajlović