Kako ukloniti URL-ove iz Google Search-a

Postoji više načina da uklonite URL-ove iz Google Search-a, ali nažalost ne postoji jedno rešenje koje bi odgovaralo svakoj situaciji. Sve zavisi od konkretnog slučaja i svaka situacija je priča za sebe. Mi ćemo u ovom tekstu predstaviti nekoliko načina kako ukloniti URL-ove iz Google Search-a.

Za početak je važno da znate da uklanjanje URL-ova iz Google Search-a mora biti urađeno na ispravan način – u suprotnom nećete postići željeni rezultat, a vaši URL-ovi neće biti uklonjeni iz Google index-a. Što je još gore, nepravilno uklanjanje može imati negativan efekat na vaš SEO.

Kako da proverite da li je URL indeksiran

Ono što je uobičajeno prilikom SEO analize je da prvo proverite da li je sajt indeksiran. Za ovo često koristimo site: operator za pretragu (search operator). Iako je on koristan kada je u pitanju identifikacija potencijalno problematičnih delova web sajta, treba imati u vidu da nije dovoljno pouzdan za identifikaciju indeksiranih stranica. To znači da on može pokazati stranice koje su poznate Google-u, ali te stranice ne moraju da se prikažu i u regularnom SERP-u, odnosno kada pretražujete bez site: operatora.

Važno je imati u vidu da ukoliko pomoću site: operatora pretražujete jedan domen, on vam može prikazati i sadržaje koji su vezani za taj domen, ali se zapravo nalaze na drugim domenima. To može biti i slučaj i recimo sa vašim starim domenom. Na primer, ukoliko ste menjali domen, regularna pretraga će odvesti na vaš novi domen. Ukoliko upotrebite site: operator sa nazivom vašeg starog domena, on uz naziv tog domena može prikazati i sadržaj, naslov i ostale element sa vašeg novog domena. Ovo može da zbuni i da vas navede da pomislite da niste dobro migrirali stari domen i da počnete da uklanjate ili blokirate URL-ove sa starog domena. To nikako nije dobro rešenje i samo možete naškoditi vašem novom domenu.

Da biste izbegli eventualnu zabunu, bolje rešenje je da koristite Google Search Console i njen Index Coverage report, odnosno za pojedinačne URL-ove alat pod nazivom URL Inspection Tool.

Ova dva alata vam daju informaciju o tome da li je sajt/stranica indeksirana i daje dodatne informacije o tome kako Google tretira tu stranicu/sajt.

Opcije za uklanjanje URL-a iz Google Search-a

Brisanje sadržaja

Ukoliko uklonite stranicu i postavite status kodove 404 (not found) ili 410 (gone), ta stranica će biti uklonjena iz index-a ubrzo nakon što Google ponovo pređe preko nje. Dok ne bude uklonjena, ona se još uvek može pojavljivati u rezultatima pretrage. Čak iako stranica sama po sebi više nije dostupna, njena keširana verzija može privremeno biti dostupna.

Noindex

Noindex meta robots tag ili x-robots header response će reći search engine-u da ukloni stranicu iz index-a. Meta robots tag funkcioniše za stranice na kojima x-robot response funkcioniše za stranice i dodatne tipove datoteka, poput PDF -ova. Da bi ti tagovi bili vidljivi search engine mora da pređe preko tih stranica / sajta. Iz tog razloga je važno da one nisu blokirane u robots.txt fajlu. Pored toga, imajte u vidu da uklanjanje stranica iz index-a može da spreči konsolidaciju linka i druge signale.

Primer meta robots noindex taga

<meta name=”robots” content="noindex">

Primer x-robots noindex taga u header response-u

HTTP/1.1 200 OK
X-Robots-Tag: noindex

Onemogućavanje pristupa

Ukoliko želite da stranica bude dostupna nekim korisnicima, ali ne i search engine-u, onda je verovatno da se na njoj nalazi:

• Neka vrsta sistema za logovanje
• HTTP autentifikacija (gde je za pristup neophodna lozinka)
• IP Whitelisting (koji dozvoljava samo nekim IP adresama da pristupe stranici)

Ovaj tip podešavanja je najbolji ukoliko imate neku internu mrežu, pristup samo za članove, ili tokom izrade sajta. On dozvoljava određenim grupama korisnika da pristupe stranici, dok istovremeno ona neće biti dostupna search engine-u, pa je iz tog razloga neće ni indeksirati.

URL Removal Tool

Na prvi pogled čini se da se radi o alatu koji uklanja URL-ove, a zapravo on samo privremeno sakriva sadržaj. Google će i dalje videti i prelaziti preko vašeg sadržaja, ali se stranice neće pojavljivati u pretrazi. Ovaj privremeni efekat kod Google-a traje šest meseci. Bing ima sličan alat čini efekat sakrivanja URL-ova traje tri meseca.

Naša preporuka je da ove alate koristite samo u nekim ekstremnim slučajevima, kao na primer kod curenja podataka ili nekih drugih sigurnosnih pitanja.

Kanonizacija

Kada imate više verzija stranice i želite da konoslidujete signale (kao na primer linkove) u jednu verziju, ono što je potrebno da uradite je neka vrsta kanonizacije. Ovo je pre svega da biste sprečili pojavu duplog sadržaja (duplicate content).

Imate na raspolaganju nekoliko verzija kanonizacije:

Kanonski (Canonical) tag. Pomoću kanonskog taga definišemo dodatni URL kao kanonsku verziju stranice koju želite da prikažete. Ukoliko su stranice duplirane ili imaju sličan sadržaj, to je onda preporučeno podešavanje. Ukoliko su previše različite, kanonski link može biti ignorisan, jer je u pitanju napomena (hint) a ne direktiva.

Redirekcije. Redirekcija vodi korisnika i search bot-a od jedne strane do druge. Najčešće korišćena je svakako 301 (trajna) redirekcija. Ona govori search engine-u da želite da finalna URL bude prikazana u rezultatima pretrage, gde će se i konsolidovati signali Za razliku od nje, 302 (privremena redirekcija) govori search engine-u da želite da originalni URL ostane u index-u i da u njemu konsoliduje signale.

Upravljanje URL parametrom. Parametar se dodaje na kraj URL-a i tipično podrazumeva znak pitanja. Na primer plus.rs?this=parameter. Ovaj Google-ov alat nam omogućava da mu kažemo kako da tretira URL sa specifičnim parametrom. Na primer, možete definisati da li će parametar menjati sadržaj stranice će samo biti namenjen praćenju korišćenja.

Koji su prioriteti prilikom uklanjanja URL-a

Ukoliko imate više stranica (URL-ova) da uklonite iz Google index-a, onda je važnod a razumete kojim redosledom bi to trebalo raditi, odnosno koji je redosled po prioritetu:

Najviši prioritet: Ove stranice su najčešće povezane za potencijalnim sigurnosnim pitanjima, ili sa poverljivošću podataka. To uključuje stranice koje sadrže lične informacije, podastke o klijentima i sl.

Srednji prirotet: Ovo obično uključuje sadržaj namenjen posebnoj grupi korisnika. Kompanijska interna mreža (intranet), interni portal, sadržaji koju su namenjeni samo zaposlenima, kao i testna ili razvojna okruženja.

Nizak prioritet: Ove stranice obično uključuju sadržaj koji je u nekom obliku dupliran. Na primer, stranice koje se poslužuju sa više različitih URL-ova, URL-ovi sa parametrima, kao i one koji dolaze sa testnog ili razvojnog okruženja.

Najčešće greške koje treba izbegavati

Ovde ćemo navesti nekoliko najčešćih grešaka kod uklanjanja grešaka, koje treba izbegavati iz razloga što ili ne pomažu ili čak mogu naštetiti SEO-u vašeg sajta.

Noindex u robots.txt fajlu

Iako je Google ranije nezvanično podržavao noindex u robots.txt fajlu, to nikada nije bio zvaničan standard, a sada je ta podrška i formalno izostala. Drugim rečima, sajtovi koji su koristili noindex u robots.txt fajlu, su to radili pogrešno.

Blokiranje prelaženja preko sajta (crawl-a) u robots.txt fajlu

Prelaženje preko sajta (crawling) nije isto što i indeksiranje. Čak iako je Google blokiran za prelaženje preko neke stranice, ako postoje interni ili eksterni linkovi koji vode ka toj stranici, on će i dalje moći da je indeksira. Google neće znati šta je na toj stranici, jer neće preći preko nje, ali će znati da stranica postoji i čak će i prikazati njen naslov u SERP-u, na osnovu signala kao što je anchor text sa linkova koji vode ka njoj.

Nofollow

Ovo se često meša sa noindex direktivom i čak se i greškom koristi na nivou stranice da bi se ona izuzela od indeksiranja od strane search engine-a. Nofollow je preporuka (hint), pa iako je originalno zaustavljala crawl na stranicama i individualnim linkovima, to više nike slučaj. Google sada može da prelazi preko tih linkova ukoliko to želi. Nofollow je takođe korišćen na individualnim linkovima da bi pokušao da zaustavi Google da prelaui preko tih konkretnih strana. Kako i kod porethodno navedenog, to više nije slučaj, jer nofollow je samo preporuka.

Naša preporuka je da proverite da li je nofollow prisutan na vašim stranicama i ako jeste da li je slučajno greškom dodat umesto noindex.

Noindex i canonical

Ovi signali deluju suprotno. Dok noindex saopštava search engine-u da ukloni stranicu iz index-a, canonical saopštava da je indeskira, samo u neku drugu verziju te stranice. Ovakva situacija će u najvećem broju slučajeva rezultirati konosolidacijom, odnosno raditi u korist canonical, jer će Google ignorisati noindex i koristiti canonical kao glavni signal. Ipak, treba imati u vidu da ovo ne mora uvek da bude slučaj. S obzirom da Google koristi i svoj algoritam, može se desiti da noindex tag ipak bude računat kao signal. U tom slučaju stranice koje imaju ova dva taga se neće ispravno konsolidovati

Uklanjanje slika

Da biste uklonili slike iz Google pretrage, najlakši način je da to uradite pomoću robots.txt fajla. Iako je, kako smo već pomenuli, Google prestao da daje i nezvaničnu podršku za uklanjanje stranica pomoću robots.txt fajla, dovoljno je da u njemu koristite disallow za slike koje želite da uklonite.

Za pojedinačnu sliku:
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

Za sve slike:
User-agent: Googlebot-Image
Disallow: /

Zaključak

Videli smo da je uklanjanje URL-ova iz Google Search-a drugačije od slučaja do slučaja. Prošli smo kroz nekoliko opcija koje predstavljaju ispravan način za njihovo uklanjanje.

Da li vi imate da dodate još neki način? Pišite nam u komentarima.

Nenad Mihajlović