AI botovi i robots.txt: kontrolna lista

Da bi Vas AI asistent pomenuo u odgovoru, prvo mora moći da pročita Vaš sajt. Programi koji čitaju sajtove zovu se botovi, a mali tekstualni fajl u korijenu Vašeg sajta im kaže ko smije da uđe: robots.txt. Jedan pogrešan red u tom fajlu može Vaš sajt potpuno izbaciti iz odgovora ChatGPT pretrage.

Pogledajte svoj fajl (1 minut)

U pregledač upišite adresu svog sajta i dodajte /robots.txt na kraj. Primjer: primjerhotel.me/robots.txt. Vidjećete jedno od tri:

Fajla nema: botovi nemaju prepreku; to je u redu.
Disallow: / ispod User-agent: *: cijeli sajt je zatvoren za sve botove. Možda je ostalo iz vremena dok se sajt pravio; ispravite odmah.
Redovi u kojima su botovi navedeni po imenu: uporedite ih s listom ispod.

Koji bot šta radi?

Prema dokumentaciji samih kompanija, botovi se dijele u dvije grupe: oni koji čitaju za pretragu i odgovore i oni koji prikupljaju sadržaj za treniranje modela. Svakom grupom možete upravljati posebno.

Za pretragu i odgovore (ostavite otvoreno ako želite da Vas pronađu):

Googlebot: bot Google pretrage. Googleovi AI pregledi i AI Mode koriste isti indeks pretrage; ako blokirate Googlebot, ispadate iz oba.
OAI-SearchBot: za pretragu u ChatGPT-u. OpenAI: sajtovi koji blokiraju ovaj bot neće se prikazivati u odgovorima ChatGPT pretrage. Promjena se kod OpenAI-ja može primijeniti tek nakon otprilike 24 sata.
PerplexityBot: za prikazivanje i linkovanje sajtova u Perplexity rezultatima. Prema Perplexityju, ne koristi se za treniranje modela.
Claude-SearchBot: čita sadržaj da bi poboljšao kvalitet rezultata pretrage za Anthropicov Claude. Ako ga blokirate, Vaša vidljivost u pretragama korisnika može opasti.

Stranice otvorene na zahtjev korisnika:

ChatGPT-User, Perplexity-User, Claude-User: uključuju se kad korisnik u razgovoru zatraži da se otvori Vaša stranica. OpenAI i Perplexity navode da se pravila iz robots.txt kod ovih posjeta možda ne primjenjuju, jer ih pokreće korisnik.

Za treniranje modela (odluka je Vaša):

GPTBot (OpenAI), ClaudeBot (Anthropic): prikupljaju sadržaj za treniranje AI modela.
Google-Extended: nije poseban bot, nego oznaka koja se koristi u robots.txt. Određuje da li se Vaš sadržaj koristi za treniranje Googleovih AI modela i u nekim drugim njegovim sistemima. Prema Googleu, Google-Extended ne utiče na to da li je sajt u Google pretrazi niti na njegovo rangiranje.

Ukratko: zatvaranje botova za treniranje ne izbacuje Vas iz odgovora pretrage; zatvaranje botova za pretragu izbacuje.

Primjer fajla robots.txt

Jednostavan primjer za biznis koji želi da ga pronađu u pretrazi i AI odgovorima, a da mu panel za upravljanje ostane zatvoren:

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://primjerhotel.me/sitemap.xml

Ako želite da zatvorite botove za treniranje, možete dodati i ove redove:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

robots.txt nisu jedina vrata

I kad je fajl ispravan, botovi mogu zapeti negdje drugo:

Hosting ili zaštitni zid: neki hosting i CDN servisi (mreža koja ubrzava sajt) imaju opciju „blokiraj AI botove“. Google takođe preporučuje da puzanje dozvolite ne samo u robots.txt, nego i u CDN i hosting infrastrukturi. Provjerite podešavanja botova u svom panelu.
Oznaka noindex: ako u kodu stranice piše „ne indeksiraj“, Google je neće prikazati u pretrazi.
Tekst na slici: ako su meni ili cjenovnik samo fotografija, botovi ih možda ne mogu pročitati kao tekst.
Prijava: botovi ne vide stranice za koje treba nalog.

Kontrolna lista za 10 minuta

robots.txt otvoren i pročitan.
Nema Disallow: / ispod User-agent: *.
Googlebot, OAI-SearchBot, PerplexityBot i Claude-SearchBot nisu blokirani.
Donesena svjesna odluka o botovima za treniranje (GPTBot, ClaudeBot, Google-Extended).
U fajlu je adresa mape sajta.
Provjereno podešavanje „blokiraj AI botove“ u hosting panelu.
Na važnim stranicama nema noindex.
Adresa, usluge i cijene napisani su kao tekst.

Nakon ovih provjera uradite test u ChatGPT-u za 15 minuta da vidite da li Vas asistenti zaista pominju.

Mogu li AI botovi da čitaju Vaš sajt? Kontrolna lista za robots.txt