SEO teknike: si të zgjidhësh problemet e crawling-ut dhe indeksimit

Mund të shkruash përmbajtjet më të mira të sektorit tënd, por nëse Google nuk arrin t'i skanojë ose vendos të mos i indeksojë, për motorin e kërkimit ato nuk ekzistojnë. Problemet e crawling-ut dhe indeksimit janë pjesa më pak e dukshme e SEO-s teknike dhe një nga shkaqet më të shpeshta të trafikut që nuk mbërrin: faqe të publikuara prej muajsh që nuk shfaqen në SERP, seksione të tëra të faqes të injoruara, versione të dublikuara që ia vjedhin pozicionet njëra-tjetrës. Lajmi i mirë është se diagnostikohen me metodë.

Crawling dhe indeksim nuk janë e njëjta gjë

Ia vlen të dallohen dy hapat, sepse zgjidhjet janë të ndryshme. Crawling-u është skanimi: Googlebot i viziton faqet e tua duke ndjekur lidhjet dhe sitemap-et. Indeksimi është zgjedhja e mëpasshme: Google vendos nëse do ta fusë faqen e skanuar në indeksin e vet. Një faqe mund të skanohet dhe të mos indeksohet, për shembull sepse e konsideron të dublikuar ose me vlerë të pakët; ose mund të mos skanohet kurrë sepse asnjë lidhje nuk e arrin ose sepse robots.txt e bllokon. Të kuptosh në cilën nga dy pikat ngec faqja jote është pyetja e parë e çdo diagnoze.

Diagnoza nis nga Search Console

Google Search Console është falas dhe përmban pothuajse gjithçka që duhet. Pikat për t'u parë me radhë:

• raporti mbi indeksimin e faqeve, që liston sa faqe janë të indeksuara dhe, mbi të gjitha, arsyet e përjashtimit: e bllokuar nga robots.txt, me tag noindex, e dublikuar pa canonical të zgjedhur nga përdoruesi, e skanuar por e paindeksuar;
• kontrolli i URL-ve, për të verifikuar një faqe të vetme: kur është skanuar, cilin version kanonik ka zgjedhur Google, nëse është e indeksueshme;
• statistikat e skanimit, të dobishme në faqet e mëdha për të kuptuar si e shpenzon kohën Googlebot;
• raporti mbi sitemap-et, për të verifikuar që lexohen dhe janë pa gabime.

Përballë një rënieje ose faqesh të zhdukura, raporti mbi arsyet e përjashtimit është pothuajse gjithmonë pika ku shkaku bëhet i dukshëm.

Robots.txt dhe sitemap: dy skedarët për t'u mbajtur në rregull

Robots.txt u thotë crawler-ëve çfarë të mos skanojnë. Gabimet klasike: të bllokosh burime CSS dhe JavaScript të nevojshme për të renderizuar faqen, të lësh një Disallow të përgjithshëm të harruar nga një mjedis testimi, ose të përdorësh robots.txt për të fshehur faqe nga indeksi, gjë që nuk e bën, sepse një faqe e bllokuar mund të mbetet e indeksuar nëse merr lidhje; për të përjashtuar një faqe duhet noindex. Sitemap-i XML është lista e faqeve që do t'i skanohen: duhet të përmbajë vetëm URL kanonike, të arritshme dhe me përgjigje të vlefshme, dhe të përditësohet vetë kur publikon. Një sitemap plot me redirect-e, gabime dhe faqe të përjashtuara i dërgon Google-it sinjale kontradiktore.

Canonical dhe përmbajtjet e dublikuara

Tag-u canonical i thotë Google-it cilin version të një faqeje ta konsiderojë zyrtar kur ekzistojnë variante: me dhe pa parametra, renditje të ndryshme të një kategorie, versione për printim. eCommerce-t janë terreni tipik i dublikatave: filtrat dhe navigimi me faceta mund të gjenerojnë mijëra URL pothuajse identike që e hollojnë skanimin. Rregullat bazë: çdo faqe e indeksueshme deklaron canonical-in e vet; variantet tregojnë versionin kryesor; canonical-i tregon një faqe të indeksueshme, jo një të bllokuar ose në redirect. Dhe mbaj mend që për Google canonical-i është një sugjerim: nëse sinjalet janë të pakoherenta, zgjedh vetë, dhe jo gjithmonë siç do të doje.

Gabimet që gjejmë më shpesh në audite

Në kontrollet teknike që bëjmë në faqet e klientëve, fajtorët e përsëritur janë të pakët: noindex-i i harruar pas një restyling-u ose një migrimi, që fik seksione të tëra; zinxhirë redirect-esh të grumbulluar ndër vite, që shpërdorojnë skanimin dhe i hollojnë sinjalet; faqe jetime, të publikuara por të palidhura nga askund, që Google e ka të vështirë t'i gjejë; faqosje dhe filtra pa rregulla, që i shumëfishojnë URL-të; dhe mjedise staging të përfunduara në indeks sepse pa mbrojtje. Secili prej tyre ka një zgjidhje standarde: vështirësia është ta vësh re, dhe është arsyeja pse një kontroll periodik i Search Console vlen më shumë se çdo ndërhyrje emergjence.

Kontrolloji themelet e faqes tënde

Nëse ke faqe që nuk shfaqen në SERP, një rënie që nuk e shpjegon dot ose një eCommerce me mijëra URL për t'u qeverisur, një audit teknik i vë në radhë shkaqet dhe përparësitë. Me shërbimin faqe interneti dhe eCommerce ndërtojmë faqe teknikisht në rregull dhe rregullojmë crawling-un dhe indeksimin e atyre ekzistuese. Rezervo një call falas: shohim bashkë Search Console-in tënd dhe të themi ku të ndërhysh.