Masz stronę internetową, której nie widać w Google? Powodów tego może być wiele. W tym artykule wymienimy najważniejsze.
Zawsze warto podpiąć usługę Google Search Console pod swoją domenę. Proces nie jest trudny, a dzięki niemu można skorzystać chociażby z możliwości wysłania prośby o zaindeksowanie konkretnej strony.
Zdarza się, że strona internetowa jest zablokowana dla Google poprzez plik robots.txt
Czym jest plik robots,txt?
Jest to plik, w którym definiujemy jak roboty internetowe mają zachowywać się na naszej stronie internetowej.
Dzięki niemu możemy poprosić roboty crawlujące aby pewnych fragmentów lub całą) strony nie indeksowały w swoich narzędziach. Oczywiście jak podejdą do tej prośby jest w 100% zależne od twórców tych narzędzi.
Google widzą zapis
User-agent: *
Disallow: /nie będzie indeksować witryny. Dla Google to zakaz odczytywania strony. Z tego powodu naszej strony internetowej może nie być w wyszukiwarce Google.
Po co taki zapis? Zazwyczaj będzie to jakiś błąd, pozostałość po jakimś pluginie lub po pracach nad nową stroną, która w trakcie prac nie miała być indeksowana.
Wystarczy znaleźć plik na swoim serwerze FTP. Znajduje się on w głównym folderze domeny pod nazwą 'robots.txt' i zedytować jego zawartość i zmienić Disallow na Allow.
Więcej informacji o robots.txt od Google
Podobnie jak w przypadku pliku robots.txt również pod konkretnym adresem strony internetowej można zablokować robot wyszukiwarki Google poprzez tag meta, a dokładniej taki zapis:
<meta name="robots" content="noindex" />Jest to kolejny sposób by powiedzieć Googlowi, że nie chcemy by danej podstrony indeksował.
Często celowo blokuje się Google na konkretnych podstronach, które nie mają się pojawić w indeksie. Np strony regulaminów, praktyk prywatności itp
Jednak przypadkiem może się to wkraść i na inne podstrony, więc jeśli twoja strona nie jest zaindeksowana to jest to jedna z pierwszych rzeczy do sprawdzenia.
Jak powinien wyglądać tag meta robots? Tak:
<meta name="robots" content="index, follow">Więcej informacji o tagu Meta Robots
Kolejnym technicznym problemem może być pętla przekierowań.
Zazwyczaj strony internetowe przekierowują nas z wersji niezabezpieczonej http na https, a także z na subdomenę www. Są to normalne praktyki zabezpieczające nas i powodujące również, że np w indeksie Google jest jedna wersja witryny i nie ma tzw. Duplicate Content.
Natomiast może gdzieś wkraść się błąd i może powstać pętla która będzie przekierowywać w kółko pomiędzy różnymi wersjami domeny lub pomiędzy różnymi domenami.
Mamy wtedy niemal gwarancję, że strona nie znajdzie się w indeksie Google.
Przekierowania mogą być ustawione w pliku .htaccess jak i w nagłówkach konkretnych stron/podstron co może utrudnić identyfikację problemu.
Trzeba ustalić gdzie wykonywane są przekierowania: .htaccess, nagłówki .html, pliki .php, skrypty js. Jest nieco do sprawdzanie, ale gdy już ustali się źródło sprawa staje się prosta.
Do sprawdzenia całej domeny można użyć narzędzia Screaming Frog, które przejdzie po całej domenie w poszukiwaniu błędów w tym pętel przekierowań.
W 2022 roku posiadanie strony internetowej, która nie jest przystosowana do urządzeń mobilnych to jak nie posiadanie jej wcale.
Podobnie podchodzi do tego Google i w pewnych warunkach może w ogóle nie umieścić strony internetowej w swoim indeksie. Google uznaje, że teraz podstawą jest wersja dla komórek. W niektórych branżach użytkownicy korzystają w 90% z komórek (np newsy).
Dodanie wersji mobilnej do strony tylko desktopowej to nie jest bardzo duży problem, ale wymaga nieco pracy developera. Zazwyczaj jest to bardzo strona, więc wtedy warto pomyśleć o zrobieniu wszystkiego od podstaw.
Wystarczy skorzystać z narzędzia od Google do sprawdzania dostosowania do urządzeń mobilnych
W tym przypadku trzeba wynająć webdevelopera, który pomoże w konwersji strony desktopowej do responsywnej.
Strony internetowe poza zwykłym HTML'em mogą być serwowane również poprzez generowanie w locie językiem JavaScript.
Jeśli wszystko jest dobrze zrobione to obecnie Google da sobie radę z JS, jednak może być tak, że Google sobie z tym nie poradzi.
Dlaczego?
Początkowo Google do analizy stron w ogóle nie wykorzystywał JS'a, więc żeby zobaczyć jak stronę widzi Google można było w przeglądarce wyłączyć obsługę JS.
Technologia poszła do przodu i teraz Google rozumie i wykonuje po swojej stronie JS'a, ale może mieć z tym problemy jeśli coś jest źle zrobione, np. mamy stronę typu SPA gdzie jest tylko jeden link, URL i wszystko jest w nim. Klikając np 'O firmie' zmienia się zawartość, ale nie URL. Przy takiej konstrukcji jest duża szansa, że część lub całą strona nie zostanie zindeksowana.
Żeby naprawić tego typu stronę internetową trzeba dokładnie sprawdzić w czym jest problem. Czasem wystarczy zmiana ustawień wykorzystanego frameworku, ale czasem trzeba zrobić stronę od nowa jeśli jest to jakiś customowy skrypt.
Zaleca się by strona ładowała się w mniej niż 1s. Oczywiście pewne strony mogą nieco dłużej się ładować jeśli wymaga tego model biznesowy i oczywiście ładowanie ładowaniu nie równe - często strony jeszcze się ładują mimo, że w tle pobierane są dane.
Ale ogólna zasada jest taka, że im szybciej tym lepiej. Google nie lubi serwować wyników wyszukiwania gdzie użytkownik będzie musiał czekać długo. Nie ma tu konkretnej liczby, ale dłużej niż kilkanaście sekund to gruba przesada i taka strona może nie znaleźć się w indeksie wcale.
Wystarczy skorzystać z narzędzie Page Speed Insights od Google i warto przeczytać artykuł o szybkich stronach internetowych.
Naprawa wolno ładującej się strony internetowej to czasem tylko zmiana rozdzielczości kilku ciężkich obrazków, a czasem optymalizacja wszystkiego od A do Z, więc trudność zależna jest od indywidualnego przypadku.
Google w swoim indeksie chce prezentować strony internetowe, które coś do niego wnoszą. Dlatego strony, które nie mają treści, albo jest jej skrajnie mało mają dużo mniejsze szanse by znaleźć się w indeksie.
Tak samo jest ze stronami, które jedynie kopiują treść z innych stron jak i stronami, które są wynikiem generatorów treści. Te mogą być rozpoznane przez Google i uznane za spam i nigdy w indeksie się nie znajdą.
Dla Google liczy się treść (tekst, obraz, wideo), który przyciąga użytkowników. Zawsze warto poświęcić czas by treść na stronie internetowej była merytoryczna i precyzyjna.
Ten punkt łączy się z innymi w tym zestawieniu i jest ogólniejszą zasadą. Do tej zasady włącza się szybkość ładowania strony, przejrzystość, merytoryczna treść.
Google chce by strony były tworzone przede wszystkim pod użytkownika. Dlatego jeśli pomimo dobrej treści, szybkiego ładowania użytkownikowi wyskoczy popup, którego nie będzie mógł zamknąć użytkownik szybko z niej wyjdzie i to będzie sygnałem dla Google, że witryna mimo wszystko jest niskiej jakości i może usunąć ją z indeksu.
Podobne problemy to zbyt duża ilość reklam, przesuwające się układy (layout shift), obciążenie procesora skryptami (niektóre strony kopały kryptowaluty u użytkownika) itp.
Należy zidentyfikować dlaczego użytkownicy szybko opuszczają stronę. Jak będzie to popup, którego nie da się zamknąć to wyłączenie go powinno być proste, ale mogą to być inne bardziej złożone problemy.
Strona, czy konkretne podstrony lepiej się indeksują gdy mamy mapę strony. Zazwyczaj jest ona w głównym folderze domeny z nazwą sitemap.xml. Warto dodać do niej link w pliku robots.txt jak i w narzędziu Google Search Console. Dzięki temu Google będzie miał pełen obraz naszej witryny.
Bez mapy strony Google musi poruszać się po stronie po linkach w niej zawartej i sam tę mapę budować. To jednak jest kosztowne od strony Google i w ten sposób robot może odwiedzić mniej naszych URLi.
Działając niezgodnie z zasadami Google możemy zostać wyrzuceni z indeksu wyszukiwarki. Może wynikać to ze spamowych linków, kradzieży praw autorskich lub nielegalnych treści.
Kary, które skutkowałyby usunięciem strony z indeksu wynikają z grubego kalibru 'wykroczenia'. Dlatego powrót domeny do indeksu może być trudne lub czasem niemożliwe i dlatego kupując już istniejącą domenę warto prześledzić jej historię by nie wpaść na minę.
Ten punkt jest rozwinięciem elementu punktu 9.
Próbując pozycjonować stronę internetową własnymi siłami możemy łatwo ulec pokusie zakupu linków na Allegro lub serwisach zagranicznych. Oferty te mamią dużą ilością linków w atrakcyjnych cenach.
Te oferty to linki zdobywane automatami z już bardzo zaspamowanych domen, o których Google wie i może nałożyć karę na naszą domenę za stosowanie takich praktyk.
Niestety tu każdy przypadek jest indywidualny i kupując masowo spamowe linki możemy sprawić, że domena będzie bezwartościowa na lata. Wtedy często bardziej opłaca się zacząć wszystko od nowa na nowej domenie.
Skontaktuj się z nami. W trakcie niezobowiązującej rozmowy telefonicznej ustalimy czy możemy Ci pomóc.