Crawling en indexerings problemen op je website?
De melding “Gevonden – momenteel niet geïndexeerd” en “Gecrawld – momenteel niet geïndexeerd” in de Google Search Console lijkt onschuldig en tijdelijk, maar in werkelijkheid ondervindt Google daadwerkelijk problemen bij het crawlen en indexeren van bepaalde pagina’s op je website. Dit betekent dat deze webpagina’s niet in de zoekresultaten zullen verschijnen en kan leiden tot een verminderde online zichtbaarheid. Het is dus belangrijk om uit te zoeken wat er werkelijk aan de hand is en hoe je deze problemen met crawling en indexering kunt oplossen om ervoor te zorgen dat je website optimaal presteert in de zoekresultaten.
Gevonden momenteel niet geïndexeerd
Dit betekent dat Google deze pagina gevonden heeft, maar besloten heeft hem op dit moment niet te crawlen voor zoekresultaten. Het hoeft niet te betekenen dat je pagina fouten bevat. Het kan betekenen dat Google besloten heeft dat het crawlen van deze pagina je website zou overbelasten en het crawlen verplaatst heeft naar een later tijdstip. Het kan ook betekenen dat je de kwaliteit van de inhoud op de pagina moet verbeteren.
Gecrawld momenteel niet geïndexeerd
Wanneer je een URL indient bij de Google Search Console en de melding “Gecrawld – momenteel niet geïndexeerd” ontvangt, betekent dit dat Google de pagina heeft gecrawld maar heeft besloten deze op dit moment niet te indexeren. Hierdoor zal de URL voorlopig niet in de zoekresultaten verschijnen.
Het is echter belangrijk om te benadrukken dat de melding “Gecrawld – momenteel niet geïndexeerd” niet noodzakelijk betekent dat er fouten op de pagina staan. Het is ook niet nodig om de URL opnieuw in te dienen om gecrawld en geïndexeerd te worden. Afhankelijk van de beslissing van Google kan de pagina in de toekomst alsnog worden geïndexeerd.
Als je de pagina belangrijk vindt en in de zoekresultaten wilt weergeven, kun je proberen een indexering aan te vragen. Het is echter wel aan te raden om te controleren of de pagina geen andere fouten of waarschuwingen bevat. Dit kun je doen door de live URL te testen in de URL-inspectietool van Google. Op die manier kun je eventuele problemen oplossen voordat je een verzoek tot indexering indient.
Hoe los je problemen met crawlen en indexering op?
Als je problemen hebt met crawlen en indexering, zijn er verschillende stappen die je kunt nemen om het probleem op te lossen. Als je denkt dat het probleem bij Google ligt, kun je een verzoek indienen om de pagina alsnog te indexeren. Het kan echter voorkomen dat het probleem na het indienen van het verzoek nog steeds niet is opgelost. In dat geval zijn er twee mogelijke uitkomsten:
- De nieuwe URL verschijnt als “pagina bezocht, nog niet geïndexeerd”.
- De nieuwe URL verschijnt als “tijdelijk geïndexeerd”.
Beide uitkomsten duiden op onderliggende problemen die te maken kunnen hebben met de kwaliteit van de webpagina’s. Het is belangrijk om te onderzoeken wat de oorzaak van deze problemen is en hoe deze opgelost kunnen worden.
Kwaliteit van de webpagina verbeteren
Er kunnen verschillende redenen zijn waarom een pagina niet wordt geïndexeerd, maar één mogelijke oorzaak is de kwaliteit van de webpagina.
Dit kan echter verwarrend zijn, omdat het lijkt alsof Google de kwaliteit van de pagina beoordeelt zonder deze te bezoeken. In werkelijkheid maakt Google echter een soort voorspelling over de verwachte kwaliteit van de pagina op basis van de informatie die het heeft over andere pagina’s op dezelfde website en met hetzelfde domein. Hierbij maakt Google gebruik van URL-patronen en de structuur van de website. Dubbele URLs en (het ontbreken van) interne links zijn hierbij mede bepalend voor de kwaliteit die Google verwacht aan te treffen.
Wanneer je een verzoek indient om deze webpagina’s alsnog te laten indexeren, loop je het risico dat Google er een lage prioriteit aan geeft en dat deze achteraan in de wachtrij belanden. Dit kan ook gebeuren wanneer Google een andere pagina op dezelfde website als beter beschouwt, bijvoorbeeld omdat deze dezelfde inhoud heeft maar beter geoptimaliseerd is voor zoektermen of gebruikersintenties.
Hier zijn enkele tips die je zou kunnen overwegen om de kwaliteit van je pagina’s te verbeteren:
- Zorg ervoor dat de inhoud van je pagina’s relevant en waardevol is voor de gebruikers. Dit kan bijvoorbeeld door het gebruik van zoekwoorden en een duidelijke structuur en opmaak.
- Vermijd het hebben van dubbele URLs en zorg voor een goede interne linkstructuur op je website.
- Gebruik de URL-inspectietool van Google om te controleren of er problemen zijn die het crawlen en indexeren van je pagina’s belemmeren en los deze problemen op.
Door deze tips toe te passen en de kwaliteit van je pagina’s te verbeteren, vergroot je de kans dat Google ze goed beoordeelt en ze meeneemt in de zoekresultaten.
Crawl Budget en efficiëntie
Er wordt wel eens beweerd dat crawl budget een belangrijke factor is bij zoekmachine-optimalisatie, maar in de praktijk speelt dit doorgaans geen rol. Volgens Google hoeven de meeste websites zich hier geen zorgen over te maken en is het vooral een probleem voor zakelijke websites.
Daarentegen kan crawl efficiëntie wel een belangrijke rol spelen bij alle websites, ongeacht hun omvang. Als je hier geen rekening mee houdt, kunnen er problemen ontstaan met de manier waarop Google de website bezoekt en de bevindingen verwerkt. Bijvoorbeeld, als jouw website:
- Dubbele URLs bevat
- URLs vermeldt met en zonder schuine strepen
- URLs bevat in zowel HTTP als HTTPS
- Meerdere gelijke subdomeinen heeft, bijvoorbeeld https://website.com en https://www.website.com
Dan kan dit leiden tot problemen met “dubbele content”, waardoor Google de prioriteit om jouw pagina’s te bezoeken verlaagt. Het is daarom belangrijk om deze problemen aan te pakken om ervoor te zorgen dat Google jouw website regelmatig crawlt en de pagina’s op de juiste manier verwerkt.
Hoewel crawl budget over het algemeen geen grote rol speelt, kan het wel een factor zijn bij het ontdekken van nieuw gepubliceerde URL’s. Aangezien de Googlebot websites in delen doorzoekt, kan het zijn dat Google niet genoeg middelen heeft om alle nieuw gepubliceerde URL’s even snel te ontdekken als jij zou willen.
Welke invloed heb je op het Google crawl budget?
Om het Google crawl budget van jouw website te verbeteren, zijn er enkele stappen die je kunt nemen. Hier zijn enkele tips:
- Indexeer alleen goede pagina’s: Als jouw website parameters gebruikt, zoals filters voor e-commerce producten, dan kun je het crawlen van deze URL-paden beperken door ze uit te sluiten in het robots.txt-bestand.
- Zorg voor een goede serverkwaliteit: De kwaliteit van de server is bepalend voor de wijze waarop Google het budget toewijst om jouw website te crawlen. Een overbelaste server kan leiden tot crawl-problemen, waarbij de Googlebot geen toegang krijgt tot bepaalde pagina’s. Dit kan vertragingen veroorzaken in het hele proces.
- Verbeter de interne linkstructuur: Interne links van de ene pagina naar de andere zijn belangrijk voor zowel Google als de bezoeker om snel te vinden waar ze naar op zoek zijn. Google besteedt doorgaans minder aandacht aan URL’s die geen of weinig interne links hebben, wat kan leiden tot uitsluiting van de index. Als jouw website veel URL’s heeft, is het verstandig om deze over meerdere pagina’s te verdelen en niet allemaal vanaf één pagina te linken.
Door deze tips toe te passen, kun je ervoor zorgen dat jouw website efficiënter wordt gecrawld en beter wordt geïndexeerd door Google. Dit kan helpen om de zichtbaarheid van jouw website in de zoekresultaten te verbeteren en het aantal organische zoekopdrachten te vergroten.
Conclusie
Wil jij ervoor zorgen dat jouw website beter presteert in de zoekresultaten van Google? Dan kan het verbeteren van de kwaliteit en indexering van jouw webpagina’s een enorme impact hebben. Wij begrijpen hoe frustrerend het kan zijn om meldingen te krijgen dat jouw webpagina’s niet zijn geïndexeerd, en daarom willen we je helpen om dit probleem op te lossen.
Onze deskundige en ervaren professionals staan klaar om jou te adviseren over de beste manieren om de kwaliteit van jouw webpagina’s te optimaliseren en te zorgen dat ze worden geïndexeerd door Google. Of het nu gaat om het opzetten van een georganiseerde websitestructuur met interne links of het implementeren van een HTML-sitemap, wij hebben de expertise om je te helpen bij het optimaliseren van jouw website.
Door jouw website te optimaliseren, vergroot je niet alleen de kans dat jouw website wordt gevonden in de zoekresultaten, maar verbeter je ook de gebruikerservaring voor jouw bezoekers. Met Webcare4all als jouw partner in website optimalisatie, kun jij je concentreren op jouw bedrijf terwijl wij ons richten op het verbeteren van jouw online aanwezigheid.
Neem gerust contact op om te beginnen met het verbeteren van jouw website en het optimaliseren van jouw online prestaties!
