Reacties op: Geeft een niet-geïndexeerde pagina PageRank door?

Door: Landeweerd

Landeweerd — Tue, 02 Dec 2008 09:44:13 +0000

Concreet mijn vraag, zit er nog een verschil tussen een pagina uitgesloten via Robots.txt en een pagina uitgesloten via een meta tag?

De metatag pagina moet namelijk eerst “bekeken” worden voordat de zoekmachine opmerkt dat deze niet geïndexeerd hoeft te worden. Bij een robots.txt zou dit niet het geval moeten zijn. Nu kan ik begrijpen dat bij elke pagina in ieder geval de links bekeken worden, neem aan dat linkteksten dan ook gewoon worden meegenomen?

Door: chapter42

chapter42 — Mon, 01 Dec 2008 10:58:43 +0000

Misschien hadden we dit moeten uitleggen in ons boek :)

Dat doe je met de 3 T’s

testen, testen, testen,

Door: Landeweerd

Landeweerd — Sun, 30 Nov 2008 13:00:31 +0000

Erg interessant, de vraag is echter sluit Google een pagina met een noindex in zijn geheel uit, of wordt deze wel geïndexeerd maar niet meegenomen in de resultaten. Uit de blog blijkt het laatste het geval, maar waar baseren jullie dit op? Dat wordt uit dit stuk nog niet helemaal duidelijk…

Ik snap het verschil tussen crawlen en indexing. Echter speelt bij de waarde van links de relevantie ook een grote rol. Een noindex zou dus alsnog geïndexeerd moeten worden, ook al staat deze in een robots.txt. In het geval van een meta noindex zou dit nog te begrijpen zijn, maar of het zinvol is een pagina te indexeren die al in een robots.txt wordt uigesloten?

Door: MacSeth

MacSeth — Fri, 28 Nov 2008 10:41:00 +0000

Simplistisch gezegd heb je bij het crawlen met 2 zaken te maken: eerst worden de links gevolgd en in een “lijst” gezet die daarna door een 2de crawler worden bezocht om de inhoud ervan te indexeren in de “zichtbare” index.

Je hebt dus 2 typen “lijstjes”: index 1 zie je niet, index 2 is de zichtbare weergave.

Het eerste lijstje kan dan wellicht wel informatie als PR doorgeven (ook al zijn die niet zichtbaar in de 2de lijst).

Door: Eduard Blacquière

Eduard Blacquière — Fri, 28 Nov 2008 10:20:00 +0000

Thanks voor je reactie, Sint. Je beschrijft inderdaad duidelijk de verschillen tussen Indexing en Crawling.

Ik verwijs jullie ook graag naar de al lopende discussie, waar interessante reacties en links te vinden zijn:

http://eduardblacquiere.com/non-indexed-page-pass-pagerank/

Door: ssmeding

ssmeding — Fri, 28 Nov 2008 09:04:00 +0000

Mede na het lezen van de commentaren op de Engelse versie van dit artikel op je eigen blog, zijn denk ik de definities van de termen ‘crawling’ en ‘indexing’ zowel de aanleiding als het antwoord op deze vraag.

Door een meta-tag met ‘noindex’ toe te voegen aan een pagina vertel je zoekmachines dat ze deze niet mogen verwerken in hun index, de database met pagina’s waaruit wordt geput om zoekresultaten samen te stellen. Om deze meta-robots-tag tegen te komen, moet de pagina eerst wel gecrawld worden, waarbij Google dus ook weet welke links er op de pagina staat.

Als pagina’s die niet in de index van Google staan toch PageRank doorgeven aan links die op die pagina staan, geldt het volgende:

Crawling:
Het opvragen van pagina’s en volgen van links op pagina’s, inclusief het berekenen van PageRank voor pagina’s o.b.v. aangetroffen links.

Indexing:
Het verwerken van de door de crawler verzamelde pagina’s door ze toe te voegen aan de index. Hieronder valt niet het berekenen van PageRank.

Heel gek is het dan niet dat pagina’s die niet in de index staan toch PageRank doorgeven. Aangezien het crawlen helemaal gaat over het opvragen van pagina’s en het volgen van links…

Eigenlijk zou je dit moeten testen. Het lijkt me niet onwaarschijnlijk dat andere zoekmachines hier weer anders mee om gaan (sowieso werken deze niet in de letterlijke zin met ‘PageRank’). Wat me trouwens doet denken aan deze post: http://www.mattcutts.com/blog/noindex-test/