Vores crawler

purepure henter frit tilgængelige sider til søgeindekset på purepure.app. Vi henter kun fra websteder, vi har optaget i indekset, og vi respekterer robots.txt og noindex.

Sådan kender du os

User-Agent: Pure. Indtil september 2026 hed crawleren PUREBot, og regler i robots.txt for PUREBot gælder stadig.

User-Agent alene beviser ikke, at en forespørgsel kommer fra os. Sammenlign afsenderens IP-adresse med vores offentliggjorte IP-liste. Nogle adresser har desuden Forward-Confirmed Reverse DNS: et reverse DNS-opslag giver et navn under *.w.purepure.app (for eksempel 01.w.purepure.app), og det navn peger tilbage på samme IP-adresse. Brug IP-listen, hvor den kontrol ikke er sat op endnu.

Frivillige computere

Nogle sider henter vi gennem computere, som frivillige stiller til rådighed via PURE Donor. De forespørgsler har User-Agent Pure-Community og kommer fra de frivilliges egne adresser, som ikke står på IP-listen. De følger robots.txt og vores tempo på samme måde; regler for Pure, PUREBot og Pure-Community gælder for alle vores forespørgsler. Myndigheders, kommuners og offentlige institutioners sider henter vi aldrig gennem frivillige. Vil du ikke have dem, så skriv User-agent: Pure-Community og Disallow: / i robots.txt.

Hvad vi henter

• HTML-sider og PDF-filer, som alle kan læse, på optagne websteder, først og fremmest danske.
• Sider, der kun viser deres indhold med JavaScript, henter vi med en almindelig browser. De samme regler gælder.
• Ikke sider, robots.txt forbyder, sider med noindex (meta robots eller X-Robots-Tag), sider bag login eller svar over 2 MB.

Vi bruger siderne til søgeindekset: teksten, uddrag under resultaterne og beskrivelser af, hvem der står bag. Vi sælger ikke data, og vi bruger ikke siderne til at træne sprogmodeller.

Tempo

Vi tilpasser tempoet efter, hvor hurtigt din server svarer. Et Crawl-delay i robots.txt overholdes altid. Myndigheder, kommuner og offentlige institutioner får én forespørgsel ad gangen og mindst 3 sekunder imellem. Svarer din server 429 eller 503, holder vi pause og respekterer Retry-After.

Sådan siger du nej

Tilføj dette i robots.txt:

User-agent: Pure
Disallow: /

Du kan også sætte noindex på enkelte sider. Begge dele stopper os, og vi bruger aldrig andre adresser eller betalte tjenester til at komme uden om et forbud.

Kontakt

Spørgsmål eller ønske om fjernelse: åbn et issue på github.com/aistripes/pure med adressen og en kort begrundelse.