Den nye tabloiden Morgenbladet bringer i dag et intervju (elektronisk bare for abonnenter) med ledelsen for Nasjonalbibliotekets prosjekt Paradigma, der de med jamne mellomrom lagrer det aller meste av no-domenet. Oppslaget blir ikke mindre interessant når avisa i samme nummer kan bringe nyheten at Det Hvite Huset på nettsidene sine har "forbedra" tittelen til en Bush-tale på den tida han var enda skråsikrere enn i dag på at Irak-krigen var vunnet. I mai i år så det sånn ut, ifølge WaybackMachine, som har tatt vare på det. Mens det i dag ser det sånn ut. Da Wayback ikke har vært innom hvithuset siden 14. mai har jeg tatt en dump av dagens versjon. For det kan jo skje endringer igjen...
Og ser me på robots.txt-fila for whitehouse.gov, http://www.whitehouse.gov/robots.txt ser me at dei hindrar alle søkemotorar (med unntak av whitehouse.gov sin eigen, interne) å indeksera haugevis av sider som har «iraq» i adressene.
Lista over artiklar er openbart generert programmatisk, og dei færraste av sidene eksisterer.
For øvrig hindrar ikkje 'robots.txt' indeksering, *teknisk* sett, men alle skikkelige søkemotorar o.l., respekterer denne fila, inkludert Wayback Machine.
For øvrig er eg langt frå den første som har påpeika dette. Sjå for eksempel http://www.bway.net/~keith/whrobots/
Det kvite hus har òg no endra 'robots.txt', og fjerna linjer der heile katalogar med artiklar vart blokkerte.