Del mare di informazioni che si trovano in Internet se ne catalogano solo una piccola parte. Un motore di ricerca come Google di questo mare riesce a sfiorare appena la superficie, secondo alcuni esperti riuscirebbe a schedare l’1% delle informazioni, secondo altri almeno il 20%.
Quello di censire il web e quindi l’accesso alle informazioni è un vecchio problema. I dati presenti in rete sarebbero circa 91mila terabytes contro i 167 milaterabyte rilevati dai motori di ricerca. I motori di ricerca restituiscono agli utenti solo una parte del web a causa dello sviluppo di database dinamici che prevedono password e livelli multipli di accesso, a causa di contenuti video o audio che sono depositati in rete senza essere segnalati da un link, a causa di contenuti video e audio non classificati. Spesso i dati sfuggono in quanto i motori tradizionali si servono di spider programmi che percorrono la rete e catalogano i contenuti.
Se gli utenti depositano dei dati senza creare hyperlink questi si collocano in una zona grigia non visitata dai ragni.
Sono in fase di realizzazione alcuni progetti come Kosmix e DeepPeep che costituiranno uno strumento più affilato per le ricerche nel web. Dovrebbero andare la dove il motore di ricerca tradizionale non arriva e trovare i dati in base ad algoritmi umani, ovvero rintracciare le informazioni elaborando delle vere e proprie domande dell’utente.
