Proprio oggi sto ritoccando alcune cose su questo blog molto semplice e facile da installare. Ho sistemato la sezione head aggiungendo qualche voce, una di queste stabilisce che cosa devono o non devono indicizzare i motori di ricerca e si fa con un file chiamato robots.txt, ma non l’ho messo (per adesso) perché ho scoperto un anno fa che in un sito di un’università tedesca, hanno messo in internet una lista completa delle directory che i webmaster di numerosi siti hanno deciso di non fare indicizzare e quindi di non apparire nelle ricerche di google.

Il file robots.txt se ben compilato, permette un’ottimizzazione dell’indicizzazione escludendo tutte le cartelle di supporto i cui contenuti non permettono all’utente di navigare correttamente nel sito riducendo il traffico sia sul tuo server e per il motore (spider), oltre tutto si ottiene il vantaggio di non dare in pasto agli spammer (che stanno diventando sempre di più una piaga), tramite i motori di ricerca, i link per accedere direttamente ai moduli.

Invece no, quel sito tedesco, in barba alla netiquette, spiffera qualunque cosa tu abbia voluto per varie ragioni celare, ma che non puoi omettere. Rimasi allibito che un sito universitario, preposto a creare figure professionali permetta d’abusare della disponibilità di una presenza sul web per listare che cosa si decide di non far vedere ai motori di ricerca, come oggetto di studio. Nessuno mi leva l’idea che quest’azione sia stata compiuta, più che per studio, con la volontà di dissacrare ciò che custodisci dentro un cassetto.

È un po’ come se uno venisse ad aprire la mia 24ore perché non riesce a vedere cosa c’è dentro! Ma che si faccia i c…i suoi!

P.S.: Ho perso più di un’ora per cercare quel sito universitario, ma senza trovarlo. Mi dovete credere sulla parola.