Creato nel 1994 da Martijn Koster , il file robots.txt è ampiamente utilizzato dagli editori web. Tuttavia, non è mai diventato uno standard Internet.

Una bozza del file robots.txt inviata a IETF

Il file robots.txt festeggia il suo 25 ° anniversario. Posto alla radice di un sito Web dal suo creatore, dà indicazioni a “spider”, robot dei motori di ricerca . In breve, è un file di istruzioni, personalizzabile dall’editore di un sito web. 

I file robots.txt sono ampiamente diffusi sul Web, ma non sono mai diventati uno standard Internet . Soprattutto perché i diversi robot non li interpretano allo stesso modo . Ma anche perché non affrontano i problemi moderni del web . 

Quindi, Googlevuole standardizzare il file robots.txt , in modo che tutti i robot crawler interpretano allo stesso modo. Per questo, e in collaborazione con l’autore originale del protocollo del 1994, webmaster e altri motori di ricerca , Google ha documentato il funzionamento del REP con il web moderno . E, naturalmente, la domanda è stata presentata all’IETF . 

”  La bozza EPR proposta riflette oltre 20 anni di esperienza con le regole di robot.txt nel mondo reale, utilizzate sia da Googlebot che da altri principali robot, nonché da circa mezzo miliardo di siti. Web che si fidano di REP. […] Non cambia le regole create nel 1994, ma definisce tutti gli scenari per l’analisi e l’adattamento di robots.txt e li estende al web moderno  “.

La standardizzazione di robots.txt è quindi in fase di sviluppo. Per fare questo, Google è circondato dagli sviluppatori web per raccogliere i loro commenti. 

Lascia una recensione

Please Login to comment
avatar
  Subscribe  
Notificami