3.4 Entropia e informazione, inferenza e apprendimento

Proviamo un nuovo percorso partendo dal lavoro di Shannon e di Jaynes, allontanandoci dalla termodinamica e dalla meccanica statistica.

Partendo dall'entropia come misura del grado di informazione scopriamo che possiamo utilizzare il principio di entropia per muoverci nelle scelte di inferenza statistica, quando si ha informazione incompleta del sistema indagato e si desidera ottenere probabilità a posteriori e dunque una maggiore conoscenza del comportamento possibile del sistema stesso.

Fino a tentare un azzardo: la freccia del tempo la osserviamo anche nell'apprendimento automatico? Verrebbe da chiamarla freccia della conoscenza... Ma non corriamo troppo, la ricerca continua.