Entropie (nach dem Kunstwort ἐντροπία) ist in der Informationstheorie ein Maß für den mittleren Informationsgehalt einer Nachricht. Der Begriff ist eng verwandt mit der Entropie in der Thermodynamik und Statistischen Mechanik.
Das informationstheoretische Verständnis des Begriffes Entropie geht auf Claude E. Shannon zurück und existiert seit etwa 1948. In diesem Jahr veröffentlichte ...
