Evolutie Flashcards
Shannon informatie
Shannon-informatie is een maat voor de hoeveelheid informatie in een bericht, gebaseerd op de waarschijnlijkheid van de inhoud.
Hoe minder waarschijnlijk een gebeurtenis of bericht is, hoe meer informatie het bevat. Bijvoorbeeld, als je al weet dat het altijd gaat regenen, voegt “het regent morgen” weinig informatie toe. Maar als het zelden regent, bevat datzelfde bericht meer informatie.
Stel dat je een munt gooit: kop of munt hebben elk 50% kans. De entropie is 1 bit, omdat beide uitkomsten even waarschijnlijk zijn.
Bij een dobbelsteenworp met 6 zijden (alle uitkomsten even waarschijnlijk) is de entropie groter, omdat er meer onzekerheid is.
Boltzmann brain
Natuurconstanten