Posted By: Lumo (http://www.motl.org/) on 'CZscience' Title: Informace a entropie Date: Wed Nov 26 00:33:47 1997 Ahoj lidi! Literatury o statistice apod. je hodne, ale pokusim se byt uceleny a sobestacny. Pokud mate v pocitaci pamet N bitu, celkove tyto bity mohou nabyvat 2^N (cti dve na entou) hodnot. Pocet bitu se tedy da psat jako logaritmus poctu moznosti o zakladu dva. Fyzici vetsinou nepouzivaji dvojkovy logaritmus, ale prirozeny logaritmus (o zakladu e=2.71828...), ktery je jednoduse 1/ln(2) krat mensi nez logaritmus o zakladu dva. Co je to informace? Predpokladejme napriklad, ze v narode je polovina zen a polovina muzu a mezi volici CSSD je 10% lidi s vlastni inteligenci. Mezi volici SPR-RSC je 1% lidi, kteri maji vlastni sekundarni mozkovou cinnost (prosim vas, nepranyrujte me za chyby na tretim desetinnem cisle, je to jen priklad). Volicu CSSD budiz 30%. Nyni nam nekdo rekne o nezname osobe, ze je to zena. Diky tomu, ze zen a muzu je stejne, dostali jste informaci o hodnote jednoho bitu. Dale se dozvite, ze voli CSSD, coz je prece jenom jeste trochu presnejsi a hodnotnejsi informace, protoze volicu CSSD je mene nez 1/2. Pak se dozvite, ze ta zena ma vlastni sekundarni mozkovou cinnost. To je zjevne mnohem cennejsi informace, protoze je velmi neocekavana. Muzeme vyjadrit v bitech, kolik te informace je? Predstavme si, ze o nejakem muzi, co ma rad Miru Beana Sladka, se dozvime, ze ma vlastni uvazovani. To je samozrejme jeste cennejsi informace nez podobna informace o Zemanove fanynce, protoze odhadovana pravdepodobnost teto udalosti byla jen jedno procento. Muzeme rici, kolikrat je takova informace hodnotnejsi nez ta prvni? Muzeme ji vycislit v bitech? Nekdo by nadhodil, ze tato informace ma cenu jednoho bitu, protoze je formatu ano/ne. Ale ze zkusenosti s pocitaci moc dobre vime, ze pokud zapiseme za sebe bity 1 (vlastni mozek) a 0 (obvykly volic) vsech fanosku dr. Sladka, ziskame soubor, v nemz prevladaji razantne nuly, a pokud na takovy soubor posleme dostatecne rozumny pakovaci program, tak nam ho zpakuje na mnohem mene bitu. Cili informace o tom, zda ma volic SPR-RSC vlastni mozek, ma hodnotu prumerne mensi nez jeden bit! Kdyz se dozvime o dvou volickach CSSD, ze maji mozek, ziskame tim znalost, jejiz pravdepodobnost jsme odhadovali na 0.1 krat 0.1 = 0.01, tj. jedno procento. To je stejna pravdepodobnost, jako kdyz se to dozvime o jednom volici SPR-RSC. To jest informace schovana v tvrzeni o tom, ze volic CSSD ma mozek, je jaksi polovicni proti podobne informaci o SPR-RSC silenci. Vime, ze pravdepodobnosti nezavislych jevu se nasobi. Diky elementarnim vlastnostem logaritmu to znamena, ze logaritmy pravdepodobnosti nezavislych jevu se scitaji. To nas vede k tomu, abychom definovali mnozstvi informace schovane ve vyroku o pravdepodobnosti P (v bitech) jako dvojkovy logaritmus 1/P (neboli -log_2(P)). Informace o nekolika nezavislych jevech je pak proste souctem informaci dilcich jevu. Muzeme se take ptat na stredni hodnotu informace, Necht existuje N variant, jejichz pravdepodobnosti jsou P_i, i=1...N, suma P_i=1. Pak lze jednoduse rici, ze s pravdepodobnosti P_1 padne prvni varianta, tj. s pravdepodobnosti P_1 je informace -log_2(P_1). Podobne s pravdepodobnosti P_2 je hodnota informace rovna -log_2(P_2)... az s pravdepodobnosti P_N je informace -log_2(P_N). Prostym souctem ziskame stredni hodnotu informace jako S = suma_{i=1...N} -P_i.log_2(P_i) bitu, ktera se nazyva entropii (matematicky chapanou). Je to tataz entropie, kterou zname z termodynamiky a statisticke fyziky, kde meri miru neusporadanosti systemu, tj. stredni informaci, kterou se dozvime, kdyz nam nekdo rekne, v jakem mikroskopickem stavu se system nachazi. Ve fyzice obvykle uzivame prirozeny logaritmus (ktery je log_2(e)=1/ln(2) krat vetsi) a jeste nekdy pridame faktor k, tzv. Boltzmannovu konstantu, prepocet mezi energii a teplotou. Lehce muzeme dokazat, ze stredni informace ve dvou nezavislych jevech je stale dana souctem dilcich entropii. Maximalizaci entropie lze ziskat kanonicke rozdeleni ve statisticke fyzice, at uz klasicke nebo kvantove. Tak napriklad, pokud mame N variant, nejvetsi entropie je v pripade, ze pravdepodobnost kazde z variant je stejna a rovna 1/N. Pokud jsou vsechny pravdepodobnosti krome jedne nulove a ta jedna je rovna jedne, je entropie zjevne nula. To jest, pokud vam nekdo oznami vetu, ktera je samozrejma a nema realnou protivariantu, rekl vam nulovou informaci. Vidite, ze vzorce funguji prirozene. ///// Superstring/M-theory is the language in which God wrote the world. /// O __ Your Lumidek. mailto:motl@physics.rutgers.edu, motl@usa.net /// --------------------------------------------------- ///_______/ http://www.kolej.mff.cuni.cz/~lumo/, http://www.motl.org/ Mazte zbytecne casti replikovanych postu. Uzijte hmat CTRL/K pro smazani radky! -------------------------------------------------------------------------------