Co to jest CHAOS?

[Gość: Muzykant]

Nieuporzadkowanie? Chaos to jednak cos znacznie powazniejszego.
Jak zachowa sie miara entropii (S p*lg p) w stosunku do b. skomplikowanej
struktury? Czy b. skomplikowana struktura jest odroznialna od calkwitego
nieuporzadkowania?

Jak to jest, ze np. schemat skomplikowanego urzadzenia elektronicznego jest
kompletnym chaosem dla laika? Czyli skomplikowana i dobrze zorganizowana
struktura moze byc stanem calkowitego nieuporzadkowania dla podmiotu nie
znajacego regul rzadzacych ta struktura?
(A moze wszystko ma sens?! Tylko trzeba do tego dorosnac?)
Jak sie zmienia entropia wszechswiata lokalnie a jak globalnie?
Jak sie to ma do ewolucji?
Albo: stanem przejsciowym pomiedzy gorzej i lepiej zorganizowana struktura moze
byc tymczasowy spadek uporzadkowania (popul. chaos)? (Tak jak np. w "Teorii
dezintegracji pozytywnej" Kazimierza Dabrowskiego, wybitnego polskiego
psychologa i psychiatry.)

Tylko bardzo prosze nie pisac, ze myle tutaj pojecia potoczne ze scislymi
definicjami matematycznymi. To nie przypadek, ze teoria chaosu w latach 70/80
zrobila taka kariere medialna! (Moze ktos pamieta takie efektowne stwierdzenia,
ze machniecie skrzydla motyla w Chinach moze byc przyczyna tornada w USA?
Ostatni filmowy "chaotyczny" watek jaki pamietam byl w "Parku Jurajskim (1)".)
Wlasnie, dlaczego ta "kariera" jakos ostatnio wygasla? Matematycy bardzo
niechetnie patrza na jakiekolwiek praktyczne zastosowania.
Nie chce tu rozmawiac o atraktorach i ukladach niestabilnych.
Otoz mam wrazenie, ze pojecie chaosu dotyka czegos bardziej fundamentalnego i
prawdopodobnie jeszcze nie odkrytego. Ludzie intuicyjnie to wyczuwaja, ze moze
tu chodzic o rzeczy znacznie wazniejsze niz dotychczasowe trywialne
interpretacje.

Bardzo prosze matematykow, fizykow i filozofow (nie koniecznie tych z dyplomem)
o zabranie glosu! Musze przyznac, ze czuje sie zagubiony wobec tych
intrygujacych pojec i podrecznikowa wiedza tylko mnie irytuje!

[Gość: Totalizm]

Gość portalu: Muzykant napisał(a):

> Wlasnie, dlaczego ta "kariera" jakos ostatnio wygasla? Matematycy bardzo
> niechetnie patrza na jakiekolwiek praktyczne zastosowania.
> Nie chce tu rozmawiac o atraktorach i ukladach niestabilnych.
> Otoz mam wrazenie, ze pojecie chaosu dotyka czegos bardziej fundamentalnego i
> prawdopodobnie jeszcze nie odkrytego. Ludzie intuicyjnie to wyczuwaja, ze moze
> tu chodzic o rzeczy znacznie wazniejsze niz dotychczasowe trywialne
> interpretacje.
>
> Bardzo prosze matematykow, fizykow i filozofow (nie koniecznie tych z dyplomem)
>
> o zabranie glosu! Musze przyznac, ze czuje sie zagubiony wobec tych
> intrygujacych pojec i podrecznikowa wiedza tylko mnie irytuje!
>

Witam serdeczenie!
Z gory uprzedzam ze nei jestem naukowcem.
Tez trapily mnei takie same pytania na ktore zadna ksiazka nei jest w stanie
odpowiedziec.
Jednak znalazlem odpowiedz i bardzo chetnie sie z Panem ta wiedza podziele,
poniewaz Wiedza to odpowiedzialnosc.

Moze najpierw od konca.
Jesli dokladnie by Pan przyjzal sie historii swiata latwo zauwazy Pan ze wszelkie
postepowe teorie zblizajace ludzkosc do poznania prawd o wszechswiecie zostaly
zarzucane i szybko wyciszane. Obserwujac nasz swiat latwo widac ze holdujemy
ideom raczej zgubnym i prowadzacym nas ku niechybnej zagladzie, a juz napewno
zagladzie ducha ludzkosci, moze okreslilbym to duchowoscia (moralnosc itd).
Teorie chaosu szybko i sztucznie wyciszono jak wiele innych wlasnie specialnie
poto zeby bron boze nie dopuscic do rozwoju ludzkosci we wlasciwym kierunku.

Jesli chodzi o dalesze Panskie pytania (a jak zakladam to jedynie czubek gory
lodowej) odsylam Pana do monografii naukowych prof.Jana Pajaka. Czlowieka, ktory
rozjasnil wszelkie moje watpliwosci i zapytania.
Kazdy zainteresowany moze zreszta zapoznac sie z monografiami profesora poniewaz
udostepnione sa one na internetowych stronach.
www.totalizm.of.pl/ - potem link prace i monografia 8. Na poczatek polecam
tomy 5 i 6.
Powiem szczerze za na poczatku bylem dosyc sceptycznie nastawiony i do strony i
do pierwszyc kartek tekstu, ale postanowilem dac szanse wyjasnienia swoich teorii
Panu profesorowi i musze przyznac ze przekonal mnie w 100% oraz dal mi odpowiedzi
na wszelkie frapujace mnie pytania.
Polecam goraco, oraz pozostaje chetny do pomocy.
Pozdrawiam
Totalizta

skromniej prosze

[Gość: Muzykant]

Tak, to bardzo ineresujaca i barwna teoria.
Jednak prosilbym rowniez naukowcow o odpowiedzi. Przyznam sie, ze mialem
nadzieje, iz czyjas odpowiedz zainspiruje mnie do pomyslow w realizacji mojego
doktoratu na temat algorytmow genetycznych.

A swoja droga, Szanowny Totalizto, to wytlumacz mi jedna rzecz, ktorej tu nie
rozumiem. Skoro Obcy tak perfidnie wplywaja na losy swiata, to jak toleruja
taka konspiracje jaka jest Wasz ruch? Skoro NSA (National Securiy Agency), za
pomoca m.in. satelitow szpiegowskich podsluchuje rozmowy telefoniczne na calym
swiecie, nic co w calym Internecie nie jest przez nie przeanalizowane, to jak
mozecie zagrozic mistrnemu planowi Obcych, majacych z pewnoscia po tysiackroc
wieksze mozliwosci? Ci Obcy, juz dawno, nie tylko przeczytali od deski do deski
prace prof. Pajaka, ale pewnie juz takze dawno zamienili go jakas posluszna
kopia, albo przynajmniej wszczepili mu chip do glowy.

Tak!

[Gość: Ekspert]

Gość portalu: Muzykant napisał(a):

> Tak, to bardzo ineresujaca i barwna teoria.
> Jednak prosilbym rowniez naukowcow o odpowiedzi.
>Przyznam sie, ze mialem
> nadzieje, iz czyjas odpowiedz zainspiruje mnie do
pomyslow w realizacji >mojego doktoratu na temat
algorytmow genetycznych.

Tak, to szalenie inspirujace - szukac regul rzadzace
kodem zycia.
Mnie tez to pociaga. Wydaje mi sie, ze pojecia
porzadku/nieuporzadkowania/
entropii/struktury w przypadku kodow moga miec nieco inne
znaczenie.

Mianowicie, kod nie ma wartosci samoistnej, potrzeba
czegos, co go zinterpretuje. Mozna latwo skonstruowac kod
zaszyfrowany, ktory
wyglada na zewnatrz na cos kompletnie przypadkowego (w
Twoim rozumieniu
chaotycznego). Stopien tej przypadkowosci bedzie tym
wiekszy im bardziej
zlozone (nieprzypadkowe) jest urzadzenie
kodujace/dekodujace.

Z kolei kod naturalny, bliski swiata rzeczywistego, w
ktorym mamy fizyczna
entropie, bedzie odzwierciedlal w miare wiernie
nieprzypadkowosc kodowanej
struktury. Wtedy dekoder moze byc posty.

Np. w ksiazce w jezyku polskim znajdziesz litery, slowa,
zdania.
Niektore litery wystepuja wyraznie czesciej niz inne.
Wiele slow sie
powtarza. Niektore zdania powtarzaja sie. Mozna
zidentyfikowac pewne charakteryczne kostrukcje itp.
To znaczy - ksiazka jest wysoce niepradopodobna - ma
niska entropie.

Te same reguly stosuja sie do innego jezyka naturalnego -
kodu genetycznego. Niemniej, zanim zobaczymy cala
tkwiaca w genomie informacje - musimy obecnie uzyc
skomplikowanego
i nieprzypadkowego dekodera - aparatury biologicznej do
syntezy bialek.
To BARDZO WAZNY i DOBRY TEMAT - znalezc reguly na jakich
dziala ten biologiczny dekoder. Wtedy znajomosc sekwencji
DNA pozwalalaby okreslic
dokladnie cechy organizmu (modulo warunki embriogenezy).
Jest to jednak zdanie niezwykle ambitne.

Zycze powodzenia i gratuluje ciekawego pomyslu.

[pulbek]

To jest niesamowicie glupi mail...

Nie wspomne juz o tym ze madrzysz sie o algorytmach
genetycznych nie majac pojecia co to. Ale na Thora i
Odyna, moglbys sie dowiedziec co to jest entropia!
"Ksiazka jest malo prawdopodobna czyli ma mala
entropie"... Rety :-(

[Gość: Ekspert]

No, dziekuje za nauczke. Rzeczywiscie, nie jestem
ekspertem ani od
biologii ani od programowania, wiec pobladzilem w
kwestii algorytmow
genetycznych. Coz, na tym forum mieszja sie terminy
fachowe
i popularne, czasem trudno zorientowac sie co ktos
przez to rozumie.

Niemniej, w kwestii entropii oczekuje na wyjasnienia
lub przeprosiny.
Na razie dales, drogi pulbek, wyraz Schadefreude, moze
wykazesz
dlaczego zle rozumiem definicje entropii. Przy okazji -
ktora?

Pozdrawiam

[Gość: thrundui]

> Niemniej, w kwestii entropii oczekuje na wyjasnienia
> lub przeprosiny.

dany jest uklad U, ktorego stan moze przyjmowac wartosci dyskretne n=1,2,3,...,N
z prawdopodobienstwem p1, p2, ..., pN
entropia ukladu dana jest wzorem
EU=suma(i=1 do i=N) pi*log(pi)

ksiazka nie ma entropii bo nie zostala skonstruowana zadna zmienna losowa
jakie jest prawdopobienstwo, ze dana ksiazka znajdzie sie w danym stanie?
a jakie ze w innym?
co to jest wogole inny stan ksiazki?
tego nie da sie zmierzyc
musialbys miec laboratorium z ktorego wyskakura rozne wersje TEJ SAMEJ ksiazki

pojecie entropii jest pojeciem scisle matematycznym czy tez fizyczym
i nie mozna go wykorzystywac, zeby cos tam uzasadnic
a juz zupelnie nie mozna liczyc entropii "skomplikowanych struktur"

[Gość: Ekspert]

Gość portalu: thrundui napisał(a):


> dany jest uklad U, ktorego stan moze przyjmowac
wartosci dyskretne
> n=1,2,3,..., N z prawdopodobienstwem p1, p2, ..., pN
> entropia ukladu dana jest wzorem
> EU=suma(i=1 do i=N) pi*log(pi)
>

Dobra.
Ja uzywam tu pokrewnej definicji entropii jako
logarytmu
prawdopodobienstwa danego stanu. Zgadzacie sie?

> ksiazka nie ma entropii bo nie zostala skonstruowana
zadna zmienna losowa


Bardzo latwo mozna podac miare prawdopodobienstwa na
zbiorze wszelkich mozliwych ciagow znakow o dlugosci
ksiazki, ktora wyrozni zbior ksiazek zrozumialych ze
zbioru tekstow czysto przypadkowych.

1) Dlaczego?
Bo prawdopodobienstwo wylosowania jakiejkolwiek
sensownej ksiazki jako
ciagu znakow jest znikomo male.
Sa wiec przeslanki, ze mozna dobrac naturalna miare.

2) Jak?
To jest najciekawsze - jak to zrobic w sposob
naturalny.
Zdefiniujmy np. przestrzen slow jako podciagow miedzy
znakami pustymi.
Jesli ksiazka ma N znakow roznych od spacji, i alfabet
ma n liter
to wszystkich mozliwych slow mamy
n + n^2 + ... + n^N
To jest nasza przestrzen fazowa slow s_n(z1 ... zn)
(slow o dlugosci n i znakach z1 ... zn)

Teraz: znajdujemy prawdopodobienstwo ze w wylosowanej
ksiazce
(rozumianej jako ciag znakow, z ktorych kazdy losujemy
z rownym prawdopodobienstwem P=1/Na, Na - ilosc liter
alfabetu)
mamy okreslone liczby obsadzen wszystkich mozliwych
komorek
przestrzeni fazowej (slow).

Nastepnie sprawdzamy jakie jest prawdopodobienstwo
(przy okreslonej
powyzej mierze) naszej ksiazki i jakie jest typowe
prawdopodobienstwo
ciagu losowego o tej samej dlugosci.

Znajdujemy, ze nasza ksiazka jest bardzo malo
prawdopodobna
wzgledem typowego tekstu (ma niska entropie = log(P)).

Oczywiscie - bez podania rozsadnej miary
prawdopodobienstwa
nie ma sensu mowic o entropii.



> jakie jest prawdopobienstwo, ze dana ksiazka znajdzie
sie w danym stanie?
> a jakie ze w innym?
> co to jest wogole inny stan ksiazki?
> tego nie da sie zmierzyc


Oczywiscie, ze sie da i co dnia to robisz.
Powyzej podalem raczej prymitywna metode.
Ale, mysle, ze mozna ja ulepszyc.


> musialbys miec laboratorium z ktorego wyskakura rozne
wersje TEJ SAMEJ ksiazki
>

Jesli chcielibysmy trzymac sie Twojej (szkolnej)
definicji,
to rzeczywiscie nalezaloby mowic o zbiorze ksiazek
sensownych
o dlugosci N znakow wybranych sposrod wszystkich ciagow
o tej dlugosci.
Wtedy entropia ukladu ksiazek sensownych bylaby nizsza
niz
entropia uladu wszystkich ciagow.

> pojecie entropii jest pojeciem scisle matematycznym
czy tez fizyczym
> i nie mozna go wykorzystywac, zeby cos tam uzasadnic

Mozna i trzeba, jesli sie wie jak.


> a juz zupelnie nie mozna liczyc entropii
"skomplikowanych struktur"

Nie zgadzam sie. Problem polega na tym jak
inteligentnie
skonstruowac miare prawdopodobienstwa.
W koncu, co odroznia strukture od nieporzadku?

Zachecam do dalszej dyskusji, byle nie na poziomie
Pulpeta.

Pozdrawiam

[Gość: pulbek]

Gość portalu: Ekspert napisał(a):

> Zachecam do dalszej dyskusji, byle nie na poziomie
> Pulpeta.

Zaczne od slow niezapomnianego porucznika Lukasza: "Szwejku, czy wy musicie tak
sie balwanic?"

A teraz do rzeczy, o entropii. Thrundui uprzedzil mnie podajac wlasciwa definicje
entropii (dla skonczonych przestrzeni zdarzen). Ja tylko jeszcze dodam ze
intuicyjnie chodzi o to, ze dla danego rozkladu entropia mowi jak bardzo jest on
podobny do rozkladu jednostajnego.

Ty z uporem twierdzisz ze entropia to jakas wlasnosc poszczegolnego zdarzenia, a
nie rozkladu. To sie nie da obronic, to jest po prostu nieprawda. Gdzies
przeczytales ze sensowna ksiazka ma niska entropie i zapamietales to, ale
niestety pokrecilo ci sie wszystko. Mozna powiedziec ze ksiazka ma niska
entropie, ale tylko dlatego ze sama jedna ksiazke mozna traktowac jako rozklad!
Mozna zliczac wystapienia poszczegolnych liter alfabetu w ksiazce (albo sekwencji
liter o okreslonej dlugosci) i dla jednej ksiazki policzyc rozklad czestosci ich
wystapien. Wtedy okaze sie ze ksiazka ma faktycznie nizsza entropie niz losowy
ciag liter.

Ale nie ma to nic wspolnego z zadnym prawdopodobienstwem wystapienia ksiazki, ani
z zadna przestrzenia ksiazek!

Jeszcze raz: entropia jest funkcja rozkladu, a nie zdarzenia. Tego nie wymyslil
thrundui ani jego nauczyciele tylko Claude Shannon i musialbys byc naprawde
wielkim Ekspertem zeby to zmienic.

Ekspercie, ja naprawde nie watpie ze jestes ekspertem od czegos waznego. Dlaczego
nie mozesz pisac wlasnie o tym czyms? Wtedy w ogole nie bede sie czepial,
obiecuje!


Twoj ciezkostrawny

Pulpet.

[Gość: Ekspert]

Drogi Kolego,

Chcesz sie kurczowo zawezac pojecie entropii - Twoja
sprawa.
Tylko, ze tak sie nieczego nie nauczysz. Dla mnie
entropia to po prostu miara uporzadkowania.

Jakbys znal sie na fizyce, to wiedzialbys, ze entropia
jest wlasnoscia makrostanu, a bez sensu jest ja
przypisywac mikrostanowi.
Otoz ksiazaka w mojej przestrzeni (liczby obsadzen
slow) jest
makrostanem o nizszej od typowej entropii.

Natomiast uwagi w rodzaju, ze cos gdzies przeczytalem i
zapamietalem
bez zrozumienia sa na poziomie Pulpeta. Proba
przegonienia mnie
z tego fascynujacego tematu - takze. Czy naprawde
chcesz, zebysmy
zaczeli dyskutowac na tym poziomie np. o dipolarnej
grawitacji
i teorii kategorii?

Pozdrawiam

[Gość: Pulbek]

> Tylko, ze tak sie nieczego nie nauczysz. Dla mnie
> entropia to po prostu miara uporzadkowania.
>
> Jakbys znal sie na fizyce, to wiedzialbys, ze entropia
> jest wlasnoscia makrostanu, a bez sensu jest ja
> przypisywac mikrostanowi.

Bardzo prosze - uczenie sie to piekna sprawa, nigdy go dosc. Bardzo prosze o
podanie nazwy podrecznika fizyki w ktorym podano taka definicje entropii, ktora
bylaby w zgodzie z twoimi dywagacjami: czyli ze entropia pewnego ukladu to
prawdopodobienstwo (czy tez jego logarytm, nie upieram sie) jego wystapienia w
jakiejs naturalnej przestrzeni probabilistycznej.

Bardzo prosze o podrecznik a nie o ksiazke popularnonaukowa. Moze byc po
angielsku (widze ze nie mieszkasz w Polsce). Sprawdze w bibliotece i jesli masz
racje to z przyjemnoscia cie przeprosze.

> Czy naprawde chcesz, zebysmy zaczeli dyskutowac na tym poziomie np. o
> dipolarnej grawitacji i teorii kategorii?

Naprawde masz szczescie ze nie chcialo ci sie tam o tym dyskutowac. Niedlugo
dowiesz sie dlaczego...


Pulbek.

[Gość: Ekspert]

Gość portalu: Pulbek napisał(a):

> Bardzo prosze - uczenie sie to piekna sprawa, nigdy go
dosc.
> Bardzo prosze o podanie nazwy podrecznika fizyki w
ktorym podano taka >
> definicje entropii, ktora
>
> bylaby w zgodzie z twoimi dywagacjami: czyli ze
entropia pewnego ukladu to
> prawdopodobienstwo (czy tez jego logarytm, nie upieram
sie) jego
>wystapienia w jakiejs naturalnej przestrzeni
probabilistycznej.
>

Poszedlem do bibliteki, niestety jest raczej marna.
Wzialem wiec do reki przypadkowa ksiazke o mechanice
statystycznej:
T. Hill, Statistical mechanics, Mc Graw and Hill Book cos
tam,
New York 1956 (staroc!).

Na stronie 61 jest troche o entropii, m.in. zdanie:
"Entropy depends only on the state of the system", czy
cos takiego.
Nie "on the system " a "on the state".
Nie jest to dokladnie spelnienie Twojego zadania, ale
powinno wystarczyc
na razie. Jak bede mial czas, to poszukam dokladniej.

> Sprawdze w bibliotece i jesli masz
> racje to z przyjemnoscia cie przeprosze.
>
No, moge poczekac, az znajde te nieszczesna definicje,
wylozona kawa na
lawe. To na gorze to oczywiscie niezbyt silny argument.

> > Czy naprawde chcesz, zebysmy zaczeli dyskutowac na
tym poziomie np. o
> > dipolarnej grawitacji i teorii kategorii?
>
> Naprawde masz szczescie ze nie chcialo ci sie tam o tym
dyskutowac.
>Niedlugo dowiesz sie dlaczego...
>

Rozpaliles moja ciekawosc.
Dlaczego?

Pozdrawiam

[Gość: thrundui]

> > dany jest uklad U, ktorego stan moze przyjmowac
> wartosci dyskretne
> > n=1,2,3,..., N z prawdopodobienstwem p1, p2, ..., pN
> > entropia ukladu dana jest wzorem
> > EU=suma(i=1 do i=N) pi*log(pi)
>
> Dobra.
> Ja uzywam tu pokrewnej definicji entropii jako
> logarytmu
> prawdopodobienstwa danego stanu. Zgadzacie sie?

nie
taka definicja jest zupelnie inna od prawdziwej i prowadzi do absurdalnych
wnioskow
w definicji prawdziwej entropia ukladu jest najwieksza, jezeli kazdy mozliwy stan
moze pojawic sie z jednakowym prawdopodobienstwem

ta zas generuje nastepujaca anomalia:
zalozmy, ze jakis uklad moze przyjmowac jeden z 10^9 (10^100, 10!^10! itp) stanow
kazdy z jednakowym prawdopodobienstwem, ale uklad ten ma tylko jedna realizacja
wtedy prawdopodobienstwo zaistnienia tego ukladu jest bardzo male 10^-9 (10^-100
itp), jego entopia jest wiec bardzo niska (jeszcze nizsza itp)
chociaz wzgledem orginalnej definicji za kazdym razem jest taka sama i NAJWIEKSZA!

cala reszta rozwazan jest wiec bledna bo opiera sie na calkowicie zlej definicji
entropii, ktora moze przyjmowac zupelnie rozne wartosci dla podobnego procesu i
ktora dla procesow zupelnie przypadkowych generuje niska entropia.
Proces zupelnie uporzadkowany, ale mogocy przyjmowac znacznie mniejsza ilosc
stanow ma wieksza entropia! Taka miara po prostu nic nie mierzy.

> Bardzo latwo mozna podac miare prawdopodobienstwa na
> zbiorze wszelkich mozliwych ciagow znakow o dlugosci
> ksiazki, ktora wyrozni zbior ksiazek zrozumialych ze
> zbioru tekstow czysto przypadkowych.

nie mozesz podac entopii danej ksiazki. Dana ksiazka moze przyjmowac tylko jeden
stan, ktorego prawdopodobienstwo jest rowne zero, czyli etropia najmniejsza z
mozliwych. Dla kazdej ksiazki!

> 1) Dlaczego?
> Bo prawdopodobienstwo wylosowania jakiejkolwiek
> sensownej ksiazki jako
> ciagu znakow jest znikomo male.
> Sa wiec przeslanki, ze mozna dobrac naturalna miare.

Cytac z pewnej ksiazki w pewnym jezyku (transkrypcja na lacine):
" kbsfcdskui iuhiuhiu jhuhyu nfdehf
efljf pjkoiejf iuhonvcu hjiohu ljnei uhuihf lkhuihuiu
nmjori ohorh opp joiujoi ho pkjoeflo joj hihipl oihih dnuibyeu lmojne nhuy khni
mljiu ubuefk ihi lhji ljofdhgb ihbi ljewhw ojhwn "

jaka jest entropia tego cytatu?
to jest cytac sensowny czy bezsensowny?
Nie mozna zaczynac od definicji ciagu sensownego, a potem cieszyc sie ze jest on
malo prawdopodobny.


> Jesli chcielibysmy trzymac sie Twojej (szkolnej)
> definicji,
> to rzeczywiscie nalezaloby mowic o zbiorze ksiazek
> sensownych
> o dlugosci N znakow wybranych sposrod wszystkich ciagow
> o tej dlugosci.
> Wtedy entropia ukladu ksiazek sensownych bylaby nizsza
> niz
> entropia uladu wszystkich ciagow.

a dlaczego?
jezeli prawdopodobienstwo, ze dana ksiazka ze zbioru sensownych jest x jest takie
samo jak ze jest y, to entropia ukladu ksiazek sensownym jest najwieksza i
wynosi -1/2

jezeli prawdopodobienstwo, ze dana ksiazka ze zbioru bezsensownych jest x jest
takie samo jak ze jest y, to entropia ukladu ksiazek bezsensownym jest najwieksza
i wynosi -1/2

Czyli takie same

[Gość: Ekspert]

Nie rozumiesz thurundui, albo nie chcesz zrozumiec.
Wszystkie mikrostany sa rownoprawdopodobne ale
makrostany juz maja rozne entropie.

Przyklad szkolny:
naczynie z podzielona na 2 rowne czesci, jedna czesc
wypelnia gaz.
To pewien stan ukladu o okreslonej entropii.
Po chwili gaz wypelni cale naczynie - entropia
wzrosnie.

Ten sam uklad w 2 roznych makrostanach o roznej
entropii.

Jejku, czemu ja trace czas ?
Pozdrawiam

[Gość: Ekspert]

Gość portalu: Muzykant napisał(a):

> Nieuporzadkowanie?

Nie. Chaos ma scisla matematyczna definicje - wrazliwosci
na warunki
poczatkowe. Nieuporzadkowanie to inny termin, choc
potocznie
oznacza to samo.

> Chaos to jednak cos znacznie powazniejszego.
Nie rozumiem.

> Jak zachowa sie miara entropii (S p*lg p) w stosunku do
b. skomplikowanej
> struktury? Czy b. skomplikowana struktura jest
odroznialna od calkwitego
> nieuporzadkowania?

Tak, ma bardzo niska entropie.


>
> Jak to jest, ze np. schemat skomplikowanego urzadzenia
elektronicznego
> jest kompletnym chaosem dla laika?

Nie, widac od razu, ze jest to struktura.

>Czyli skomplikowana i dobrze zorganizowana
> struktura moze byc stanem calkowitego nieuporzadkowania
dla podmiotu
> nie znajacego regul rzadzacych ta struktura?

Wydaje mi sie, ze mieszasz 2 rzeczy. To, ze istnieje
regularnosc, to
latwo zauwazyc. Trudniej natomiast znalezc reguly dla tej
regularnosci.
Dam 2 przyklady:
1. ruch planet i gwiazd przed Kopernikiem. Wszyscy
widzieli strukture, ale
nie znano prostych regul, ktore ja generowaly.
2. kot ogladajacy telewizje. zupelnie nie zna regul, ale
widzistrukture, dlatego
oglada

> (A moze wszystko ma sens?! Tylko trzeba do tego
dorosnac?)

No, to glowny aksjomat nauk wszelakich - poszukiwanie
wyzszego porzadku

> Jak sie zmienia entropia wszechswiata lokalnie a jak
globalnie?

Entropia globalna nigdy nie maleje. Wiecej: entropia
Wrzechswiata rosnie.
Jednak, w sytuacji ukladow dysspatywnych
(z energia rozpraszana z jakiegos zrodla ) moga
powstawac poduklady
otwarte, w ktorych entropia maleje kosztem otaczajacego
swiata (zycie np.).

> Jak sie to ma do ewolucji?

Ewolucja to tworzenie coraz wydajniejszych podukladow
dyssypatywnych.

> Albo: stanem przejsciowym pomiedzy gorzej i lepiej
zorganizowana
>struktura moze byc tymczasowy spadek uporzadkowania
(popul. chaos)?

To pytanie bardziej szczegolowe - dotyczace konkurencji
mieszy roznymi
systemami dyssypatywnymi, albo reakcji systemow
dyssypatywnych na
spadek dostepnego strumienia energii.




> Wlasnie, dlaczego ta "kariera" jakos ostatnio wygasla?
Kariera medialna tak, ale nie naukowa.
Teoria chaosu rozwijana jest b. intensywnie, ale stracila
posmak nowosci.


> Matematycy bardzo
> niechetnie patrza na jakiekolwiek praktyczne
zastosowania.

Moze matematycy tak, ale fizycy nie. Tylko ze nielatwo
zastosowac
teorie chaosu. Dlaczego? Bo ona rozstrzyga przede
wszystkim, czy dany
uklad jest przewidywalny czy nie.

> Nie chce tu rozmawiac o atraktorach i ukladach
niestabilnych.
> Otoz mam wrazenie, ze pojecie chaosu dotyka czegos
bardziej
>fundamentalnego i prawdopodobnie jeszcze nie odkrytego.

moze

> Ludzie intuicyjnie to wyczuwaja, ze moze
> tu chodzic o rzeczy znacznie wazniejsze niz
dotychczasowe trywialne
> interpretacje.
>


uffff.... Trywialne...
Co za megalomania!



> Musze przyznac, ze czuje sie zagubiony wobec tych
> intrygujacych pojec i podrecznikowa wiedza tylko mnie
irytuje!
>

Chetnie podyskutuje wiecej.
Czy czytales "Z chaosu ku porzadkowi" Prigogine'a?
Wydane w serii +_ nieskonczonosc.
Pozdr

[sapiezanka]

Witam! Witam!

Gość portalu: Ekspert napisał(a):

>
> Wydaje mi sie, ze mieszasz 2 rzeczy. To, ze istnieje
> regularnosc, to
> latwo zauwazyc. Trudniej natomiast znalezc reguly dla tej
> regularnosci.
> Dam 2 przyklady:
> 1. ruch planet i gwiazd przed Kopernikiem. Wszyscy
> widzieli strukture, ale
> nie znano prostych regul, ktore ja generowaly.
> 2. kot ogladajacy telewizje. zupelnie nie zna regul, ale
> widzistrukture, dlatego
> oglada
No, fajnie, ale co z naukowcem,
ktory wszedzie :na biurku i wokol ma mnostwo notatek
i kartek i karteluszek. Przyjdzie sprzataczka albo zona,
zlapie sie za glowe zaszokowana balaganem i zrobi porzadek
. Naukowiec wroci i od razu dostrzeze strukture!!! Tylko,
ze teraz juz w niczym sie nie polapie, a prace, ktora trwala
z miesiac bedzie musial zaczac od nowa... Bo sprzataczka
albo zona nie znala prostych regul, ktore ow nieporzadek
wygenerrowaly. :)))

Pozdrawiam serdecznie
Sap.

Nareszcie ktos zawital!

[Gość: Muzykant]

Milo mi, ze nareszcie Ktos zauwazyl ten watek!
Z gory przepraszam, jesli ktos poczuje sie urazony moja niekompetencja lub
niedostatecznie scislym pojmowaniem omawianych tu terminow. Jednak raczej
oczekiwalbym z Waszej strony podzielenia sie posiadana wiedza niz roscilbym
pretensje do epatowania swoja (nawet gdyby to bylo mozliwe)!
(Nie chce czuc sie jak na egzaminie, pragnalbym natomiast bezpretensjonalnej,
chociaz w miare mozliwosci zdyscyplinowanej, rozmowy z osobami zyczliwie
nastawionymi do glupszych od siebie. ...Takze z osobami, ktore potrafia i chca,
chocby na chwile, zapomniec o ocenie swojego/czyjegos geniuszu i skoncetrowac sie
na dazeniu do poznania i/lub przekazania prawdy jaka znaja lub poznac czasem
moga.)
Mosci Panowie i Panie, rozhermetyzujmy nieco dziedziny naszego odosobnienia!

Gość portalu: Ekspert napisał(a):
> Nie. Chaos ma scisla matematyczna definicje - wrazliwosci
> na warunki poczatkowe.

...cos tam sobie przypominam o trajektoriach/atraktorach odpychajacych...
Czy chaos to stan ukladu z dodatnim sprzezeniem zwrotnym, czyli ukladu
niestabilnego?
Jak sie chaos ma do pojecia "katastrofy"?

> Nieuporzadkowanie to inny termin, choc
> potocznie oznacza to samo.
Entropia jest miara uporzadkowania?

> > Chaos to jednak cos znacznie powazniejszego.
> Nie rozumiem.
Czy nie uwaza Pan, ze moze byc zwiazek z tzw. Prawem Benforda (o logarytmicznym
rozkladzie liczb opisujacych rzeczywistosc)?

> Wydaje mi sie, ze mieszasz 2 rzeczy.
> To, ze istnieje regularnosc, to latwo zauwazyc.
> Dam 2 przyklady:
> 1. ruch planet i gwiazd przed Kopernikiem.
> 2. kot ogladajacy telewizje.

A np. czy widzi ktos regularnosci w kodzie maszynowym programu komputerowego
(w "krzaczkach"), albo w zawartosci plikow ze skompresowana informacja (*.arj,
*.zip, *.rar)? Bo ja nie!
Wprawdzie byla juz tu o tym mowa (stopien skomplikowania kodu odwr. prop. do st.
sk. dekodera). Ale moze chodzi tu o cos wiecej?

> > (A moze wszystko ma sens?! Tylko trzeba do tego dorosnac?)
> No, to glowny aksjomat nauk wszelakich
> - poszukiwanie wyzszego porzadku

Zastanawiam sie jak okreslanie entropii ukladow ze swiata rzeczywistego zalezy od
procesu nazywania tego co widzimy, dobierania miary prawdopodobienstwa, itp.
Odwolajmy sie do pogladow Kanta na rzeczywistosc: czlowiek w swoim skonczonym
umysle buduje skonczony model nieskonczonego wszechswiata.
Czy poczatkowa interpretacja nie wplywa w sposob dramatyczny na koncowe wnioski?

> > Jak sie zmienia entropia wszechswiata lokalnie a jak
> globalnie?
>
> Entropia globalna nigdy nie maleje.
> Wiecej: entropia Wszechswiata rosnie.

Czy jest to ABSOLUTNIE PEWNE?

> Ewolucja to tworzenie coraz wydajniejszych podukladow
> dyssypatywnych.

Mozna wyobrazic sobie zycie na Ziemii jako gigantyczny system obliczeniowy,
ktorego mizerna namiastka sa tzw. algorytmy genetyczne?
Jesli tak, to dlaczego ewolucja Zycia na Ziemii zdaje sie eksponencjalnie
przyspieszac, podczas gdy najwieksza plaga algor. genet. jest ich nasycanie sie
czyli ekponencjalne zwalnianie (postep jest coraz mniejszy) az do calkowitej
stagnacji?
Ktos powie zaraz, ze problem jest "sprzetowy" ("harware'owy"): w algorytmach g.
jest (najczesciej) jeden i ten sam procesor, podczas gdy Zycie na Ziemii
ma "sprzet" rozproszony i samopowielajacy/samodoskonalacy sie.
To prawda, ale w teorii alg. gen. juz od dawna poszukuje sie rozwiazan dot.
konstrukcji samego alg., aby przeciwdzialac nasycaniu sie; glownie przeciwdziala
sie zdominowaniu populacji przez potomkow najlepszego osobnika.

Czy ten gigantyczny system obliczeniowy nie probuje dostosowac sie do jakiejs
(rowniez gigantycznej) struktury? Czy owa struktura jest dynamiczna i czy jej
entropia wzrasta czy maleje (nie wiadomo czy ja traktowac jako lokalna czy
globalna)?

> uffff.... Trywialne...
> Co za megalomania!

Przepraszam za bezmyslnosc!

> Czy czytales "Z chaosu ku porzadkowi" Prigogine'a?

Nie. Czytalem tylko, na studiach, podreczniki prof. Jacka Kudrewicza z
Politechniki Warszawskiej i chyba musze do tej lektury powrocic, zeby dorownac
Panow poziomowi!

Pozdrowienia.
Janek Muzykant
[e-mail]

[Gość: kpsting]

> Wprawdzie byla juz tu o tym mowa (stopien skomplikowania kodu odwr. prop. do st
> .
> sk. dekodera).
Czyli im bardziej skomplikowany kod tym mniej skomplikowany dekoder jest
wystarczjacy do jego zlamania? Co jest miara skomplikowania kodu?

> Zastanawiam sie jak okreslanie entropii ukladow ze swiata rzeczywistego zalezy
> od
> procesu nazywania tego co widzimy
Pardon me??? :)

> Odwolajmy sie do pogladow Kanta na rzeczywistosc: czlowiek w swoim skonczonym
> umysle buduje skonczony model nieskonczonego wszechswiata.
> Czy poczatkowa interpretacja nie wplywa w sposob dramatyczny na koncowe wnioski
> ?
Bardzo mozliwe ze wplywa. Ale dlaczego Kant twierdzil, ze umysl ludzki jest
skonczony? Pewnie dlatego ze mozg ludzki jest taki maly a wszechswiat taki duzy.

> > > Jak sie zmienia entropia wszechswiata lokalnie a jak
> > globalnie?
> >
> > Entropia globalna nigdy nie maleje.
> > Wiecej: entropia Wszechswiata rosnie.
>
> Czy jest to ABSOLUTNIE PEWNE?
Czy entropia moze ulegac zmianie w izolowanym ukladzie?

> Mozna wyobrazic sobie zycie na Ziemii jako gigantyczny system obliczeniowy,
> ktorego mizerna namiastka sa tzw. algorytmy genetyczne?
> Jesli tak, to dlaczego ewolucja Zycia na Ziemii zdaje sie eksponencjalnie
> przyspieszac,
Zdaje sie to chyba wlasciwe okreslenie. Ewolucja organizmow jednokomorkowych
(tylko takie istnialy na poczatku) jest znacznie szybsza niz wielokomorkowych,
mozna ja obecnie symulowac w laboratorium. Czesciowo jest to przyczyna ich
krotkiego cyklu podzialowego, w odpowiednich warunkach dla bakterii E.coli wynosi
ok. 20 min

> podczas gdy najwieksza plaga algor. genet. jest ich nasycanie sie
> czyli ekponencjalne zwalnianie (postep jest coraz mniejszy) az do calkowitej
> stagnacji?
> Ktos powie zaraz, ze problem jest "sprzetowy" ("harware'owy"): w algorytmach g.
>
> jest (najczesciej) jeden i ten sam procesor, podczas gdy Zycie na Ziemii
> ma "sprzet" rozproszony i samopowielajacy/samodoskonalacy sie.
Tutaj moim zdaniem granica miedzy "softwarem" a "hardwarem" jest bardzo, baardzoo
cienka.

> To prawda, ale w teorii alg. gen. juz od dawna poszukuje sie rozwiazan dot.
> konstrukcji samego alg., aby przeciwdzialac nasycaniu sie; glownie przeciwdzial
> a
> sie zdominowaniu populacji przez potomkow najlepszego osobnika.
Nasycanie sie kodu (DNA?). Jakie sa granice jego mozliwosci? Czyzby te granice
zostaly juz osiagniete w postaci Homo Sapiens? Wdaje sie niemozliwe

> Czy ten gigantyczny system obliczeniowy nie probuje dostosowac sie do jakiejs
> (rowniez gigantycznej) struktury? Czy owa struktura jest dynamiczna i czy jej
> entropia wzrasta czy maleje (nie wiadomo czy ja traktowac jako lokalna czy
> globalna)?
Nie moge ogarnac tej idei, czy mozesz rozjasnic?

A propo systemu obliczeniowego, czytalem gdzies (Science mag.), ze naturalny
uklad genetyczny (np. kultura bakterii w probowce) moze byc teoretycznie
wykorzystany jako komputer do skomplikowanych obliczen i ze mozliwosci
obliczeniowe znacznie przekraczaja mozliwosci dzisiejszych procesorow. Chyba ma
to cos wspolnego z kodem DNA

Pozdrowienia.
...kpsting out...

twierdzenie Goedla i madrosc bakterii

[jnkmzknt]

Gość portalu: kpsting napisał(a):
> Czyli im bardziej skomplikowany kod tym mniej skomplikowany dekoder jest
> wystarczjacy do jego zlamania? Co jest miara skomplikowania kodu?

Wlasnie nie wiem. Stad moje poczatkowe pytanie: czy miara entropii jest wzgledna,
bo zalezy od okreslenia ukladu, ktorego zlozonosc chcemy mierzyc? Tak np. musimy
przeciez najpierw okreslic miare prawdopodobienstwa. Mam wrazenie, ze istnieje tu
pewna dowolnosc, co jakby potwierdzalo filozofie Kanta: ludzki umysl nie moze
poznac rzeczywistosci, ktorej sam jest jedynie czescia, moze jedynie zbudowac jej
ograniczony model, a kazdy czlowiek buduje inny model - wedlug swoich
indywidualnych doswiadczen.

> > Zastanawiam sie jak okreslanie entropii ukladow ze swiata
>>rzeczywistego zalezy od procesu nazywania tego co widzimy
> Pardon me???

j/w
Nazywanie to domena matematyki (czyz nie jest jezykiem?). Od nazwania rzeczy
zaczyna sie jej byt w naszych umyslach, i to w kazdym umysle na swoj indywidualny
sposob.

> Ale dlaczego Kant twierdzil, ze umysl ludzki jest skonczony?
> Pewnie dlatego ze mozg ludzki jest taki maly a wszechswiat taki duzy.

To skrot myslowy. Nie sposob przyblizyc tej frapujacej filozofii w jednym
akapicie. Uznanlem, ze entuzjasci beda wiedziec.
Pozatym, czyz skoro umysl jest tylko czescia rzeczywistosci to jak ma pomiescic
to czego jest czescia?
To przeczy twierdzeniu Goedla (Kurt Goedel, austriacki logik, w latach 30 oglosil
twierdzenie o niesamowystrczalnosci systemow formalnych

[Gość: Pulbek]

jnkmzknt napisał(a):

> Pozatym, czyz skoro umysl jest tylko czescia
> rzeczywistosci to jak ma pomiescic to czego jest
> czescia? To przeczy twierdzeniu Goedla (Kurt Goedel,
> austriacki logik, w latach 30 oglosil twierdzenie o
> niesamowystrczalnosci systemow formalnych

[jnkmzknt]

Gosc portalu: Pulbek napisal(a):

> Wycieranie sobie pyska Goedlem to jeden z
> nastraszniejszych przykladow szarlatanerii naukowej.

Oj przepraszam! Bylem nieswiadom naduzycia, ktore czynie. Przeciez poszedlem
sladem profesora Uniwersytetu w TelAvivie (napisze pozniej dokladnie kto, co i
jak) publikujacego swe wynurzenia w jakims brukowcu.
"Biological Cybernatics", co to jest? Ze tez dalem sie zwiesc!

> Prawie zadne tzw. "zastosowanie" tw. Goedla do nauk
> przyrodniczych nie ma najmniejszego sensu.

Nie jestem matematykiem i wierze Ci na slowo. Mam nadzieje, ze nie pozaluje!
Ale i tak sprobuje dobrac sie do dowodu tego twierdzenia. Ostatnio gdy chcialem,
jeszcze na studiach, to nie chcieli mi w bibliotece wypozyczyc jedynego
egzemplarza, bo bylem z innej uczelni...

> Tymczasem ono jest znacznie bardziej
> techniczne i ograniczone niz to sie ludziom wydaje, a juz
> doprawdy zadnych konsekwencji biologicznych na pewno nie
> ma.

A wlasciwie to czy ma jakiekolwiek znaczenie dla innych nauk scislych (bo o
humanistycznych to boje sie juz nawet pomyslec)?
Np. dla fizyki, nauk technicznych? Powiedz, to moze byc ciekawe. I unikniemy na
przyszlosc nieporozumien.

> Masz jakies namiary na ten artykul? Posmialibysmy sie z
> kolegami...

Tytul i czasopismo, ktore tu podalem sa wiernie przytoczone. Reszte napisze jak
znajde odbitke xero...

Z powazaniem
Janek Muzykant

[Gość: Pulbek]

jnkmzknt napisał(a):

> Oj przepraszam! Bylem nieswiadom naduzycia, ktore czynie. Przeciez poszedlem
> sladem profesora Uniwersytetu w TelAvivie (napisze pozniej dokladnie kto, co i
> jak) publikujacego swe wynurzenia w jakims brukowcu.
> "Biological Cybernatics", co to jest? Ze tez dalem sie zwiesc!

Wlasnie dlatego fajnie by bylo gdyby udalo ci sie znalezc dokladniejsze namiary
na ten artykul... Bredzacy w powaznym(?) czasopismie profesor to niezly kasek!

> Nie jestem matematykiem i wierze Ci na slowo. Mam nadzieje, ze nie pozaluje!
> Ale i tak sprobuje dobrac sie do dowodu tego twierdzenia. Ostatnio gdy chcialem
> jeszcze na studiach, to nie chcieli mi w bibliotece wypozyczyc jedynego
> egzemplarza, bo bylem z innej uczelni...

Gratuluje odwagi. Ten dowod jest naprawde paskudny, w prawie wszystkich ksiazkach
pomija sie 90% technikaliow a i tak trudno go zrozumiec. Nie wiem do jakiej
biblioteki masz dostep, ale jest taka ksiazka: D. Kozen, "Automata and
Computability", wyd. Springer-Verlag 1997 r. Tam jest dowod tw. Goedla stosunkowo
prosty, oparty na maszynach Turinga. Jezeli mozesz ja zlapac to polecam.

> A wlasciwie to czy ma jakiekolwiek znaczenie dla innych nauk scislych (bo o
> humanistycznych to boje sie juz nawet pomyslec)?
> Np. dla fizyki, nauk technicznych? Powiedz, to moze byc ciekawe. I unikniemy na
> przyszlosc nieporozumien.

No dobra, sprobuje. Oczywiscie mowiac ze cos sie "nie da" zawsze ryzykuje sie
taka wpadke jak ten brytyjski Astronom Krolewski, ktory dwa lata przed bracmi
Wright twierdzil ze maszyna ciezsza od powietrza nigdy nie bedzie latac. Ale
jednaj pare rzeczy mozna powiedziec "na pewniaka":

- w naukach humanistycznych np. etnologii, historii, lingwistyce: calkowicie bez
szans. To samo w naukach spolecznych: socjologii, ekonomii. W biologii, chemii,
biologii molekularnej, genetyce: wszystko oszustwo. Kiep jestem, jak mawial pan
Zagloba, jesli tw. Goedla bedzie tu kiedyz zastosowane.
- w filozofii: zapewne tak. Nie znam sie na filozofii, ale chyba obserwacja ze
matematyka nie tylko nie potrafi opisac wszystkiego ale ma klopot nawet z sama
soba jest dla filozofow interesujaca.
- w fizyce: nie potrafie sobie wyobrazic zadnego zastosowania, ale z drugiej
strony fizycy uzywaja czasem takich dziwnych rzeczy... Kto ich tam wie...
- w inzynierii: wydaje mi sie niemozliwe. Niby w inzynierii teoretycznie mozna
zastosowac wszystko to co w fizyce (np. kwanty), ale tw. Goedla to wynik
negatywny, mowiacy ze cos sie nie da zrobic. Czy to moze zainteresowac
inzynierow? Watpie.

Pozdrawiam,

Pulbek.

ze tez musze kablowac...

[jnkmzknt]

Gość portalu: Pulbek napisał(a):
> Wlasnie dlatego fajnie by bylo gdyby udalo ci sie znalezc dokladniejsze namiary

W koncu, od czego sa wyszukiwarki?
star.tau.ac.il/~inon/wisdom1/preprint.html

> - w fizyce: nie potrafie sobie wyobrazic zadnego zastosowania, ale z drugiej
> strony fizycy uzywaja czasem takich dziwnych rzeczy... Kto ich tam wie...
> - w inzynierii: wydaje mi sie niemozliwe.

A w informatyce, w tworzeniu nowych algorytmow?
Najchetniej do algorytmow genetycznych!
Ale tez do np. Sieci Neuronowych, logiki rozmytej (fuzzy)?
O wlasnie, szczegolnie to ostatnie. Podobno stworzono ja bo zwykla logika nie
wystarczala. Na pierwszy rzut oka te sprawy maja cos wspolnego.

Co o tym sadzisz? Czy moglbys tak klarownie, jak to zrobiles z Entropia,
przedstawic istote Twierdzenia Goedla?

Z powazaniem
Janek Muzykant

[Gość: Pulbek]

jnkmzknt napisał(a):

> W koncu, od czego sa wyszukiwarki?
> <a href="http://star.tau.ac.il/~inon/wisdom1/preprint.html">star.tau.ac.il/~ino
> n/wisdom1/preprint.html</a>

Dzieki! Zwroc uwage ze jedyne wnoszace cos istotnego zdanie w sekcji o tw. Goedla
odwoluje sie do "lematu" z pracy o numerze [60], ktora - pech! - nigdy nie
zostala opublikowana! Co za przebieglosc... :-))


> A w informatyce, w tworzeniu nowych algorytmow?
> Najchetniej do algorytmow genetycznych!
> Ale tez do np. Sieci Neuronowych, logiki rozmytej (fuzzy)?
> O wlasnie, szczegolnie to ostatnie. Podobno stworzono ja bo zwykla logika nie
> wystarczala. Na pierwszy rzut oka te sprawy maja cos wspolnego.
>
> Co o tym sadzisz? Czy moglbys tak klarownie, jak to zrobiles z Entropia,
> przedstawic istote Twierdzenia Goedla?
>

Sprobuje, chociaz z koniecznosci ogolnikowo i nieprecyzyjnie. Goedel zaczal od
zajmowania sie pewnym prostym systemem formalnym, tzw. arytmetyka Peano. Ten
system mowi o liczbach naturalnych, pozwala mowic o dodawaniu, mnozeniu i roznych
innych funkcjach, a także pozwala tworzyć normalne zdania logiczne i udowadniać
jedne zdania z innych. Oczywiscie wszystkie te zdania mowia o liczbach
naturalnych.

Goedel wpadl na pomysl, ze takie zdania mozna zakodowac jako liczby - rozne
zdania przechodza na rozne liczby. Mozna pojsc dalej i zakodowac cale dowody jako
liczby (dowod to po prostu ciag zdan). W tym siedzi diabel, to byl szok dla
wspolczesnych Goedlowi bo nagle sie okazalo ze zdania w arytmetyce Peano mowia
nie tylko o wlasnosciach liczb, ale tez o zdaniach i dowodach w tejze arytmetyce,
innymi slowy o samych sobie!

Goedel przeprowadzil bardzo skomplikowana i subtelna konstrukcje i udalo mu sie
skonstruowac zdanie w arytmetyce Peano, ktore mowi z grubsza "Nie mozna mnie
udowodnic w arytmetyce Peano".

Teraz: czy to zdanie moze byc falszywe? To by znaczylo ze mozna je udowodnic, a
wiec ze jest prawdziwe - sprzecznosc. Tak wiec zdanie Goedla jest prawdziwe. Mamy
wiec zdania prawdziwe, ktorych jednak nie da sie udowodnic w arytmetyce Peano.

Goedel pokazal wiecej. Sprobujmy dodac wszystkie takie problematyczne zdania do
arytmetyki jako dodatkowe aksjomaty. Wtedy oczywiscie bedzie je mozna udowodnic.
Ale Goedel pokazal ze to nie rozwiazuje problemu: ciagle sa jakies nowe zdania
prawdziwe, ktorych znowu nie mozna udowodnic.

W sumie twierdzenia Goedla brzmi: kazdy system logiczny, w ktorym da sie wyrazic
arytmetyka na liczbach naturalnych, jest niezupelny w tym sensie, ze istnieja
zdania prawdziwe ktorych nie mozna w nim udowodnic.

Z tego wynika po drodze, ze nie mozna udowodnic niesprzecznosci danego systemu w
nim samym. Trzeba do tego uzyc mocniejszego systemu dowodzenia.

Uff. Teraz zastosowania w informatyce. Co do algorytmow genetycznych i sieci
neuronowych, to nie robilbym sobie nadziei.

Nie wiem zbyt wiele o logice rozmytej, ale to jest chyba normalna logika, tylko z
rozszerzonym zbiorem wartosci logicznych i jakimis dodatkowymi operatorami? To by
znaczylo ze mozna w niej latwo zakodowac arytmetyke, a wiec tez musi byc
niezupelna.

Ale w ogole wydaje mi sie niemozliwe zeby twierdzenie Goedla mozna bylo
wykorzystac przy konstrukcji algorytmow czy w ogole w jakis pozytywny sposob. To
twierdzenie to negatywny wynik, mowi ze czegos tam sie nie da zrobic.


Pozdrawiam,

Pulbek.

Pozytywne nastepstwa wynikow negatywnych

[Gość: Stefan]

Pulbek:
> Ale w ogole wydaje mi sie niemozliwe zeby twierdzenie Goedla
> mozna bylo wykorzystac przy konstrukcji algorytmow czy w ogole w jakis
> pozytywny sposob. To twierdzenie to negatywny wynik, mowi ze czegos
> tam sie nie da zrobic.

...i dlatego wlasnie jest cenne. Wyniki negatywne sa bardzo czesto
wazniejsze od pozytywnych. Co by Ci przyszlo z konstrukcyjnej
kwadratury kola? Natomiast udowodnienie, ze nie jest mozliwa,
otworzylo nowe dzialy algebry, czy tez moze nowe spojrzenie na algebre
(albo moze tylko na ograniczonosc mozliwosci linijki i cyrkla?).

W innych naukach twierdzenia o niemozliwosci zrobienia czegos tez
wystepuja i tez sa cenne. Gdyby sie komus udalo skonstruowac
olbrzymia maszyne, dla ktorej bilans wydawanej energii bylby leciutko
dodatni (np. wysylajaca jeden foton na rok), to korzysc praktyczna z
tej konstrukcji bylaby zadna. Na pewno mniejsza niz z prawa
zachowania energii, ktore wyklucza mozliwosc jej istnienia.

Twierdzenia pokrewne do tw. Goedla skladaja sie na teorie
rozstrzygalnosci i obliczalnosci, ktora stanowi podstawe teoretyczna
informatyki. Typowym przykladem takiego twierdzenia jest
nierozstrzygalnosc wlasnosci stopu programu. Chodzi o to, ze nie moze
istniec automatyczny algorytm, ktory zawsze prawidlowo prognozuje, czy
jakis program sie zatrzyma. Inne twierdzenia negatywne wazne dla
informatyki, juz nie zwiazane z tw. Goedla, to czasy dolne dzialania
algorytmow. Czyli stwierdzenia, ze danego problemu nie da sie
rozwiazac szybciej niz ... .

Ale po tej pochwale twierdzen negatywnych chcialbym troche sie
wycofac. Otoz rozroznienie na wyniki pozytywne i negatywne nie jest
absolutne, wszystko zalezy jakiej uzywamy logiki. Np. wlasnosc
Brouwera ,,kazde ciagle przeksztalcenie kola w siebie ma punkt staly''
wyglada na pozytywna; a wlasnosc ,,nie istnieje retrakcja kola na
okrag'' wyglada na negatywna. A te dwie wlasnosci sa rozwnowazne na
tak niskim poziomie, ze dowod mozna by przeprowadzic na kolku
szkolnym.

A wynik, ze czegos nie da sie zrobic szybko, moglby nam zagwarantowac
bezpieczenstwo szyfrow, czy podpisow elektronicznych. Wiec tez mialby
znaczenie praktyczne.

- Stefan

P.S. Chcialem sie podpisac ,,Puszaut'', ale wtedy Pulbek zaraz by
powiedzial, ze moje wymadrzanie sie wcale nie jest dualne do jego
listu i w dodatku mialby racje. Wiec wolalem sie po prostu podpisac
imieniem.

[Gość: Ekspert]

Gość portalu: Muzykant napisał(a):

> Milo mi, ze nareszcie Ktos zauwazyl ten watek!

Swietny watek!

> > Nie. Chaos ma scisla matematyczna definicje -
wrazliwosci
> > na warunki poczatkowe.
>
> ...cos tam sobie przypominam o
trajektoriach/atraktorach odpychajacych...
> Czy chaos to stan ukladu z dodatnim sprzezeniem
zwrotnym, czyli ukladu
> niestabilnego?

Tak mozna powiedziec. Ten sam system moze znajdowac sie
rezimie chaotycznym lub niemal okresowym
(uporzadkowanym)
w zaleznosci od warunkow poczatkowych.

> Jak sie chaos ma do pojecia "katastrofy"?
>
Obydwa pojecia dotycza ewolucji nieliniowych rownan
rozniczkowych.
Katastrof elementarnych jest ponoc 7, sa to (o ile
pamietam) pewne osobliwosci, ktore koncza ewolucje
pewnej klasy ukladow rozniczkowych.
Chaos zas jest raczej sposobem ewolucji. Wniosek - nie
widze
prostego zwiazku.


> > Nieuporzadkowanie to inny termin, choc
> > potocznie oznacza to samo.
> Entropia jest miara uporzadkowania?
>

Tak, choc w termodynamice ma bardzo scisla definicje.
Zmiana entropii wiaze sie z przeplywem ciepla.
Jest jednak mnostwo roznych definicji entropii, w tym
definicje czysto informacyjne.

> > > Chaos to jednak cos znacznie powazniejszego.
> > Nie rozumiem.
> Czy nie uwaza Pan, ze moze byc zwiazek z tzw. Prawem
Benforda (o logarytmicznym
> rozkladzie liczb opisujacych rzeczywistosc)?
>

Ja nie jestem Pan. A Pan? :).

Uwazam, ze prawo Benforda moze miec zwiazek ze
zjawiskami
krytycznymi i systemami nierownowagowymi, ale tak
naprawde
- to nie wiem.



> A np. czy widzi ktos regularnosci w kodzie maszynowym
programu
>komputerowego (w "krzaczkach"),

Kod maszynowy jest bardzo a-intuicyjny.
Nie wiem, czy jest to jezyk na tyle naturalny, zeby
mozna bylo latwo odroznic ziarno od plew.
Ale kto wie?

>albo w zawartosci plikow ze >skompresowana informacja
(*.arj,
> *.zip, *.rar)? Bo ja nie!
> Wprawdzie byla juz tu o tym mowa (stopien
skomplikowania kodu
>odwr. prop. do st sk. dekodera). Ale moze chodzi tu o
cos wiecej?
>
O co np.?

> > No, to glowny aksjomat nauk wszelakich
> > - poszukiwanie wyzszego porzadku
>
> Zastanawiam sie jak okreslanie entropii ukladow ze
swiata
> rzeczywistego zalezy od procesu nazywania tego co
widzimy,
> dobierania miary prawdopodobienstwa, itp.

W fizyce wiadomo dokladnie co to entropia i mozna
zmierzyc
jej zmiane. W swiecie kodow jest trudniej.


> Odwolajmy sie do pogladow Kanta na rzeczywistosc:
czlowiek w swoim skonczonym
> umysle buduje skonczony model nieskonczonego
wszechswiata.
> Czy poczatkowa interpretacja nie wplywa w sposob
dramatyczny na koncowe wnioski
> ?
>
To juz filozofia. Nie wiem.


> > > Jak sie zmienia entropia wszechswiata lokalnie a
jak
> > globalnie?
> >
> > Entropia globalna nigdy nie maleje.
> > Wiecej: entropia Wszechswiata rosnie.
>
> Czy jest to ABSOLUTNIE PEWNE?
>

Tylko tak pewne jak fizyka.


> > Ewolucja to tworzenie coraz wydajniejszych
podukladow
> > dyssypatywnych.
>
> Mozna wyobrazic sobie zycie na Ziemii jako
gigantyczny system obliczeniowy,
> ktorego mizerna namiastka sa tzw. algorytmy
genetyczne?

System obliczeniowy sugeruje celowosc. Mozna, ale ja
wolalbym nie.

> Jesli tak, to dlaczego ewolucja Zycia na Ziemii zdaje
sie eksponencjalnie
> przyspieszac, podczas gdy najwieksza plaga algor.
genet. jest ich nasycanie sie
> czyli ekponencjalne zwalnianie (postep jest coraz
mniejszy) az do calkowitej
> stagnacji?

Algorytmy genetyczne dzialaja w BARDZO malych
przestrzeniach
w stosunku do przestrzeni ewolucji.


> Ktos powie zaraz, ze problem jest "sprzetowy"
("harware'owy"): w algorytmach g.
>
> jest (najczesciej) jeden i ten sam procesor, podczas
gdy Zycie na Ziemii
> ma "sprzet" rozproszony i
samopowielajacy/samodoskonalacy sie.

Rozmiar, zlozonosc i czas! Oto roznica jakosciowa.


> To prawda, ale w teorii alg. gen. juz od dawna
poszukuje sie rozwiazan dot.
> konstrukcji samego alg., aby przeciwdzialac nasycaniu
sie; glownie przeciwdzial
> a sie zdominowaniu populacji przez potomkow
najlepszego osobnika.
>

Trzeba czasem wybic najlepiej przystosowanych (zmienic
warunki).
To zdarzalo sie w prawdziwej ewolucji.


> Czy ten gigantyczny system obliczeniowy nie probuje
dostosowac sie do jakiejs
> (rowniez gigantycznej) struktury?

Chyba nie, on po prostu samopowiela sie korzystajac ze
strumienia energii.

Serdeczenie pozdr

[Gość: Ralph]

Jeśli chodzi o argumenty filozoficzne, to powyższe pytanie nasuwa mi na myśl
metodę młodego Heideggera- fundamentalna weryfikacja podejścia do Pojęcia. Może
się okazać w pewnym momencie, że błąd nie tkwi w samym toku rozumowania, ale w
poczynionych początkowo założeniach. Albo w ogóle w Założeniach! Nie twierdzę
tym samym, że możliwe jest jakiegolwiek sensowne wnioskowanie pozbawione
założeń (co najwyżej nie są one uświadomione), ale w samym podążaniu za
Pytaniem tkwi juz 'pewne' ograniczenie. Sugestia moja nie wiem, czy jest
naukowa, zresztą, jak sam powiedziałeś- literatura jak dotąd nie dostarczyła Ci
odpowiedniej satysfakcji, więc 'naukowość' <omawiana> nie stanowi odniesienia.
Kwesia Chaosu łączy się z cała resztą poznania tak totalnie, że jakiekolwiek
oderwane definicje spełnią swoją rolę jedynie 'na użytek', a na Pytanie jak na
razie najtrafniej odpowiedział Socrates. A Budda posunął się niby nawet dalej,
i powiedział, że każdy o tym wie. Sory, ale mowa to bełkot w takich razach, i
raczej rozrywka, choć na poważnie. I szkoda tylko, że uznani naukowcy (może w
większości filozofowie, choć wątpię), tak rzadko za Sokratesem powtarzają.
Pozdrawiam:)

[Gość: kpsting]

IMO, chaos mozna rozpatrywac jako stan ukladu o niskiej gestosci energii, nie
wiem jescze jakiej energii (nie jestem fizykiem) ale intuicja podpowiada mi, ze
aby uklad "chaotyczny" stal sie uporzadkowany potrzebuje naplywu energii z
zewnatrz. Prawdopodobienstwo zaistnienia ukladu uporzadkowanego jest bardzo
niskie i wzrasta wraz ze wzrostem entropii ukladu, chyba wszyscy sie z tym
zgadzaja. Pewne uklady, ktore na pierwszy rzut oka moga wydawac sie bardzo
uporzadkowane (o niskiej entropii) moga rzeczywiscie miec wieksza entropie niz
uklady podobne do nich i wydajace sie byc malo uporzadkowane. Jestem pewien, ze
w chemii istnieja takie przyklady, podczas procesow syntezy roznych zwiazkow
(?), w tej chwili niestety nie potrafie podac zadnego :(

Aby powstalo cos takiego jak, powiedzmy, czasteczka bedaca lancuchem 10
aminokwasow potrzeba wielu wydarzen brzebiegajacych w srodowisku, ktore zawiera
potrzebne skladniki.
Zalozmy, ze mamy roztwor wodny (temp. 600K, cisnienie standardowe(?), pewna
ilosc promieniowania dopuszczana z zewnatrz, etc.) amoniaku/CO2/SO2/SH2.
wieksze czasteczki organiczne beda powstawaly w reakcjach wymagajacych
dostarczenia energii.
W duzej czesci rozbicie tych wiekszych czasteczek bedzie rowniez wymagalo
dostarczenia energii, ktora moze byc wieksza niz energia potrzebna do syntezy
jeszcze wiekszych czasteczek.
Rzeczywiscie, aby "rozbic" wiazanie peptydowe miedzy dwoma aminokwasami
potrzebujemy wiekszej energii niz aby dolaczyc do nich kolejny aminokwas.

W procesie samoistnej syntezy takiego oligopeptydu na roznych etapach "wieksze
uporzadkowanie" moze byc "energetycznie" faworyzowane. Wedlug tego prosta
bakteria moze miec wieksza entropie niz nam sie wydaje.

Az do powstania prostego katalizatora (w sensie chemicznym) - nazwijmy go
protoenzymem - wszystko wydaje sie bardzo powolne. Pierwszy protoenzym
blyskawicznie przesuwa rownowage, pozwala obejsc energetyczne bariery.
A moze "wykorzystuje" te bariery jako "narzedzia" do osiagniecia celu, kto wie?!

Dla zawodowcow

[Gość: Ekspert]

Przyczynek do dyskusji o entropii.
Cos dla ludzi, ktorzy cos umieja...

xxx.uni-augsburg.de/abs/nlin.CD/0101029,

potrzebujecie gunzip i czegos do ogladania postscriptu.
Milej lektury

[Gość: LPiotrek]

Moze pomoge Panom i uda mi sie was pogodzic.
Bo mimo ze jestescie dla mnie tytanami w swych
dziedzinach (matematyce i fizyce ) to najzwyklej
w swiecie nie umiecie sie porozumiec ze soba.
Wasz dialog - bez urazy - przypomina mi taki cytat
"Rozmawiala ges z prosieciem ... " ;-)
Zamiast wyjsc naprzeciw drugiej stronie i zrozumiec
jej racje to chcecie sie pojedynkowac na definicje
kiedy problem lezy gdzie indziej.
Pan Ekspert - fizyk - wyrazil sie odrobine niefortunnie
mimo iz bardzo dobrze zna definicje entropii.
Za to Pulbek -matematyk- uderzyl z grubej rury ,iz
Ekspert nie ma o tym pojecia.
Nieporozumienie bierze sie stad ze Ekspert postrzega
ksiazke jako odpowiednik ukladu makroskopowego.Zas
Pulbek jako zdarzenie czyli odpowiednik ukladu
mikroskopowego. Co wiecej Pulbek to dostrzegl i nawet
opatrzyl swoje spostrzezenie wykrzyknikiem,ale
dalej odmawia Ekspertowi swojego -fizycznego - punktu widzenia
na ksiazke uznajac takie postrzeganie za bledne.
Zas Ekspert przyzwyczajony do swych fizycznych
analogii nie chce dostrzec racji Pulbeka.
Po tym wstepie sprobujcie wysluchac mnie nedznego
amatora. Niedawno poznalem wzor na entropie
podobny jak przedstawil Thurundui tylko z minusem na
poczatku ,albo z lg(1/Pi) zamiast lg(Pi) i mierzona
jest w bitach ,natach lub Hartleyach w zaleznosci od
podstawy wspomianego logarytmu (odpowiednio: 2, e lub 10.)
Ta entropia ma jeszcze jedna nazwe. Nazywa sie ona:
srednia zawartosc informacyjna.
Chemicy maja swoja entropie i mierza ja w [J/(K*mol)]
Ich entropia S=0 w temp. 0 stopni Kelvina.
Twoja entropia Pulbek jest bezwymiarowa jak sie
domyslam ,wiec z chemikiem bys sobie nie pogadal :-)
Teraz chyba Panowie zaczynacie juz lapac ,o ile
juz dawno nie zalapaliscie gdzie byl problem.
Wszystko zalezy od punktu widzenia. Jezeli
postrzegamy ksiazke jako zrodlo informacji - tak jak
robil to Ekspert to oczywiscie mozemy wyliczyc sobie
entropie takiego zrodla. Dla dluzszych ksiazek generalnie
bedzie wieksza (o ile nie zawiera np. samych spacji
albo kropek ;-) ). Generalnie im dluzsza i ciekawsza
ksiazka tym jej entropia wieksza. Najciekawsze ksiazki
to oczywiscie te co zawieraja same krzaczki,czyli
ksiazki po kompresji zipem, arj-em itp. Zero wodolejstwa ;-)
Mozna tez przyjac punkt widzenia blizszy Pulbekowi.
Ksiazke mozna potraktowac jako znak wysylany ze zrodla
informacji -odpowiednik zdarzenia. Wtedy entropia
takiego zrodla informacji nie bedzie zalezala od tego
jak bardzo dluga i ciekawa jest ksiazka. Jezeli z tego
zrodla bedziemy mogli otrzymac tylko te ksiazke czyli
ten jeden znak (symbol -ksiazka) - nie mylcie tego znaku ze znakiem(litera)
w ksiazce.To entropia takiego zrodla bedzie =0.
Niezaleznie czy w bitach czy natach czy...
Natomiast jezeli ze zrodla bedzie mozna uzyskac rozne
ksiazki to ,o ile nie zdefiniujemy prawdopodobienstw
i ilosci(symboli- ksiazek) ,czyli jego rozkladu to
oczywiscie z liczenia entropii takiego zrodla nici.
To punkt widzenia Pulbeka. Niefortunnosc wypowiedzi Eksperta
polegala na tym ze przypisal on prawdopodobienstwo ksiazce
bez okreslenia w jakim charakterze(przy jakich zalozeniach).
> To znaczy - ksiazka jest wysoce niepradopodobna - ma
> niska entropie.
Oczywiscie Pulbek jako matematyk powinien sie
zorientowac ,ze skoro jest mowa o entropii ksiazki ,a nie
zrodla generujacego ksiazki ,to prawdopodobienstwo nie
dotyczy rozkladu dla tego zrodla ,a dotyczy tresci ktora zostanie
wygenerowana przez ksiazke traktowana jako zrodlo tej tresci(wlasnej
informacji). Czyli dokladnie entropia jest niska dla zrodla tresci
czyli ksiazki jezeli tresc ksiazki jest wysoce nieprawdopodobna
(przy odpowiednim zalozeniu co do rozkladu prawdopodobienstwa
znakow w tresci ) Np. w skrajnym przypadku jezeli wybierzemy
najmniej prawdopodobny uklad znakow dla tresci -wszystkie
takie same - to entropia takiej ksiazki jako zrodla
tej tresci bedzie rowna 0 bitow (takze natow czy Hartleyow )
Teraz mam nadzieje Panowie ze nie zostane waszym
wrogiem nr 1.

pozdrawiam LPiotrek

[Gość: Ekspert]

Czesc LPiotrek, dobry tekst.
2 zastrzezenia:

1) nie biore przytykow Pulbeka osobiscie, dyskusje o
waznych rzeczach powinny byc ostre. Malo tego, ciesze
sie, ze ktos mnie mobilizuje do
wiekszego wysilku. Przy okazji nuaczylem sie 3 nowych
def. entropii,
oprocz 2 starych i cos zrozumialem!

2) Pulbek dyskutuje nieciekawie - glownie
destruktywnie.
Poza tym, twierdzenia negatywne "nie mozna czegos
zrobic"
sa zazwyczaj trudniejsze do odowodnienia i mniej
produktywne od
konstruktywnych. Dlatego, formuluujac je trzeba byc
bardzo ostroznym.
Pulbek sam sie podlozyl :).
Kulture jego dyskusji pozostawiam ocenie innych.

Pozdr

[Gość: Pulbek]

Gość portalu: LPiotrek napisał(a):

> Pan Ekspert - fizyk - wyrazil sie odrobine niefortunnie
> mimo iz bardzo dobrze zna definicje entropii.
> Za to Pulbek -matematyk- uderzyl z grubej rury ,iz
> Ekspert nie ma o tym pojecia.

Moze rzeczywiscie rura byla zbyt gruba, bo bylem troche zirytowany listem
Eksperta o algorytmach genetycznych. Dzieki LPiotrku za lanie oliwy na wzburzone
fale :-]

Ale dyskusji nie uwazam jeszcze za zakonczona. Tez uwazam ze Ekspert wyrazil sie
niefortunnie twierdzac ze "ksiazka ma mala entropie = jest malo prawdopodobna w
jakiejs naturalnej przestrzeni probabilistycznej". Poprosilem go o podanie zrodla
takiej wiedzy i do tej pory nie uzyskalem odpowiedzi.

Zgadzam sie ze mozna powiedziec ze ksiazka ma niska entropie. Na poparcie tej
tezy Ekspert przeprowadzil pewna (nie do konca dla mnie zrozumiala, stad ta
prosba o zrodlo wiedzy) konstrukcje miary prawdopodobienstwa na przestrzeni
ksiazek. To sugeruje, ze powyzsze jego twierdzenie nie bylo tylko lapsusem, ale
ze naprawde tak sadzi. Nad lapsusem nie dyskutowalbym tak uporczywie.

Natomiast nie zgadzam sie ze niska entropia ksiazki wiaze sie z jej "malym
prawdopodobienstwem w naturalnej mierze". Najbardziej naturalna dla mnie miara
prawdopodobienstwa wystapienia ksiazki to ta wiazaca sie z losowaniem
poszczegolnych liter. A w niej wszystkie ksiazki sa tak samo prawdopodobne, czy
to sensowne czy nie. Nie ma to zadnego zwiazku z ich entropiami.

> Czyli dokladnie entropia jest niska dla zrodla tresci
> czyli ksiazki jezeli tresc ksiazki jest wysoce nieprawdopodobna
> (przy odpowiednim zalozeniu co do rozkladu prawdopodobienstwa
> znakow w tresci ) Np. w skrajnym przypadku jezeli wybierzemy
> najmniej prawdopodobny uklad znakow dla tresci -wszystkie
> takie same.

Widze ze jestes tego samego zdania co Ekspert. Dlaczego najmniej prawdopodobny
uklad znakow dla tresci to wszystkie takie same? Czy uwazasz rowniez ze najmniej
prawdopodobny uklad kart w brydzu to 13 pikow?

Dopuszczam rzecz jasna mozliwosc ze ktos mnie przekona. Ale na razie to sie nie
stalo. Nie zauwazylem tez (pewnie jestem gruboskorny) ze pod cos sie "podlozylem".
Pileczka jest po stronie Eksperta.

(ktorego rowniez) pozdrawiam,

Pulbek.

[Gość: Ekspert]

Gość portalu: Pulbek napisał(a):


> Ale dyskusji nie uwazam jeszcze za zakonczona.
Dobrze! Nareszcie weszlismy na poziom merytoryczny.
Ile czasu bysmy zyskali, gdyby tak rozpoczac.

> Tez uwazam ze Ekspert wyrazil sie
> niefortunnie twierdzac ze "ksiazka ma mala entropie =
jest malo prawdopodobna w
> jakiejs naturalnej przestrzeni probabilistycznej".
Poprosilem go o podanie zrod
> la takiej wiedzy i do tej pory nie uzyskalem
odpowiedzi.
>

Zajrzyj na
xxx.uni-augsburg.de/abs/nlin.CD/0101029
par 2.2.1, w szczegolnosci str. 13.
Oprocz wielu szczegolowych wyjasnien znajdziesz tam
zdanie,
ze mozna zdefiniowac entropie Shannona dla ciagu.
Zaznaczam jednak, ze moja konstrukcja byla oryginalna,
szkoda, ze spozniona o kilkadziesiat lat.

W termodynamice zas, entropia, jak juz pisalem,
charakateryzuje
makrostan i dana jest przez
stala Boltzmana * log (liczba mikrostanow realizujacych
go mikrostanow).
Ref: Dowolny porzadny podrecznik fizyki statystycznej.


> Zgadzam sie ze mozna powiedziec ze ksiazka ma niska
entropie.

Super.
>
> Natomiast nie zgadzam sie ze niska entropia ksiazki
wiaze sie z jej "malym
> prawdopodobienstwem w naturalnej mierze".
> Najbardziej naturalna dla mnie miara
> prawdopodobienstwa wystapienia ksiazki to ta wiazaca
sie z losowaniem
> poszczegolnych liter. A w niej wszystkie ksiazki sa
tak samo prawdopodobne,
> czy to sensowne czy nie. Nie ma to zadnego zwiazku z
ich entropiami.
>

Ty mowisz o mikrostanie. Masz racje, ale ja z tym nigdy
nie polemizowalem,
prawda? Ale - jesli sprawdziwy, w jakim makrostanie
jest ksiazka
(podalem mozliwa definicje makrostanu - ciag licz
obsadzen poszczegolnych
slow), to okaze sie, ze taki makrostan jest malo
prawdopodobny - ma
malo realizacji przez mikrostany.


> Dopuszczam rzecz jasna mozliwosc ze ktos mnie
przekona.
> Ale na razie to sie nie stalo. Nie zauwazylem tez
(pewnie jestem gruboskorny)
> ze pod cos sie "podlozylem".

No, kolokwializm.
Mnie wychowano tak, ze
1) traktowanie ludzi z gory jest niewlasciwe
2) niegrzeczne i lekcewazace potraktowanie kogos
na falszywych przeslankach ("moglbys sie nauczyc co
to entropia")
jest powodem do wstydu
3) potraktowanie profesjonalisty jak marnego amatora
swiadczy
o slabej znajomosci przedmiotu

Na dodatek, jesli mielibysmy to rozpatrywac w tych
kategoriach, to
przegrales te dyskusje. Tak naprawde jednak, to obydwaj
wygralismy,
bo wiemy wiecej.

Pozdrawiam

[Gość: thrundui]

> Zajrzyj na
> <a href="http://xxx.uni-augsburg.de/abs/nlin.CD/0101029">xxx.uni-augsburg.de/ab
> s/nlin.CD/0101029</a>
> par 2.2.1, w szczegolnosci str. 13.
> Oprocz wielu szczegolowych wyjasnien znajdziesz tam
> zdanie,
> ze mozna zdefiniowac entropie Shannona dla ciagu.
> Zaznaczam jednak, ze moja konstrukcja byla oryginalna,
> szkoda, ze spozniona o kilkadziesiat lat.

ok ale to jest dokladnie ta sama definicja
o ktorej byla mowa wczesniej tylko, ze rozklad prawdopodobienstwa dla ciagow
zostal odpowiednio ukryty, przez przejscie graniczne. W konstrukcji mielismy
przeciez rozklad prawdopodobienstwa, ze dany wyraz zostanie wyemitowany.

Tak wiec dalej sumujemy po wszystkich mozliwosciach a nie tylko jednej realizacji.
Dalej nie mozna mowic o entropii ksiazki patrzac tylko na ksiazke.

Twoja konstrukcja uwzgledniala tylko jedna realizacja - nie bylo rozkladow
prawdopodobienstwa i entropia Shannona ma sie nijak do tej definicji


> W termodynamice zas, entropia, jak juz pisalem,
> charakateryzuje
> makrostan i dana jest przez
> stala Boltzmana * log (liczba mikrostanow realizujacych
> go mikrostanow).

Ale nikt tu nie mowil o entropii bolzmana. W fizyce statystycznej uzywa sie juz
tylko entropii informacyjnej. Nie ma juz mikro- i makro- stanow.

> Ref: Dowolny porzadny podrecznik fizyki statystycznej.

wazne tylko zeby byl stary.


> Ty mowisz o mikrostanie. Masz racje, ale ja z tym nigdy
> nie polemizowalem,
> prawda? Ale - jesli sprawdziwy, w jakim makrostanie
> jest ksiazka
> (podalem mozliwa definicje makrostanu - ciag licz
> obsadzen poszczegolnych
> slow), to okaze sie, ze taki makrostan jest malo
> prawdopodobny - ma
> malo realizacji przez mikrostany.

Chyba cale to zamieszanie wyszlo z tego, ze stosujesz entropie bolzmana
a my mowimy o informacyjnej. W przypadku entropii informacyjnej nie ma czegos
takiego jak mikro i makro stan. Jest tylko rozklad prawdopodobientswa i czesto
tylko jedna jego realizacja.

Entropia bolzmana jest bardzo niedobrym pojeciem, bo w nim entropia moze znaczaca
sie zmienic, jezeli stan moze przyjmowac wiecej mozliwych rownie prawdopodobnych
stanow, podczas gdy informacyjna nie.
Nie mozna wiec porownywac roznych rzeczy a tylko badac ewolucje danej.
Stwierdzenie, ze ksiazka ma mala entropie w takiej definicji nic nie znaczy.
Znaczenie moze miec tylko informacja ze entropia ksiazki zmiejszyla sie lub
zwiekszyla.

Ma ona nastepujaca wlasnosc:
losujemy jedna liczba sposrod 10^9.
Wylosowana liczba jest bardzo malo prawdopodobna (tylko jeden mozliwy mikrostan -
ona sama), ma wiec miska entropia.
Trudno sobie jednak wyobrazic cos mniej uporzadkowanego niz zupelny przypadek jak
tutaj.

Jesli koniecznie chcesz miec racje...

[Gość: Ekspert]

Kolego,

Moze nie znasz angielskiego dostatecznie aby zrozumiec
cytowany
przeze mnie artykul, chetnie Ci przeloze stosowny
fragment.
Chodzi o ten przy wzorze 2.24.

Ja go rozumiem nastepujaca: typowy ciag emitowany przez
zrodlo pozwala
obliczyc entropie Shannona zrodla. Dlatego, mozna
przypisac takiemu
ciagowi pewna entropie.

Jesli wolisz, to moge sie zgodzic, ze jest to entropia
zrodla produkujacego typowo ksiazki a nie belkot.
Dla mnie wszystko jedno. Wazne jest, ze majac dana
ksiazke, moge
ja odroznic od losowego ciagu znakow stosujac te miare.
Jak ja nazwiesz - Twoja sprawa. Nie interesuja mnie
detale tylko idee.
A idea byla trafna. Nawet bardzo trafna i mam nadzieje,
ze okaze
sie dla mnie i innych dyskutantow - owocna.

Twoje zlosliwosci na temat jakoby starych definicji
entropii zupelnie
mnie nie interesuja, nie jestes tu dla mnie partnerem.

Pozdrawiam

[Gość: thrundui]

> Moze nie znasz angielskiego dostatecznie aby zrozumiec
> cytowany
> przeze mnie artykul, chetnie Ci przeloze stosowny
> fragment.
> Chodzi o ten przy wzorze 2.24.
>
> Ja go rozumiem nastepujaca: typowy ciag emitowany przez
> zrodlo pozwala
> obliczyc entropie Shannona zrodla. Dlatego, mozna
> przypisac takiemu
> ciagowi pewna entropie.

wzror 2.24
jest w nim wartosc h_sh

wzor 2.20 - definicja h_sh
jest w nim wartosc H_N

wzror 2.18 - definicja H_N
jest w nim rozklad prawdopodobientwa P(C_N)

wzror 2.17 - definicja P(C_N)
P(C_N) jest apriori!

czyli bede mial entropie jak bede mial rozklad.
Nie ma wzoru jak go policzyc.
Bez generatora albo zalozen apriori co do procesu wiec sie nie obejdziemy.

> Dla mnie wszystko jedno. Wazne jest, ze majac dana
> ksiazke, moge
> ja odroznic od losowego ciagu znakow stosujac te miare.

no nie
bedziesz musial zalozyc a priori rozklad
ktos inny zalozy sobie inny rozklad i moze uzyskac inny wynik.

Ciagle nie mamy wiec pojecia entropii danej indywidualnej, bezzrdlowej ksiazki

[Gość: Pulbek]

Gość portalu: Ekspert napisał(a):

Ciag dalszy dyskusji na temat "Czy niska entropia ukladu ma cos wspolnego z malym
prawdopodobienstwem jego wystapienia".

> Zajrzyj na
> <a href="http://xxx.uni-augsburg.de/abs/nlin.CD/0101029">xxx.uni-augsburg.de/ab
> s/nlin.CD/0101029</a>
> par 2.2.1, w szczegolnosci str. 13.

Zajrzalem. Znalazlem tam przede wszystkim twierdzenie Shannona-McMillana o
prawdopodobnych historiach dla ergodycznych procesow Markowa.

Dobrze, pojdzmy tym tropem. Mozna spokojnie zalozyc ze ksiazka jest generowana
przez proces Markowa ("jaka litere teraz napisac?"). Wydaje sie naturalne, ze ten
proces jest stabilny i ergodyczny, wiec spelnia zalozenia twierdzenia Sh-McM.

Rozwazmy przypadek w ktorym proces generujacy ksiazke jest zupelnie losowy (o to
nam od poczatku chodzilo, prawda?). Powiedzmy ze proces moze uzywac K roznych
znakow. Poniewaz jest zupelnie losowy, to jego srednia jednokrokowa entropia jest
rowna

h = -K * (1/K * log(1/K)) = -log(1/K) = log(K) (def. 2.20)

Zgodnie z twierdzeniem Sh-McM, wszystkie mozliwe ciagi stanow (znakow) mozna
podzielic na dwie czesci: te "prawdopodobne" i te "prawie niemozliwe" do
uzyskania. Liczba tych "prawdopodobnych", przy ciagach dlugosci N, jest
asymptotycznie rowna

exp(Nh) = K^N (rown. 2.24)

czyli asymptotycznie wszystkie ciagi sa "prawdopodobne" i to, co wiecej, rownie
prawdopodobne (zob. pierwsze dwie linijki na s. 13).

Reasumujac, tw. Sh-McM nie daje ci zadnego argumentu na to ze pojedyncze ksiazki
bedace ciagami o niskiej entropii sa malo prawdopodobne do uzyskania przez
losowego pisarza.

> Ty mowisz o mikrostanie. Masz racje, ale ja z tym nigdy
> nie polemizowalem, prawda?

Nastapilo wobec tego nieporozumienie. Dlaczego mowiles o entropii ksiazki a nie o
sredniej entropii zbioru ksiazek? I dlaczego podkreslasz ze w podanym przez
ciebie artykule zdefiniowano entropie dla pojedynczego ciagu? Oni rozwazaja tam
wlasnie entropie mikrostanow!

Dobrze, rozwazmy teraz makrostan, czyli zbior ksiazek "sensownych" (niech bedzie
ich L, dla ustalonej dlugosci ksiazki). Jako jego entropie wezmy srednia entropie
jego elementow. Ta wielkosc jest faktycznie niska. Jezeli rozwazymy teraz liczbe
ksiazek sensownych, czyli prawdopodobienstwo ze losowa ksiazka jest sensowna, to
ta wielkosc tez jest niska. To by potwierdzalo twoja teze o zwiazku entropii z
prawdopodobienstwem.

Ale to tylko pozor. Rozwazmy teraz zbior L ciagow znakow o najwiekszej entropii.
Prawdopodobienstwo ze losowo wybrana ksiazka nalezy do tego zbioru tez jest
bardzo male, ale entropia tego makrostanu jest bardzo duza. Zwiazek miedzy
entropia a prawdopodobienstwem okazuje sie chybiony.

Czytajac podany przez ciebie artykul zrozumialem skad sie bierze twoj blad.
Myslisz o termodynamicznej definicji entropii. Otoz ta definicja jest zgodna z
oryginalna definicja Shannona dla gazu doskonalego (i wielu innych systemow
fizycznych). A oto dlaczego.

Gaz zamkniety w pomieszczeniu mozna traktowac jako proces Markowa (gdzie teraz
sie przesuna pojedyncze czasteczki?). Ten proces jest bardzo, ale to bardzo
dalece nielosowy: gaz dazy do rownomiernego wypelnienia pomieszczenia i to jest
uwzglednione w strukturze procesu. Wobec tego entropia tego procesu jest dosc
niska (na pewno o wiele nizsza niz logarytm liczby stanow). Uwaga: nie pomyl tu
entropii procesu z entropia stanu. Mowie tu o tej pierwszej.

To, na podstawie tw. Sh-McM, oznacza ze istnieja pewne sekwencje stanow bardziej
prawdopodobne od innych. Z artykulu ktory podales nie da sie wywnioskowac jakie
to sekwencje, ale zajrzalem do ksiazki Kninczina, z ktorej autorzy cytuja to
twierdzenie i przeczytalem dowod. Wynika z niego, ze te "prawdopodobne" sekwencje
to te, ktore sa, mowiac intuicyjnie, zgodne ze struktura procesu Markowa, czyli w
ktorych najbardziej prawdopodobne mozliwosci sa wybierane czesciej (to zreszta
naturalne, teraz mi sie wydaje ze zamiast przekopywac sie przez biblioteke moglem
po prostu pomyslec :-) ).

I teraz: z bardzo szczegolnych wlasnosci procesu Markowa zwiazanego z gazem
zamknietym w naczyniu wynika, ze bardziej prawdopodobne sekwencje prowadza to
stanow o wyzszej entropii. Mowiac nieformalnie, tw. Sh-McM mowi: skoro w kazdej
chwili gaz dazy do rozprezenia sie, to pewnie w koncu sie rozprezy.

Nie watpie ze wiele procesow fizycznych ma te sama szczegolna wlasnosc.

Ale podany przez ciebie przyklad jej nie ma. W przykladzie z ksiazka entropia
termodynamiczna nie jest zgodna z entropia informacyjna - po prostu zupelnie
losowy proces Markowa nie ma tych milych wlasnosci procesow fizycznych. Otoz
twierdze, ze definicja Shannona lepiej oddaje indee entropii niz ta ze stala
Boltzmanna - mowi wiecej o uporzadkowaniu, informacji i niespodziance.

*********************

Jednoczesnie odszczekuje slowa o tym ze nie wiesz co to jest entropia:

HAU, HAU, HAU! EKSPERT WIEDZIAL CO TO ENTROPIA! HAU, HAU, HAU!

Zamiast tego stwierdzam, ze znajac tylko definicje termodynamiczna zastosowales
ja do przykladu, do ktorego sie nie nadawala i zmyliles tym sluchaczy.

**********************

> 3) potraktowanie profesjonalisty jak marnego amatora
> swiadczy o slabej znajomosci przedmiotu

Ach, zeby tylko ludzie traktowali profesjonalistow jak marnych amatorow...
Niestety, jakze czesto jest na odwrot!

> Na dodatek, jesli mielibysmy to rozpatrywac w tych
> kategoriach, to przegrales te dyskusje.

To stwierdzenie uwazam za przedwczesne.


Pozdrawiam,

Pulbek.

Pax. Ale...

[Gość: Ekspert]

Hej,

Wydaje mi sie, ze rozumiemy sie juz doskonale.
Wobec tego skupie sie na punktach najistotniejszych.

> Dobrze, pojdzmy tym tropem. Mozna spokojnie zalozyc ze
ksiazka jest
...
> proces jest stabilny i ergodyczny, wiec spelnia
zalozenia twierdzenia
> Sh-McM.

OK. Dalej tez.
>
> Rozwazmy przypadek w ktorym proces generujacy ksiazke
jest z

>
> > Ty mowisz o mikrostanie. Masz racje, ale ja z tym
nigdy
> > nie polemizowalem, prawda?
>
> Nastapilo wobec tego nieporozumienie.

> Dlaczego mowiles o entropii ksiazki a nie o
> sredniej entropii zbioru ksiazek?

Ja to widze tak: oceniajac "prawdopodobienstwo"
wystapienia
tekstu patrze na jego makrostan.
Np. widze powtarzajace sie slowa.

W scislym matematycznym sensie rzeczywiscie identyfikuje
ciag jako nalezacy do bardzo malego podzbioru zbioru
wszystkich mozliwych ciagow.
Tzn. widze, ze moj mikrostan reprezentuje specjalny
makrostan.


> I dlaczego podkreslasz ze w podanym przez
> ciebie artykule zdefiniowano entropie dla pojedynczego
ciagu?
> Oni rozwazaja tam wlasnie entropie mikrostanow!

Moim zdaniem poprzez makrostany. Tak jak ja.
Nie ma tego wprost, ale mozna te konstrukcje tak
rozumiec.
To wazne. Dlatego poczekam na Twoja opinie.

>
> Dobrze, rozwazmy teraz makrostan, czyli zbior ksiazek
"sensownych"
> (niech bedzie ich L, dla ustalonej dlugosci ksiazki).
Jako jego
> entropie wezmy srednia entropie jego elementow.
>Ta wielkosc jest faktycznie niska. Jezeli rozwazymy
teraz liczbe
> ksiazek sensownych, czyli prawdopodobienstwo ze losowa
ksiazka
> jest sensowna, to ta wielkosc tez jest niska.
> To by potwierdzalo twoja teze o zwiazku entropii z
prawdopodobienstwem.
>
OK. Ale teza o ziwazku S z log P nie jest moja...
Niestety.

> Ale to tylko pozor. Rozwazmy teraz zbior L ciagow
znakow o
> najwiekszej entropii . Prawdopodobienstwo ze losowo
wybrana
> ksiazka nalezy do tego zbioru tez jest
> bardzo male, ale entropia tego makrostanu jest bardzo
duza.

Wydaje mi sie, ze zrobiles blad logiczny.
Entropia Shannona moze byc przypisana ciagowi
jesli jest on typowy dla zrodla. A zatem, chcac pozostac
konsystentny musisz zmienic L.
Jesli ciagi, ktore wbrales maja duze entropie, to znaczy,
ze
zrodlo takoz, to znaczy, typowych ciagow bedzie L_2 >>
L_1.

> Zwiazek miedzy entropia a prawdopodobienstwem okazuje
sie chybiony.
>

Sadze, ze nie.
Oni w tym artykule daja nawet przeciez przyklady ciagow o
niskiej
i wysokiej entropii...

> Czytajac podany przez ciebie artykul zrozumialem skad
sie bierze twoj blad.
...
> zamknietym w naczyniu wynika, ze bardziej prawdopodobne
sekwencje
> prowadza to stanow o wyzszej entropii.

Okaze sie, czy blad, mam nadzieje.

>Mowiac nieformalnie, tw. Sh-McM mowi: skoro w kazdej
chwili gaz dazy do > rozprezenia sie, to pewnie w koncu
sie rozprezy.
>
Ja to widze tak - proces ergodyczny prowadzi do tego ze
makrostany
najbardziej prawdopodobne sa najczesciej obserwowane.

> Nie watpie ze wiele procesow fizycznych ma te sama
szczegolna wlasnosc.
>
Wszystkie ergodyczne.

> Ale podany przez ciebie przyklad jej nie ma.


> W przykladzie z ksiazka entropia
> termodynamiczna nie jest zgodna z entropia informacyjna
- po prostu
> zupelnie losowy proces Markowa nie ma tych milych
wlasnosci procesow
> fizycznych.

Wlasnie w procesach fizycznych chodzi o pelna
randomizacje!
To wlasnie jest ergodycznosc.


> Otoz twierdze, ze definicja Shannona lepiej oddaje
indee
> entropii niz ta ze stala Boltzmanna - mowi wiecej o
uporzadkowaniu, i> >
> informacji i niespodziance.

Piekne twierdzenie. Ale: ta entropia redukuje sie do
entropii konwencjonalnej,
o ile dobrze rozumiem Ref.
Mysle, ze wciaz cos splycasz.

Dlaczego? Bo ksiazka mniej zaskakuje niz dluzszy teskt
spakowany gzip.
Prawda?

>
> Jednoczesnie...
Super. Mozemy teraz spokojnie pogadac.


> zastosowales ja do przykladu, do ktorego sie nie
nadawala i zmyliles tym
> sluchaczy.

Nie tak predko.


> > Na dodatek, jesli mielibysmy to rozpatrywac w tych
> > kategoriach, to przegrales te dyskusje.
>
> To stwierdzenie uwazam za przedwczesne.
>
Dobrze. Wygralem runde: napisales: mozna przypisac
ksiazce entropie.
Teraz druga - zwiazek z prawdopodobienstwem. Moze bedzie
dla Ciebie
(oprocz tego, ze jest dla nas obydwu:-)).

Pozdrawiam serdecznie

[Gość: Pulbek]

Gość portalu: Ekspert napisał(a):

> Wydaje mi sie, ze rozumiemy sie juz doskonale.
> Wobec tego skupie sie na punktach najistotniejszych.
>

A ja po przeczytaniu twojego listu zdalem sobie sprawe ze jest wprost przeciwnie
i to chyba z mojej winy... Teraz postaram sie wyjasnic nieporozumienie.

Piszesz ze runda dla ciebie bo przyznalem ze ciagowi znakow mozna przypisac
entropie. Jezeli zerkniesz na moj drugi list w tym watku (13.11.2001, 03:56,
trzeci akapit) to zobaczysz ze napisalem to juz wtedy. Moja wina lezy w tym ze
nie podkreslilem tego dostatecznie mocno, bo nie zdawalem sobie sprawy ze caly
czas masz w glowie termodynamiczna definicje i bylem pewien ze musisz byc
niespelna rozumu.

Zaczne wiec od podania zupelnie klasycznej, Shannonowskiej definicji entropii dla
dowolnego pojedynczego ciagu znakow. Nie musisz w niej mowic ani o makrostanach,
ani o procesach Markowa, ani o zrodlach informacji, ani o "typowosci".

Wez jakis ciag znakow. Policz w nim wystapienie kazdej litery alfabetu. Dostajesz
pewien rozklad i mozesz policzyc jego entropie w znany sposob. Teraz policz w nim
wystapienie wszystkich ciagow dwuliterowych jakie mozesz utworzyc z liter
alfabetu. Dostajesz nowy rozklad, nad innym juz zbiorem zdarzen i znowu mozesz
policzyc jego entropie. To samo robisz dla trojek, czworek i tak dalej. Dostajesz
pewien ciag liczb. Co prawda nie mozesz tego robic w nieskonczonosc bo ciag
znakow jest skonczony, ale powiedzmy ze jest niesamowicie dlugi. Wtedy okazuje
sie ze ciag entropii jest zbiezny i jego granice nazywamy entropia ciagu.

Jak widzisz jest to bardzo proste. I ma wszystkie mile wlasnosci jakie chcesz:
ciag "2398759670476" ma wieksza entropie niz "1111111111111111", ciagi o malej
entropii lepiej sie kompresuja, sensowne ksiazki maja mala entropie i w ogole co
dusza zapragnie. Wszystko to bez rozwazania zadnych makrostanow ani procesow.

Ta definicja jest szeroko stosowana w kryptografii i teorii kompresji.

Skoro juz to ustalilismy, to przeczytaj prosze raz jeszcze moj poprzedni list,
moze teraz sie z nim zgodzisz. Jezeli podtrzymujesz to co napisales ostatnio, daj
znac to odpowiem. Na razie nie chce wyglaszac stwierdzen ktore byc moze sa juz
teraz dla ciebie oczywiste.

Co do konstrukcji entropii dla ciagu pokazanej w artykule: autorzy nie zadali
sobie trudu zeby dokladnie wyjasnic o co im chodzi, ale z tego co tam widze nie
moge sie zgodzic z twoja interpretacja. Piszesz ze widzac ciag i wiedzac ze jest
on typowy dla zrodla (tzn. chyba nalezy do tej pierwszej klasy ciagow z tw. Sh-
McM) mozna mu przypisac taka sama entropie jak entropia zrodla.

To jest sprzeczne ze zdrowym rozsadkiem: jezeli zrodlo jest w pelni losowe, to
wszystkie ciagi sa dla niego typowe. To by znaczylo ze wszystkim ciagom
przypisalibysmy taka sama entropie; taka definicja nie wydaje sie bardzo
uzyteczna...


> > Ale to tylko pozor. Rozwazmy teraz zbior L ciagow znakow o
> > najwiekszej entropii . Prawdopodobienstwo ze losowo wybrana
> > ksiazka nalezy do tego zbioru tez jest
> > bardzo male, ale entropia tego makrostanu jest bardzo duza.
>
> Wydaje mi sie, ze zrobiles blad logiczny.
> Entropia Shannona moze byc przypisana ciagowi
> jesli jest on typowy dla zrodla.

Mam nadzieje ze teraz sie to wyjasnilo.

[...]
> >Mowiac nieformalnie, tw. Sh-McM mowi: skoro w kazdej
> chwili gaz dazy do > rozprezenia sie, to pewnie w koncu
> sie rozprezy.
> >
> Ja to widze tak - proces ergodyczny prowadzi do tego ze
> makrostany najbardziej prawdopodobne sa najczesciej obserwowane.
>

Tak oczywiscie jest, to jest wlasnie ergodycznosc. Ale w przypadku ksiazki mowimy
tu o prawdopodobienstwie _ciagow_ stanow, bo ksiazka jest wlasnie ciagiem znakow.
I pytamy czy jakis ciag znakow jest prawdopodobny czy nie. W przypadku gazu w
naczyniu jest akurat tak, ze prawdopodobne ciagi stanow prowadza do stanow o
wysokiej entropii (zdefiniowanej na pojedynczych mikrostanach, tak jak dla
ksiazki). Ale to nie wynika z samej ergodycznosci tego procesu. Losowe
generowanie znakow tez jest ergodyczne, ale niekoniecznie prowadzi do stanow o
wysokiej entropii. Zreszta w ogole odczepmy sie od tej ergodycznosci, to w ogole
jest bardzo slaba wlasnosc, kazdy proces ja ma poza jakimis patologiami.

[...]
> Wlasnie w procesach fizycznych chodzi o pelna
> randomizacje! To wlasnie jest ergodycznosc.

Alez skad! Ladnie bysmy wygladali, gdyby procesy fizyczne byly w pelni losowe.
Pelna losowosc oznacza, ze majac dany stan gazu w naczyniu w danej chwili (stan
wszystkich czasteczek) nie mozesz nic powiedziec o nastepnej chwili; gaz moze
przejsc do dowolnego innego stanu z rownym prawdopodobiestwem. Tak oczywiscie nie
jest: po pierwsze czastka nie moze nagle przeskoczyc na drugi koniec naczynia, po
drugie czastki sie od siebie odbijaja i tak dalej. Wszystko to jest bardzo
nielosowe.

[...]
> Piekne twierdzenie. Ale: ta entropia redukuje sie do
> entropii konwencjonalnej, o ile dobrze rozumiem Ref.

O ile ja dobrze ja rozumiem, jest dokladnie na odwrot :-)


Pozdrawiam i czekam na odpowiedz,

Pulbek.

[Gość: Ekspert]

Gość portalu: Pulbek napisał(a):

> Zaczne wiec od podania zupelnie klasycznej,
Shannonowskiej definicji
>entropii dla dowolnego pojedynczego ciagu znakow.

Tak, wlasnie ja (nieco pobieznie) sam skonstruowalem w
pewnym poscie.
Prawda? Jestem pod wrazeniem potegi intuicji.

>
> Skoro juz to ustalilismy, to przeczytaj prosze raz
jeszcze moj poprzedni list,
> moze teraz sie z nim zgodzisz. Jezeli podtrzymujesz
to co napisales ostatnio,
> daj znac to odpowiem. Na razie nie chce wyglaszac
stwierdzen ktore byc
> moze sa juz teraz dla ciebie oczywiste.
>

O ile rozumiem, zgadzamy sie, ze sensowne ksiazki maja
niska entropie Shannona.



> Co do konstrukcji entropii dla ciagu pokazanej w
artykule: autorzy nie zadali
> sobie trudu zeby dokladnie wyjasnic o co im chodzi,
ale z tego co tam widze nie
> moge sie zgodzic z twoja interpretacja. Piszesz ze
widzac ciag i wiedzac ze
> jest on typowy dla zrodla (tzn. chyba nalezy do tej
pierwszej klasy ciagow z tw.
> Sh- McM) mozna mu przypisac taka sama entropie jak
entropia zrodla.
>
> To jest sprzeczne ze zdrowym rozsadkiem: jezeli
zrodlo jest w pelni
> losowe, to wszystkie ciagi sa dla niego typowe. To by
znaczylo ze wszystkim ciagom
> przypisalibysmy taka sama entropie; taka definicja
nie wydaje sie bardzo
> uzyteczna...
>


Dobrze, nie bede sie upieral przy tej akurat
konstrukcji.
Moja teza jest taka: jesli zrodlo jest idealnie losowe,
to ciagi o entropii S_1 beda przez nie emitowane
z prawdopodobienstwem nizszym (byc moze exp(S_1-S_2),
tego
nie wiem na pewno) niz ciagi o wyzszej entropii Sh:
S_2.
W tym znaczeniu otrzymanie ksiazki (ciagu o niskiej S)
jest malo prawdopodobne.



> > > Wydaje mi sie, ze zrobiles blad logiczny.
> > Entropia Shannona moze byc przypisana ciagowi
> > jesli jest on typowy dla zrodla.
>
> Mam nadzieje ze teraz sie to wyjasnilo.
>
Porzucam na razie te sciezke. Moze jest bledna a moze
nie.



> Tak oczywiscie jest, to jest wlasnie ergodycznosc.
Ale w przypadku ksiazki mowi
> my
> tu o prawdopodobienstwie _ciagow_ stanow, bo ksiazka
jest wlasnie ciagiem znako
> w.
> I pytamy czy jakis ciag znakow jest prawdopodobny czy
nie. W przypadku gazu w
> naczyniu jest akurat tak, ze prawdopodobne ciagi
stanow prowadza do stanow o
> wysokiej entropii (zdefiniowanej na pojedynczych
mikrostanach, tak jak dla
> ksiazki). Ale to nie wynika z samej ergodycznosci
tego procesu. Losowe
> generowanie znakow tez jest ergodyczne, ale
niekoniecznie prowadzi do stanow o
> wysokiej entropii. Zreszta w ogole odczepmy sie od
tej ergodycznosci, to w ogol
> e
> jest bardzo slaba wlasnosc, kazdy proces ja ma poza
jakimis patologiami.
>

W fizyce? Nie. Procesy kwaziokresowe - nie maja.
Chaotyczne zas na ogol maja, ale niekoniecznie pelna.

> [...]



> > Wlasnie w procesach fizycznych chodzi o pelna
> > randomizacje! To wlasnie jest ergodycznosc.
>
> Alez skad! Ladnie bysmy wygladali, gdyby procesy
fizyczne byly w
> pelni losowe. Pelna losowosc oznacza, ze majac dany
stan gazu w
> naczyniu w danej chwili (stan wszystkich czasteczek)
nie mozesz nic
>powiedziec o nastepnej chwili; gaz moze
> przejsc do dowolnego innego stanu z rownym
prawdopodobiestwem.
> Tak oczywiscie nie jest: po pierwsze czastka nie moze
nagle przeskoczyc
> na drugi koniec naczynia, po
> drugie czastki sie od siebie odbijaja i tak dalej.
Wszystko to jest bardzo
> nielosowe.
>

Przepraszam, ale zupelnie sie nie zgadzam.
Uklad ergodyczny w fizyce to taki, ktorego trajektoria
w sposob gesty
pokrywa cala dostepna przestrzen fazowa w odpowiednio
dlugim czasie
Losowosc pojawia sie wskutek usrednienia po czasie i
nie jest
sprzeczna z lokalnym determinizmem. Dzieki temu kazda
komorka przestrzeni fazowej odpowiada jednemu
kanonicznemu mikrostanowi.


> > Piekne twierdzenie. Ale: ta entropia redukuje sie
do
> > entropii konwencjonalnej, o ile dobrze rozumiem
Ref.
>
> O ile ja dobrze ja rozumiem, jest dokladnie na odwrot
:-)
>

Co znaczy redukuje sie? Dla mnie tyle, ze ta Shannona
jest ogolniejsza.

Pozdrowienia.

[Gość: Pulbek]

Nie jest zle - zaczynamy ustalac w czym sie nie zgadzamy.

Gość portalu: Ekspert napisał(a):

> Gość portalu: Pulbek napisał(a):
>
> > Zaczne wiec od podania zupelnie klasycznej, Shannonowskiej definicji
> > entropii dla dowolnego pojedynczego ciagu znakow.
> Tak, wlasnie ja (nieco pobieznie) sam skonstruowalem w
> pewnym poscie.
> Prawda? Jestem pod wrazeniem potegi intuicji.
>
Rety, niezle mnie zmyliles wobec tego... To chyba dlatego ze nazywales ja tam
miara prawdopodobienstwa...

>
> O ile rozumiem, zgadzamy sie, ze sensowne ksiazki maja
> niska entropie Shannona.
>

Tak. Chyba od samego poczatku. Nie zgadzamy sie natomiast co do tego, ze sa one
malo prawdopodobne.

> Moja teza jest taka: jesli zrodlo jest idealnie losowe,
> to ciagi o entropii S_1 beda przez nie emitowane
> z prawdopodobienstwem nizszym (byc moze exp(S_1-S_2), tego
> nie wiem na pewno) niz ciagi o wyzszej entropii Sh: S_2.
> W tym znaczeniu otrzymanie ksiazki (ciagu o niskiej S)
> jest malo prawdopodobne.

Zupelnie sie z tym nie zgadzam. Nie wiem co ci daje powod do takiego twierdzenia.

Od razu mowie: w pewnym sensie tak jest, to znaczy jak bedziemy losowac znaki to
najprawdopodobniej dostaniemy belkot a nie Hamleta. Ale to tylko dlatego ze
sensownych ksiazek jest po prostu malo. To zadna nowina ze tekstow o niskiej
entropii jest mniej niz tych o wysokiej.

Ale jesli wezmiesz dwa zbiory tekstow: A = "wszystkie sensowne ksiazki", B
= "ciagi znakow o najwiekszej mozliwej entropii, ale tylko tyle ile jest
sensownych ksiazek" to losowanie znakow daje dokladnie takie samo
prawdopodobienstwo wylosowania czegos z A jak czegos z B. Mimo ze srednia
entropia B jest o wiele wieksza niz srednia entropia A.

Tak nie jest w przypadku gazu w naczyniu, poniewaz tam proces nie jest w pelni
losowy. Gaz woli sie rozprezyc niz skupic w jednym punkcie. Innymi slowy,
entropia gazu w naczyniu lubi wzrastac, a entropia losowo generowanego tekstu
wcale nie musi wzrastac w trakcie generowania.

> > Zreszta w ogole odczepmy sie od tej ergodycznosci, to w ogole
> > jest bardzo slaba wlasnosc, kazdy proces ja ma poza
> > jakimis patologiami.
>
> W fizyce? Nie. Procesy kwaziokresowe - nie maja.
> Chaotyczne zas na ogol maja, ale niekoniecznie pelna.

O rety, znowu rozne definicje? W matematyce proces nazywamy ergodycznym, jezeli
srednia liczba wystapien kazdego stanu zbiega do prawdopodobienstwa wystapienia
danego stanu. Wystarczy zeby istnialo niezerowe prawdopodobienstwo przejscia z
kazdego stanu do kazdego innego zeby proces byl ergodyczny.

[...]
> Przepraszam, ale zupelnie sie nie zgadzam.
> Uklad ergodyczny w fizyce to taki, ktorego trajektoria w sposob gesty
> pokrywa cala dostepna przestrzen fazowa w odpowiednio dlugim czasie
> Losowosc pojawia sie wskutek usrednienia po czasie i
> nie jest sprzeczna z lokalnym determinizmem. Dzieki temu kazda
> komorka przestrzeni fazowej odpowiada jednemu kanonicznemu mikrostanowi.
>

To juz troche odbieglo od tematu, ale jeszcze pociagnijmy. Kiedy mowilem, ze
proces jest w pelni losowy, mialem na mysli rownomierny rozklad
prawdopodobienstwa przejscia do wszystkich mozliwych stanow w kazdej chwili.
Losowe generowanie znakow jest takim procesem: zawsze mozemy wygenerowac kazdy
znak, z tym samym prawdopodobienstwem. Gaz w naczyniu nie jest takim procesem,
chocby dlatego ze w kazdym kroku dazy do rozprezenia sie. Wlasnie ta daznosc
powoduje ze statystycznie z duzym prawdopodobienstwem w koncu sie rozprezy (tw.
Sh-McM!).

[...]
> Co znaczy redukuje sie? Dla mnie tyle, ze ta Shannona
> jest ogolniejsza.
>
Acha, no to sie zgadzamy. W matematyce sie utarlo ze "A redukuje sie do B"
znaczy "B jest ogolniejsze" :-), ale to juz zupelnie inna historia...


Pozdrawiam,

Pulbek.

Cross

[Gość: Ekspert]

Gość portalu: Pulbek napisał(a):

> Nie jest zle - zaczynamy ustalac w czym sie nie
zgadzamy.

Mam wrazenie, ze sie tak naprawde zgadzamy.
Tylko, sie czasem nie rozumiemy. Czasem zas nie chcemy
sie
po prostu zrozumiec...


> >
> > > Zaczne wiec od podania zupelnie klasycznej,
Shannonowskiej definicji
> > > entropii dla dowolnego pojedynczego ciagu znakow.
> > Tak, wlasnie ja (nieco pobieznie) sam
skonstruowalem w
> > pewnym poscie.
> > Prawda? Jestem pod wrazeniem potegi intuicji.
> >
> Rety, niezle mnie zmyliles wobec tego... To chyba
dlatego ze nazywales ja tam
> miara prawdopodobienstwa...
>

Nadal sadze, ze jest bardzo gleboki zwiazek miedzy
jednym
a drugim. Tak jest w fizyce, sadze, ze w teorii
informacji
takoz. O tym wlasne mowa.



> >
> > O ile rozumiem, zgadzamy sie, ze sensowne ksiazki
maja
> > niska entropie Shannona.
> >
>

> Tak. Chyba od samego poczatku.

Dziwne, jakos to przeoczylem....

> Nie zgadzamy sie natomiast co do tego, ze sa one
> malo prawdopodobne.

Tylko dlatego, ze co innego przez to rozumiemy (chcemy
rozumiec?).


>
> > Moja teza jest taka: jesli zrodlo jest idealnie
losowe,
> > to ciagi o entropii S_1 beda przez nie emitowane
> > z prawdopodobienstwem nizszym (byc moze
exp(S_1-S_2), tego
> > nie wiem na pewno) niz ciagi o wyzszej entropii Sh:
S_2.
> > W tym znaczeniu otrzymanie ksiazki (ciagu o niskiej
S)
> > jest malo prawdopodobne.
>
> Zupelnie sie z tym nie zgadzam.
> Nie wiem co ci daje powod do takiego twierdzenia.
>
> Od razu mowie: w pewnym sensie tak jest, to znaczy
jak bedziemy losowac znaki t
> o
> najprawdopodobniej dostaniemy belkot a nie Hamleta.
Ale to tylko dlatego ze
> sensownych ksiazek jest po prostu malo. To zadna
nowina ze tekstow o niskiej
> entropii jest mniej niz tych o wysokiej.
>

No, to mowisz to samo co ja.
Wiem, gdzie lezy problem. Ty traktujesz ksiazke wciaz
jako mikrostan
(konkretny ciag). Wtedy oczywiscie masz racje. Kazdy
mikrostan jest
rowno prawdopodobny. Ale moja teza jest taka (sprobuje
jeszcze uscislic)

Jesli mam losowe zrodlo, to prawd., ze wylosowany ciag
ma mala entropie
jest nizsze (ekponencjalnie?) niz to praw. ze ciag ma
wyzsza entropie.

Ty patrzysz na ksiazke jako na konkretnu ciag, ja
patrze na nia
jako na makrostan charakteryzowany entropia Sh.



> > > Zreszta w ogole odczepmy sie od tej
ergodycznosci, to w ogole
> > > jest bardzo slaba wlasnosc, kazdy proces ja ma
poza
> > > jakimis patologiami.
> >
> > W fizyce? Nie. Procesy kwaziokresowe - nie maja.
> > Chaotyczne zas na ogol maja, ale niekoniecznie
pelna.
>
> O rety, znowu rozne definicje? W matematyce proces
nazywamy ergodycznym, jezeli
> srednia liczba wystapien kazdego stanu zbiega do
prawdopodobienstwa wystapienia
> danego stanu. Wystarczy zeby istnialo niezerowe
prawdopodobienstwo przejscia z
> kazdego stanu do kazdego innego zeby proces byl
ergodyczny.
>

To tak jak u nas, tylko, ze to przejscie wymaga czasu.
Ach, matematycy... Zawsze musicie miec takie scisle
definicje,
ze strasznie zawezacie ich stosowalnosc...
Znasz dowcip o czlowieku, ktory lecac w balonie
zabladzil w chmurach?


> [...]
> > Przepraszam, ale zupelnie sie nie zgadzam.
> > Uklad ergodyczny w fizyce to taki, ktorego
trajektoria w sposob gesty
> > pokrywa cala dostepna przestrzen fazowa w
odpowiednio dlugim czasie
> > Losowosc pojawia sie wskutek usrednienia po czasie
i
> > nie jest sprzeczna z lokalnym determinizmem. Dzieki
temu kazda
> > komorka przestrzeni fazowej odpowiada jednemu
kanonicznemu mikrostanowi.
> >
>
> To juz troche odbieglo od tematu, ale jeszcze
pociagnijmy. Kiedy mowilem, ze
> proces jest w pelni losowy, mialem na mysli
rownomierny rozklad
> prawdopodobienstwa przejscia do wszystkich mozliwych
stanow w kazdej chwili.
> Losowe generowanie znakow jest takim procesem: zawsze
mozemy wygenerowac kazdy
> znak, z tym samym prawdopodobienstwem. Gaz w naczyniu
nie jest takim procesem,
> chocby dlatego ze w kazdym kroku dazy do rozprezenia
sie.

Nie. Tu chyba nie rozumiesz. Gaz nie dazy. Gaz, jako
uklad, penetruje (ergodycznie - choc to wciaz tylko
hipoteza!) swoja przestrzen fazowa, w ktorej objetosc
makrostanu poczatkowego jest astronomicznie mala w
stosunku do objetosci calej przestrzeni. Dlatego w
naczyniach nigdy nie tworzy sie samoistnie proznia w
polowie ich objetosci.
Znaczy, jakbys mogl zyl 10^{...} dluzej niz
Wrzechswiat, to moze
bys sie doczekal...


> [...]
> > Co znaczy redukuje sie? Dla mnie tyle, ze ta
Shannona
> > jest ogolniejsza.
> >
> Acha, no to sie zgadzamy. W matematyce sie utarlo ze
"A redukuje sie do B"
> znaczy "B jest ogolniejsze" :-), ale to juz zupelnie
inna historia...
>

Ciekawe. Skad sie to bierze?
Redukuje sie - znaczy upraszcza. Uwazacie, ze
ogolniejsze jest prostsze?
To by znamionowalo dominacje platonikow...

Uwaga na marginesie - z mojego doswiadczenia wynika, ze
na tym
Forum trzeba uzywac jezyka potocznego, a nie scislego i
wychodzic
ludziom na przeciw. Inaczej do niczego sie nie dojdzie.

Pozdr

[Gość: Pulbek]

Gość portalu: Ekspert napisał(a):

> Nadal sadze, ze jest bardzo gleboki zwiazek miedzy
> jednym a drugim. Tak jest w fizyce, sadze, ze w teorii
> informacji takoz. O tym wlasne mowa.

Zgadzam sie, o tym wlasnie mowa. Ja sadze ze ten zwiazek
jest o wiele plytszy niz ci sie wydaje.

> > >
> > > O ile rozumiem, zgadzamy sie, ze sensowne ksiazki
> > > maja niska entropie Shannona.
> > >
> > Tak. Chyba od samego poczatku.
>
> Dziwne, jakos to przeoczylem....
>
No to obaj cos przeoczylismy, bo ja przeoczylem ze ty to
przeoczyles...

> Ty patrzysz na ksiazke jako na konkretnu ciag, ja
> patrze na nia
> jako na makrostan charakteryzowany entropia Sh.

Tak, po drodze sie juz tego domyslilem. Ale nie bylo to
latwe: kiedy piszesz "ksiazka" to ja rozumiem "ksiazka",
a nie "zbior ksiazek". Z racji specjalnosci mam gleboka
nabyta niezdolnosc do zgadywania co autor mial na mysli.

Co prawda pisales wczesniej o ksiazce jako o makrostanie,
ale wtedy myslalem ze mowisz o niej jako o zbiorze slow,
bo w swoim pierwszym liscie pisales o przestrzeni slow
(nb. "fazowej", nie wiem co to tam znaczylo).

Jednym slowem, nie rozumialem cie kompletnie i prawde
mowiac nie widze w tym swojej winy. Ja ci nie
wytlumaczylem o co mi chodzi, a ty mi nie wytlumaczyles o
co chodzi tobie.

[...]
>
> Jesli mam losowe zrodlo, to prawd., ze wylosowany ciag
> ma mala entropie jest nizsze (ekponencjalnie?) niz to
> praw. ze ciag ma wyzsza entropie.
>

Ach, wiec ty po prostu o tym... Uwaga uwaga: zgadzam sie
z tym stwierdzeniem. Ale zanim oglosisz ze druga runda
dla ciebie (czyli dla mnie :-) ), przeczytaj to:

1. Nie zgadzam sie, ze to stwierdzenie oznacza ze
istnieje gleboki zwiazek miedzy entropia a
prawdopodobienstwem.

2. Na poparcie tej watpliwosci przytocze jeszcze raz
przyklad z poprzedniego listu. Mozna podac dwa makrostany
(zbiory ksiazek) ktore sa rownie prawdopodobne ale maja
zupelnie rozna srednia entropie. Mozna tez podac dwa
makrostany (tego nie ma w poprzednim liscie, ale chyba
jasne jak to zrobic) ktore maja taka sama srednia
entropie, ale zupelnie rozne prawdopodobienstwo
uzyskania.

3. Dlatego uwazam ze nieuprawnione jest stwierdzenie
"sensowne ksiazki maja mala entropie czyli sa malo
prawdopodobne". Co najwyzej, po rozwianiu nieporozumien
dotyczacych tego czy ksiazka to mikrostan czy makrostan
(a niestety cala ta dyskusje wziela sie wlasnie z tego
nieporozumienia), mozna napisac "sensowne ksiazki maja
mala entropie, a takze (przez przypadek) sa malo
prawdopodobne."

4. Stwierdzenie z p. 3 jest natomiast prawdziwe w
przypadku gazu w naczyniu, poniewaz tam proces nie jest w
pelni symetrycznie losowy, ma "skrzywienie" w kierunku
rownomiernego wypelnienia naczynia czyli zwiekszenia
entropii stanu. Dlatego juz rozwazajac mikrostany mozna
sie z nim zgodzic: pojedynczy konkretny mikrostan w
ktorym czasteczki w miare rownomiernie wypelniaja
naczynie jest bardziej prawdopodobny do uzyskania niz
taki, w ktorym caly gaz skupia sie w jednym kacie.

5. Moge tez podac przyklad w ktorym jest zupelnie na
odwrot: stany o malej entropii sa bardziej prawdopodobne.
Daleko szukac nie trzeba, dzieje sie tak wlasnie przy
pisaniu ksiazek. Jezeli pisarza potraktujemy jako proces
Markowa generujacy litery, to mozna nauwazyc ze tez nie
jest on w pelni losowy: ma skrzywienie w kierunku
zmniejszania entropii (jezeli wlasnie napisal
"encyklope", to jest bardziej prawdopodobne ze zaraz
napisze "dia" niz ze "g5u". Jezeli rozwazymy taki proces
Markowa, to okazuje sie ze czesciej wygeneruje on ciagi o
malej entropii niz o duzej.

6. Reasumujac: twierdze, ze zaleznosc entropii od
prawdopodobienstwa wystapienia nie jest uniwersalnym
prawem, a bardzo mocno zalezy od natury zjawiska. Gleboka
zaleznosc rzeczywiscie istnieje w procesach fizycznych,
ktore po prostu preferuja stany o wyzszej entropii. W
przypadku procesu dokladnie losowego ta zaleznosc nie
jest juz wcale gleboka i wynika po prostu z tego, ze
stanow o niskiej entropii jest malo. Sa tez procesy w
ktorych zaleznosc jest dokladnie odwrotna.

[...]
> Znasz dowcip o czlowieku, ktory lecac w balonie
> zabladzil w chmurach?

Kurcze, kiedys znalem i pamietam ze byl bardzo smieszny!
Mozesz przypomniec?

[...o procesach doskonale losowych...]
> > Losowe generowanie znakow jest takim procesem: zawsze
> mozemy wygenerowac kazdy
> > znak, z tym samym prawdopodobienstwem. Gaz w naczyniu
> nie jest takim procesem,
> > chocby dlatego ze w kazdym kroku dazy do rozprezenia
> sie.
>
> Nie. Tu chyba nie rozumiesz. Gaz nie dazy. Gaz, jako
> uklad, penetruje (ergodycznie - choc to wciaz tylko
> hipoteza!) swoja przestrzen fazowa, w ktorej objetosc
> makrostanu poczatkowego jest astronomicznie mala w
> stosunku do objetosci calej przestrzeni. Dlatego w
> naczyniach nigdy nie tworzy sie samoistnie proznia w
> polowie ich objetosci.

Czy mowiac "objetosc" masz na mysli po prostu liczbe
realizujacych mikrostanow? W takim razie bardzo sie z
toba nie zgadzam...

Twierdzisz ze gaz sie tak sobie przemieszcza przypadkowo
i zwykle wypelnia cale naczynie tylko dlatego ze po
prostu najwiecej jest takich mikrostanow?

W takim razie - gotuj sie do walki, bo postaram sie
sprowadzic to do absurdu. To jest calkowicie sprzeczne z
moja intuicja.

> > W matematyce sie utarlo ze "A redukuje sie do B"
> > znaczy "B jest ogolniejsze"
>
> Ciekawe. Skad sie to bierze?

Ty mi przypomnisz dowcip o balonie, za to ja ci opowiem
dowcip ktory moze ci wyjasni co ci wstretni matematycy
rozumieja pod pojeciem redukcji.

"Wyobraz sobie ze w domu wybucha ci pozar. Na szczescie
masz wiadro, ale puste. Co robisz?

Odpowiedz: Ide do kuchni, odkrecam kran, nalewam wody do
wiadra, ide i gasze pozar woda.

Dobrze. Teraz wyobraz sobie taka sama sytuacje, ale z ta
roznica ze wiadro jest pelne wody. Co robisz?

Odpowiedz: Wylewam wode i redukuje problem do innego, juz
wczesniej rozwiazanego."

Stop!

[Gość: Pulbek]

Stop!

Wlasnie zrozumialem ze to nieprawda co pisalem o gazie
w naczyniu. Nie jest on w pelni losowy, ale nawet
jezeli zalozymy ze jest "lokalnie losowy" (tzn.
czasteczka w kazdej chwili decyduje swobodnie w ktorym
kierunku poleciec) to wszystko jest inaczej niz
pisalem: wszystkie mikrostany sa rownie prawdopodobne,
tw. Sh-McM nic sensownego nie daje, jednym slowem
wszystko tak jak z ksiazkami.

Nadal twierdze ze zaleznosc entropii od
prawdopodobienstwa silnie zalezy od procesu, ale teraz
widze ze wystepuje ona o wiele szerzej niz mi sie
wydawalo. Twoja intuicja byla wiec trafna od samego
poczatku.

Tak wiec zwracam honor, ktorego i tak nie zdolalem
odebrac Druga runda i mecz dla ciebie czyli dla mnie!
Ach, jakie to przyjemne moc stwierdzic ze jest sie
madrzejszym niz przed chwila! I nareszcie mozemy
zakonczyc te dyskusje, juz mi sie niedobrze robi jak
pisze to slowo na 'e'...


Pozdrawiam,

Pulbek.

PS. Przypomnialem sobie ten dowcip z balonem. To ten w
ktorym matematyk na pytanie "Gdzie jestem?" odpowiada
"W balonie"?

[Gość: Ekspert]

Czesc,

Dziekuje bardzo za 3 rzeczy:

1) przypomnienie o odpowiedzialnosci za slowo,
zwlaszcza jak sie
ktos tytuluje "Ekspertem"
2) Przycisniecie mnie do dokladnego nauczenia sie kilku
fascynujacych
rzeczy
3) Duzo przedniej zabawy.

Z balonem tez sie zgadzamy.
Jak bys mial cos ciekawego do przedyskutowania
(zwlaszcza
czysto naukowego) to polecam sie goraca na przyszlosc.
Swoja droga, ciekawe, co wiadomo o entropii Shannona
kodu
genetycznego. Zaczne nowy watek na ten temat, a nuz
ktos cos
slyszal?

Serdeczne pozdrowienia

[Gość: thrundui]

> > > > O ile rozumiem, zgadzamy sie, ze sensowne ksiazki
> > > > maja niska entropie Shannona.

ale ja sie z tym zupelnie nie zgadzam.
Nie dlatego, ze ma wysaka, ale dlatego, ze nie da sie jej policzyc bez generatora.
Argument powtarzany do znudzenia - brak rozkladu prawdopodobienstwa.
Definicja Shannona tez wymaga zadania rozkladow!

Rozwiazanie byloby, gdyby ciag liter byl procesem markova.
Wtedy moznaby policzyc rozklady empiryczne, ktore dla nieskonczenie dlugiej
ksiazki zbiegalyby do prawdziwych

Ale ksiazka nie jest procesem markova!
Nie mozna wiec w latwy sposob policzyc rozkladow epirycznych

Ksiazka nie jest nawet procesem ergodycznym!
Jezeli w jakis tajny sposob nawet uzyskamy rozklady empiryczne one nie beda
zbiegac do prawdziwych!

Slice

[Gość: Ekpert]

Zlozenie naturalne jest takie: generator generuje
wszystkie litery z rownym
prawdopodobienstwem. Przy tej mierze obliczamy
entropie.
Pzdr

[Gość: thrundui]

Gość portalu: Ekpert napisał(a):

> Zlozenie naturalne jest takie: generator generuje
> wszystkie litery z rownym
> prawdopodobienstwem. Przy tej mierze obliczamy
> entropie.

notatka pod wzorem 2.24
mowi, ze entropia Shannona jest wlasciwoscia zrodla, ale ze wzgledu na wlasnosc
ergodycznosci osiagnieta dzieki zalozeniom ma sens mowic o entropii ciagu, ktora
rowna sie entropii zrodla.

Czyli przy naturalnym zalozeniu entropia ksiazki jest jednakowa dla kazdej
ksiazki i najwieksza z mozliwych.

Obliczenia:
Alfabet ma m znakow - prawdopodobienstwo danego = 1/m.
Prawdopodobienstwo ciagu znakow o dlugosci N - (1/m)^N
Ilosci ciagu znakow o dlugosci N - m^N
Entropia ciagu znakow o dlugosci N - -m^N*(1/m)^N*log(1/m)^N = -N log(1/m)
Entopia Shannona zrodla: h_N=-log(1/m).

Stala niezmienna dla kazdej ksiazki i do tego maksymalna!
Czyli jednak nie mowimy o entropii shannona

Chyba jedyny sensowny sposob dzieki ktoremu mozna wprowadzic entropie danej
ksiazki to wlasnie przyjecie, ze wlasciwosci statystyczne zrodla nie sa dane.
Przyjmujac zalozenia odnosnie tych wlasnosci, np. ze generator jest procesem
markowa moznaby okreslic ex post wlasciwosci zrodla i policzyc entropie

no i wtedy, poniewaz ksiazki sie roznia, wiec uzyskamy expost inne wlasciwosci
statystyczne zrodla a wiec i inne entropie

Ale to jest zupelnie inne podejscie niz w trakcie dyskusji.
Dyskutantom chyba pomylila sie entropia ze zlozonoscia algorytmiczna:)

Krecz

[innppp]

Poddaje dyskusje z Toba. Dalej nie wiem co jest wedlug
Ciebie nie w porzadku z definicja Pulbeka z jednego z
listow. Wiem natomiast, ze od dawna i powrzechnie
przypisuje sie entropie tekstom a takze sekwencjom kodu
DNA - i to z sukcesem!

Jestem tylko prostym Ekspertem - konstruuje modele,
opisuje dzieki
nim swiat lepiej niz bez nich. Z pewnoscia daleko mi
jednak do Twojej
scislosci.

Pozdrawiam

[Gość: thrundui]

> Nieporozumienie bierze sie stad ze Ekspert postrzega
> ksiazke jako odpowiednik ukladu makroskopowego.Zas
> Pulbek jako zdarzenie czyli odpowiednik ukladu
> mikroskopowego.

jak narazie to jedyna przedstawiona definicja to definicja entopii informayjnej,
ktora wymaga zadanego z góry rozkladu prawdopodobienstwa
chetnie sie dowiem czym jest "entropia makroskopowa"


> Po tym wstepie sprobujcie wysluchac mnie nedznego
> amatora. Niedawno poznalem wzor na entropie
> podobny jak przedstawil Thurundui tylko z minusem na
> poczatku ,albo z lg(1/Pi) zamiast lg(Pi) i mierzona
> jest w bitach ,natach lub Hartleyach w zaleznosci od

w mojej byl wlasnie ten maly blad
zabraklo minusa

> Chemicy maja swoja entropie i mierza ja w [J/(K*mol)]
> Ich entropia S=0 w temp. 0 stopni Kelvina.
> Twoja entropia Pulbek jest bezwymiarowa jak sie
> domyslam ,wiec z chemikiem bys sobie nie pogadal :-)

to jak ja definiuja aby uzyskac jednoske wymiarowa?
na pewno nie moze byc w niej logarytmu, wiec to juz chyba zupelnie co innego

> Wszystko zalezy od punktu widzenia. Jezeli
> postrzegamy ksiazke jako zrodlo informacji - tak jak
> robil to Ekspert to oczywiscie mozemy wyliczyc sobie
> entropie takiego zrodla.

a jak?
jedyna do tej pory przedstwawiona definicja wymaga rozkladu prawdopodobienstwa,
jezeli nie ksiazki to procesu generujacego znaki (wyrazy). Wtedy kolejne litery
(wyrazy) mozemy interpretowac jako rozne realizacje procesu. Wtedy liczac
rozklady empiryczne mozna by policzyc entropie.
Ale to bedzie entropia ZNAKU lub WYRAZU a nie ksiazki!

Interpretacja taka jest jednak bez sensu, bo kolejne znaki (wyrazy) nie sa
realizacjami zmiennej losowej. Mamy silna zaleznaosc, cos jak autokorelacja.
Mamy wiec nie klasyczne realizacje ale tos jak proces stochastyczny.
Przypadek taki nie mozna nagiac do zwyklej definicji.
Sprawa sie wiec gigantycznie komplikuje

> Dla dluzszych ksiazek generalnie
> bedzie wieksza (o ile nie zawiera np. samych spacji
> albo kropek ;-) ). Generalnie im dluzsza i ciekawsza
> ksiazka tym jej entropia wieksza. Najciekawsze ksiazki
> to oczywiscie te co zawieraja same krzaczki,czyli

to nie jest entropia informacyjna, jak w mojej definicji
Chce tej DEFINICJI!

> Np. w skrajnym przypadku jezeli wybierzemy
> najmniej prawdopodobny uklad znakow dla tresci -wszystkie
> takie same - to entropia takiej ksiazki jako zrodla
> tej tresci bedzie rowna 0 bitow (takze natow czy Hartleyow )

tak ale to bedzie entropia znaku.

[Gość: LPiotrek]

> w mojej byl wlasnie ten maly blad
> zabraklo minusa

A co bys powiedzial gdyby klimatyzacja zamiast
utrzymywac 295K ,chciala cie "ogrzac" do -295K.
Bo programiscie zabraklo gdzies minusa.
Tez maly blad :-))

> > Wszystko zalezy od punktu widzenia. Jezeli
> > postrzegamy ksiazke jako zrodlo informacji - tak jak
> > robil to Ekspert to oczywiscie mozemy wyliczyc sobie
> > entropie takiego zrodla.
>
> a jak?
> jedyna do tej pory przedstwawiona definicja wymaga rozkladu
prawdopodobienstwa,
> jezeli nie ksiazki to procesu generujacego znaki (wyrazy). Wtedy kolejne
litery
> (wyrazy) mozemy interpretowac jako rozne realizacje procesu. Wtedy liczac
> rozklady empiryczne mozna by policzyc entropie.
> Ale to bedzie entropia ZNAKU lub WYRAZU a nie ksiazki!

Czy Pulbek to czyta i nie grzmi ???
Przeciez gdy wydawalo mu sie ze Ekspert pisze ,to co Ty
teraz napisales ,to napisal:
> Ale na Thora i
> Odyna, moglbys sie dowiedziec co to jest entropia!
Teraz to samo powinien powiedziec Tobie ,z ta roznica
ze teraz mialby racje!

Nie ma czegos takiego jak entropia ZNAKU.
Dlaczego??
Bo to nie ma sensu.
Wezmy nasz alfabet. Jakie jest prawdopodobienstwo
wystapienia znaku A w znaku A ? Odp. 100%
a innego znaku niz A w znaku A ? Odp. 0%
Jak to podstawisz do swojego wzoru juz z tym minusem
to otrzymasz EU= -1*log(1) =0
Kazda realizacja znaku ma najnizsza mozliwa entropie
czyli zero !!!
Dlatego stosowanie wzoru na entropie w odniesieniu
do znaku nie ma sensu.
Bo po co liczyc cos co zawsze = 0. ??
Entropia wyrazu - zgoda.(o ile ma wiecej znakow niz 1
,bo wtedy mozna dostac wyrazy nieuporzadkowane
czyli z entropia > 0. )
Wezmy np. wyraz AS. P(A)=1/2 P(S)=1/2
EU(AS)=-[ P(A)*log(P(A))+P(S)*log(P(S)) ] =1
Jest to jednoczesnie maksymalna entropia dla wyrazu
dwuznakowego. Cecha charakterystyczna dla wyrazow
dwuznakowych jest to ze moga byc albo maksymalnie
nieuporzadkowane z entropia =1 jak: AS, PI, ET itd
albo maksymalnie uporzadkowane z entropia =0
jak np. ee, oo, uu, ii, zz, :-))
Dla dluzszych wyrazow np. EU(KOT) > EU(ALA)
,bo P(K)=P(O)=P(T)=1/3 ,a P(A)=2/3 P(L)=1/3
np. EU(AAA)=0 EU(AAAAAAAAAAAAAAAAA)=0 rowniez ! ,bo P(A)=1
Jako zadanie domowe mozesz policzyc sobie
entropie tego postu :-))
Chyba juz nie sprawi Ci to wiekszego problemu.
Mysle ze moi kumple z zaocznych ,po takiej
kawie na lawe tez nie mieli by z tym klopotow :-)

> Interpretacja taka jest jednak bez sensu, bo kolejne znaki (wyrazy) nie sa
> realizacjami zmiennej losowej. Mamy silna zaleznaosc, cos jak autokorelacja.
> Mamy wiec nie klasyczne realizacje ale tos jak proces stochastyczny.
> Przypadek taki nie mozna nagiac do zwyklej definicji.
> Sprawa sie wiec gigantycznie komplikuje

Czy naprawde to tak trudno zrozumiec matematykowi ?
Na AGH-u ucza tego nawet zaocznych :-) ,to nie zart.
Na egzaminie mielismy zadanie z kodem Huffmana.
(jedno z latwiejszych )
To sa przeciez elementarne sprawy.
Teraz to sie nawet zastanawiam ,czy Wy (Ty i Pulbek)
to "se jajcow nie robicie z tego" jakby to Kiepski
powiedzial :-) Bo ze z Pulbeka kawalarz to juz wiemy :-)

> > Dla dluzszych ksiazek generalnie
> > bedzie wieksza (o ile nie zawiera np. samych spacji
> > albo kropek ;-) ). Generalnie im dluzsza i ciekawsza
> > ksiazka tym jej entropia wieksza. Najciekawsze ksiazki
> > to oczywiscie te co zawieraja same krzaczki,czyli

> to nie jest entropia informacyjna, jak w mojej definicji
> Chce tej DEFINICJI

To jest ta wlasnie DEFINICJA i ta entropia (z tym minusem ),
tylko Ty chyba nie bardzo ja rozumiesz.

Tutaj musze dodac jedna rzecz (aby byc scislejszym) ,bo
umknela mi w nocy jak to pisalem. Jezeli w ksiazce
wystepuja rownomiernie(rownolicznie) wszystkie mozliwe znaki
to wydluzanie dlugosci ksiazki nie bedzie juz mialo
wplywu na wartosc entropii ,bo osiagnie ona juz wartosc
maksymalna i taka pozostanie (pod warunkiem tej rownolicznosci)
Np entropia maksymalna dla ksiazek zapisanych znakami
z alfabetu o dlugosci 2^n wynosi n bitow.
(Czyli tyle bitow ile potrzeba do zakodowania
kazdego znaku ,ale to nie jest entropia znaku - to jest
entropia ksiazki!!! . Moze stad Ci przyszla do glowy
ta entropia dla znakow !? )

Np. dla alfabetu {a,b,c}
entropia ksiazek: abcd,aabbccdd,dddabababccc bedzie sobie
rowna i wyniesie 2 bity.
Czyli oznacza to ze srednio kazdy znak z tej ksiazki(traktowanej
jako zrodlo tych znakow) ma 2 bity informacji.
Tresc pojedynczej ksiazki okresla rozklad prawdopodobienstwa
wystepowania w tej konkretnej ksiazce jej znakow (czyli tych
znakow ktore w niej wystapily, a nie tych ktore mogly )
i na podstawie tego
konkretnego rozkladu mozna policzyc konkretna entropie !

Dlatego nie jest nam potrzeba wiecej niz 1 ksiazka.
Dla 2 ksiazek mozemy policzyc 2 entropie itd.
Kazda ksiazka ma swoj rozklad znakow i swoja entropie.
Inna rzecza jest co nazywamy prawdopodobienstwem
takiej ksiazki.Tutaj sa dwie rozniace sie mozliwosci.
Albo chodzi o prawdopodobienstwo ,z jakim konstruowana
ksiazka nalezy do podzbioru ksiazek o pewnych szczegolnych
cechach ze zbioru wszystkich mozliwych .
Albo w drugim przypadku chodzi o prawdopodobienstwo
wystapienia jej w pewnym juz skonstruowanym zbiorze
ksiazek.

W 1 przypadku to prawdopodobienstwo jest zalezne od
metody(sposobu) konstrukcji ksiazki.
Tu sa zgrubsza 2 przypadki : a) konstrukcja polega
na losowaniu znakow ksiazki
b) na losowaniu podzbioru ksiazek o konkretnych cechach
i wybraniu stad jednej.
Zalozmy ze nasza ksiazka to 5 kart do pokera.
W przyp. a) mniej prawdopodobny bedzie duzy poker niz
para lub trojka. Choc oczywiscie prawdopodobienstwo
np duzego pokera w piki jest takie samo jak pary czworek
(karo i trefl) dwojki pik siodemki karo i asa kier.
W przyp b) jezeli mamy dwie kupki na jednej pokery
a na drugiej np. pary i losujemy nie karty ,a numer
kupki to oczywiscie pokery moga byc rownie prawdopodobne
co pary.
A tak swoja droga to te wszystkie ksiazki beda mialy
niezalenie od swego prawdopodobienstwa maksymalna
entropie bo karty sie nie powtarzaja. Z ksiazkami do czytania
moze byc inaczej.

W 2 przypadku od zawartosci i liczebnosci zbioru juz
skonstruowanych ksiazek.
Tutaj sposob konstrukcji ksiazek jest bez znaczenia ,bo
mamy juz gotowy zestaw ksiazek.
Ten przypadek jest diametralnie inny od przyp 1
ze wzgledu na sposob liczenia entropii i traktowania
ksiazki.
W tym przypadku ksiazka to po prostu odpowiednik
znaku z przyp 1. Natomiast caly zbior ksiazek
to odpowiednik ksiazki z przyp 1. Entropie liczymy
oczywiscie tutaj nie dla pojedynczej ksiazki
tylko dla calego zbioru ksiazek.
W tym przypadku pojecie ksiazki jest mylace ,bo rownie
dobrze zamiast nich mogly by byc cegly, zapalki, albo
jakies inne przedmioty(obiekty) Tu mylace jest tez to
,ze fizycznie dla cegly (obiektu makroskopowego ,czyli zbioru
stanow mikroskopowych) mozna liczyc entropie
,bo traktowana jest ona podobnie jak ksiazka z przyp 1.
Natomiast z punktu widzenia teoii informacji taka
cegla(ksiazka czy zapalka ) jest traktowana jak
znak czyli odpowiednik stanu mikroskopowego(kwantowego ?)
w fizyce.
Ekspert mowil oczywiscie o przyp 1 , a nie 2.
Mam nadzieje ze to przekona Pulbeka.
Przepraszam jesli wyglada to jak madrzenie sie ,ale
nie chce mi sie tego juz redagowac , a wydaje mi sie
ze ma ta zelete ze jest maksymalnie jasne (jak na moje
mozliwosci wyjasniania)
Teraz to chyba ze 2 lata bede sam pamietal co to jest
ta entropia :-)))

pozdrawiam
LPiotrek

[Gość: thrundui]

> Nie ma czegos takiego jak entropia ZNAKU.
> Dlaczego??
> Bo to nie ma sensu.
> Wezmy nasz alfabet. Jakie jest prawdopodobienstwo
> wystapienia znaku A w znaku A ? Odp. 100%
> a innego znaku niz A w znaku A ? Odp. 0%

i oto objawil sie nam znawca pojecia entropii!

zawsze mowiac o pojenciu entopii czegos mowimy o entropii stwora generujacego to
cos. Inaczej nie mielibysmy rozkladu.
Dla kazdego znaku w danym jezyku mozna np obliczyc prawdopodobienstwo empiryczne
jego pojawienia sie.
Wtedy entropia znaku wynosi
-suma(i=1 do 24 lub 32)log(pi)*pi - pi empiryczne prawdopodobienstwo znaku i

Pojecie entropii litery A to jest natomiast kompletny absurd.

> Entropia wyrazu - zgoda.(o ile ma wiecej znakow niz 1
> ,bo wtedy mozna dostac wyrazy nieuporzadkowane
> czyli z entropia > 0. )
> Wezmy np. wyraz AS. P(A)=1/2 P(S)=1/2
> EU(AS)=-[ P(A)*log(P(A))+P(S)*log(P(S)) ] =1

oooo
autor znowu "rozumie" pojecie entropi
liczac entropie wyrazu musi miec rozklad prawdopodobienstwa dla zmiennej losowej
wyraz.
To co widzimy na gorze ma sie ni jak do tego. Dlaczego kolejne litery w wyrazie
mialyby byc generowane przez zmienna losowa? czyli dlaczego prawdopodobientwo, ze
druga litera to S nie zalezy od teho jaka jest pierwsza litera?
Po drugie jezeli to jest wzor na co kolwiek to tylko na entropie wyrazu
zawierajacego A i S
nie ma pojecia entropii wyrazu AS!

> Jako zadanie domowe mozesz policzyc sobie
> entropie tego postu :-))

gdzie ja sie wyrazilem niescisle?
co w moich postach dopuszcza takie zadanie?

> Np. dla alfabetu {a,b,c}
> entropia ksiazek: abcd,aabbccdd,dddabababccc bedzie sobie
> rowna i wyniesie 2 bity.

co to jest entropia ksiazki abcd?
jaki jest rozklad prawdopodobienstwa dla ksiazki abcd?
i dla pozostalych?

> Tresc pojedynczej ksiazki okresla rozklad prawdopodobienstwa
> wystepowania w tej konkretnej ksiazce jej znakow (czyli tych
> znakow ktore w niej wystapily, a nie tych ktore mogly )
> i na podstawie tego
> konkretnego rozkladu mozna policzyc konkretna entropie !

to ja mam podchwytliwe pytanie
w artykule podeslanym przez Experta
xxx.uni-augsburg.de/abs/nlin.CD/0101029
(str 12)
aby policzyc entropie ciagu znakow konieczne bylo zalozenie stacjonarnosci
odpowiedniego procesu ciagu znakow.
u ciebie do policzenia entropii nie jest potrzebne zalozenie stacjonarnosci
ten artykul jest bardzo nowy.

Ty mysiales wiec stworzyc nowsze ogolniejsze pojecie entropii aby to osiagnac.
albo o czyms zapomniales.

A zapomniales wlasnie o autokorelacji i nietrywielnych rozkladach warunkowych.
Z tych wlasnie powodow nie mozemy policzyc entropii pojedynczej ksiazki.
Zalozenie stacjonarnosci jest niezbedne aby policzyc wszystkie empiryczne
rozklady warunkowe a i to tylko dla ksiazek nieskonczenie dlugich beda zbiegac do
prawdziwych.

Poniewaz dla ksiazki zalozenie stacjonarnosci jest falszywe, nie ma wiec zadnej
nadziei na obliczenie jej entropii.

> Chyba juz nie sprawi Ci to wiekszego problemu.
> Mysle ze moi kumple z zaocznych ,po takiej
> kawie na lawe tez nie mieli by z tym klopotow :-)

ja bym troszeczke uwazal z komentarzami
bo nie popisales sie gruntowna znajomoscia tematu

[Gość: LPiotrek]

> i oto objawil sie nam znawca pojecia entropii!

> zawsze mowiac o pojenciu entopii czegos mowimy o entropii stwora >
generujacego to
> cos. Inaczej nie mielibysmy rozkladu.
> Dla kazdego znaku w danym jezyku mozna np obliczyc prawdopodobienstwo >
empiryczne
> jego pojawienia sie.
> Wtedy entropia znaku wynosi
> -suma(i=1 do 24 lub 32)log(pi)*pi - pi empiryczne prawdopodobienstwo > znaku i

No wlasnie stwora a nie ZNAKU.
Znak nie generuje ciagu znakow ,wiec nie posiada rozkladu prawdopodobienstwa
tylko prawdopodobienstwo.
STWOR zgodnie z rozkladem generuje znaki w ciagu i dla tego rozkladu mozna
policzyc entropie. Wiec jest to entropia STWORA jesli juz go chcesz.

> zawsze mowiac o pojenciu entopii czegos mowimy o entropii stwora >
generujacego to
> cos. Inaczej nie mielibysmy rozkladu.

Otoz nie zawsze !!!!
Przeczytaj uwaznie co napisal Pulbek 14-11-2001 22:37

> Wez jakis ciag znakow. Policz w nim wystapienie kazdej litery alfabetu.
Dostajesz
> pewien rozklad i mozesz policzyc jego entropie w znany sposob. Teraz
policz w nim
> wystapienie wszystkich ciagow dwuliterowych jakie mozesz utworzyc z
liter
> alfabetu. Dostajesz nowy rozklad, nad innym juz zbiorem zdarzen i znowu
mozesz
> policzyc jego entropie. To samo robisz dla trojek, czworek i tak dalej.
Dostajesz
> pewien ciag liczb. Co prawda nie mozesz tego robic w nieskonczonosc bo
ciag
> znakow jest skonczony, ale powiedzmy ze jest niesamowicie dlugi. Wtedy
okazuje
> sie ze ciag entropii jest zbiezny i jego granice nazywamy entropia ciagu.

Czyli mamy jednak rozklad ,ba nawet caly ciag rozkladow !!!!!!!

Wiec ja stosuje do obliczania entropii konkretnych ksiazek
ten przepis tylko ,ze w skroconej formie.

> Wez jakis ciag znakow. Policz w nim wystapienie kazdej litery alfabetu.
Dostajesz
> pewien rozklad i mozesz policzyc jego entropie w znany sposob.

Dlaczego w tak skroconej ? Bo ta granica ,o ktorej pisze Pulbek jest
zawsze rowna zero niezaleznie od tresci konkretnego ciagu.
Bo w ciagu n-znakowym moze wystapic tylko i wylacznie 1 raz ten sam
ciag n-znakowy wiec rozklad prawodopodobienstwa jest taki sam
jak dla ciagu 1-znakowego. Czyli jeden slupek 100% inne(pozostale) 0%
dla takiego rozkladu entropia ze wzoru =0.
( O ile ja to dobrze zrozumialem. - zawsze moge sie mylic )

Piszesz
> Pojecie entropii litery A to jest natomiast kompletny absurd.

Milo mi to slyszec, bo to wlasnie chcialem Ci uzmyslowic :-)

>oooo
>autor znowu "rozumie" pojecie entropi
>liczac entropie wyrazu musi miec rozklad prawdopodobienstwa dla zmiennej
>losowej wyraz

Nieee !!! To jest potrzebne by znac entropie STWORA generujacego takie wyrazy.
Wlasnie caly problem tkwi w tym ,ze nie chcesz tego dopuscic na mysl.

> To co widzimy na gorze ma sie ni jak do tego. Dlaczego kolejne litery w
wyrazie
> mialyby byc generowane przez zmienna losowa? czyli dlaczego
prawdopodobientwo, ze
> druga litera to S nie zalezy od teho jaka jest pierwsza litera?
> Po drugie jezeli to jest wzor na co kolwiek to tylko na entropie wyrazu
> zawierajacego A i S

No wlasnie !!! Brawo !! Jednak sie udalo :-)
Entropia wyrazu ,nie stwora.

> nie ma pojecia entropii wyrazu AS!

I to jest wielce zabawne ,jak profesjonalista(?)
wyglasza takie kategoryczne stwierdzenia.
Moze go nie ma w matematyce. Tylko czy jest w niej tam wszystko ???

> gdzie ja sie wyrazilem niescisle?
> co w moich postach dopuszcza takie zadanie?

Problem w tym ze w Twoich postach ,to nic tego nie dopuszcza !! ;-))
Tylko czy Twoje posty sa cala wiedza jaka ludzkosc posiadla ???

Polecam posty Pulbeka i Eksperta od 14-11-2001

> Ty mysiales wiec stworzyc nowsze ogolniejsze pojecie entropii aby to osiagnac.
> albo o czyms zapomniales.

Nie ,to nie sa moje wynalazki :-)

> A zapomniales wlasnie o autokorelacji i nietrywielnych rozkladach warunkowych.
> Z tych wlasnie powodow nie mozemy policzyc entropii pojedynczej ksiazki.

Tobie caly czas chodzi o entropie stwora generujacego ksiazki.
A mozna przeciez spojrzec na ksiazke w taki sposob jakby to byl
stwor. Stwor ktory generuje ksiazki ze znakow jakie posiada
nasza nieszczesna ksiazka i to z takim rozkladem z jakim
wystepuja one w niej.
I nazwac entropie tego wymyslonego stwora iz jest to entropia
tej ksiazki (na bazie ktorej powstal ow stwor ).

> ja bym troszeczke uwazal z komentarzami
> bo nie popisales sie gruntowna znajomoscia tematu

Alez ja sie nie zamierzam popisywac i nie zamierzalem.
Napisalem to co wydaje mi sie ze wiem na ten temat tylko
dlatego ze chcialem szybko wyjasnic i samemu sie
cos dowiedziec jak to jest z ta entropia.
Gdybys ustalil z Ekspertem i Pulbekiem jakis jeden spojny
punkt widzenia tobym sie wcale nie odzywal tylko bym
to sobie czytal.
Nigdy nie twierdzilem ze jestem jakims znawca tematu i nikomu
nie zamierzam(lem) udowadniac swojej wyzszosci, ani komus
dokuczyc ,tylko bawi mnie gdy ktos kto podaje sie za fachowca
uparcie twierdzi ze czegos nie ma ,gdy inni fachowcy pisza ze jest.
Bo jesli to robi amator to nie ma w tym nic nadzwyczajnego.
A do tego tak bardzo sie upierasz ,ze zaczynam sie
zastanawiac dlaczego? Moze odpowiesz mi w nastepnym poscie.
Mam nadzieje ze nie czujesz sie "sponiewierany" moimi
usmieszkami, bo wstawiam je tam wtedy gdy jest mi wesolo.

pozdrawiam
LPiotrek
ps. a swoja droga mam jedno pytanie osobiscie do Ciebie
czy gdy kiedys pisales o tym ,ze czlowiek jest jak kamien
w watku "Czym czy kim jestesmy"
to byl to taki numer jak Pulbeka ,czy pisales na serio ??

[Gość: thrundui]

> No wlasnie stwora a nie ZNAKU.

ZNAK i WYRAZ to STWORY.
z definicji entropii informacyjnej wynika, ze nie ma pojecia entropii danego
znaku, wyrazu czy ksiazki
zawsze mowiac o entropii znaku, wyrazu, gazu czy muszelki mowimy o entropii
procesu, ktory je generuje.
I nikt tego nie zaznacza bo to oczywiste.
Mi tez sie nie chcialo dopisywac kilkadziesiat wyrazow przed ZNAK.

> > zawsze mowiac o pojenciu entopii czegos mowimy o entropii stwora >
> generujacego to
> > cos. Inaczej nie mielibysmy rozkladu.
>
> Otoz nie zawsze !!!!
> Przeczytaj uwaznie co napisal Pulbek 14-11-2001 22:37
>
> > Wez jakis ciag znakow. Policz w nim wystapienie kazdej litery alfabet
> u. Dostajesz pewien rozklad i mozesz policzyc jego entropie w znany sposob.
> Teraz policz w nim wystapienie wszystkich ciagow dwuliterowych jakie mozesz
> utworzyc z liter alfabetu. Dostajesz nowy rozklad, nad innym juz zbiorem
> zdarzen i znowu mozesz policzyc jego entropie. To samo robisz dla trojek,
> czworek i tak dalej.Dostajesz pewien ciag liczb. Co prawda nie mozesz tego
> robic w niskonczonosc bo ciag znakow jest skonczony, ale powiedzmy ze jest
> niesamowicie dlugi. Wtedy okazuje sie ze ciag entropii jest zbiezny i jego
> granice nazywamy entropia ciagu.
> Czyli mamy jednak rozklad ,ba nawet caly ciag rozkladow !!!!!!!
>
> Wiec ja stosuje do obliczania entropii konkretnych ksiazek
> ten przepis tylko ,ze w skroconej formie.

to defincja mi umknela
caly czas mowiono najpiej o definicji entropii informacyjnej, potem shannona
a to jest zupelnie inna definicja.
definicja shannona wymagala rozkladow apriori zrodla
ta natomiast mowi, ze mozna obliczyc rozklady empiryczne.
Ok.
Mozna przyjac, ze rozklad zrodla jest nieznany i chcemy go obliczyc majac jego
realizacje. Potem korzystajac z tych rozkladow obliczamy entropie zrodla.
Wtedy pojecie entropii konkretnej ksiazki mialoby sens, pamientajac, ze jest to
entropia zrodla, ktore generuje dana ksiazke.

Tak mozna zrobic w ogolnosci, ale nie w ten sposob jak w definicji powyzszej.
Zawsze obliczajac rozklad empiryczny musimy miec zalozenia apriori o tym
rozkladzie - np jest to proces markova.
Ta definicja tez ma implicite takie zalozenie.

W definicji entropii shannona wymagana jest znajomosc prawdopodobienstwa wyrazu
C_N=(s(1),s(2),...,s(n)) s(i) - znak.

P(C_N)=P(s(1),s(2),...,s(N)).

Zaklada sie jeszcze stacjonarnosc, tzn:
P(s(1),...,s(N))=P(s(t+1),...,s(t+N)) At

I z tad moznaby wnioskowac, ze prawdopodobienstwo wystapienia ciagu AB jest
zawsze jednakowe. Moznaby wiec je obliczyc epirycznie w oparciu o dany ciag.
Tak jest w danej definicji.

A gdzie tam!
Stacjonarnosc nie gwarantuje, ze rozklady warunkowe sa stale w czasie!
tzn prawdopodobienstwo, ze wystapi ciag AB, pod warunkiem, ze wczesniej jest C tzn
(CAB) moze byc zupelnie inne niz pod warunkiem, ze wczesniej jest D (tzn DAB)!
Ta zaleznosc moze byc dowolnie skomplikowana! Prawdopodobienstwo warunkowe
wystapienia ciagu AB moze zalezec od miliona liter wczesniej!

My mamy tylko jedna realizacja zrodla. Wszystkie rozkladu jakie mozemy policzyc
sa to wiec tylko rozklady warunkowe. Ale ona nam nie sa do niczego potrzebne
My musimy miec rozklady bezwarunkowe

Je mozna obliczyc tylko przy dodatkowych zalozeniach odnosnie procesu zrodla.
W tej definicji nie ma zadnych zalozen odnosnie zrodla!

Poniewaz definicja na gorze zaklada, ze pojecie prawdopodobienstwa AB w ciagu ma
sens, czyli implicite zaklada, ze wszystkie prawdopodobientswa warunkowe sa takie
same - czyli ze kolejne litery sa niezalezne!
Nie trzeba liczyc prawdopodobienstwa ciagu AB, bo mozna je obliczyc w oparciu o
prawdopodobienstwa A i B.
Jedyne wiec co musimy zrobic w tej definicji to policzyc czestotliwosci
poszczegolnych liter.

Ale we wszystkich ksiazkach czestosci wystapienia danej litery sa podobne.
Tak samo w DNA
Wszystkie ksiazki i kody genetyczne maja wiec ta sama entropia w tej definicji!

Ta proba zdefiniowania entropii ksiazki jest jednak juz w duzej mierze udana.
Idzie w dobrym kierunku. Zalezenie niezaleznosci kolejnych liter jest jednka zbyt
silne.
Kolejne w kolejce skomplikowania jest zalozenie, ze proces jest markowowski.
Ale nie malezy zbytnio cieszyc sie, ze jest to nastepny szczebel w hierarchii
skomplikowania. Sprawa i tak sie juz strasznie komplikuje:)
Bez silnych komputerow sie nie obejdzie:)
No ale ksiazka nie jest procesem markowowskim - potrzebne sa znacznie slabsze
warunki - czyli znacznie silniejsze komputery

> > Ty mysiales wiec stworzyc nowsze ogolniejsze pojecie entropii aby to osiag
> nac.
> > albo o czyms zapomniales.
>
> Nie ,to nie sa moje wynalazki :-)

najwidoczniej autorzy ksiazek chcieli oszczedzic czytelnikom zawilosci
statystyczne

> > A zapomniales wlasnie o autokorelacji i nietrywielnych rozkladach warunkow
> ych.
> > Z tych wlasnie powodow nie mozemy policzyc entropii pojedynczej ksiazki.
>
> Tobie caly czas chodzi o entropie stwora generujacego ksiazki.
> A mozna przeciez spojrzec na ksiazke w taki sposob jakby to byl
> stwor.

Zawsze musi byc stwor. Entropia sie bez niego nie obejdzie. W definicji powyzej
stworem jest proces generujacy litery danej ksiazki. W oparciu o realizacja tego
procesu chcemy okreslic rozklad prawdopodobienstwa tego stwora. Poniewaz jest
jedna realizacja, wszystkie dane empiryczne sa warunkowe. Nam sa potrzebne
rozklady bezwarunkowe, wiec potrzebne sa silne narzedzie aby te rozklady
bezwarunkowe policzyc z warunkowych.

Problemow tych sie unika zakladajac implicite lub explicite, ze kolejne litery sa
niezalezne. Ale to w stosunku do ksiazki i DNA jest idiotyczne.

> ps. a swoja droga mam jedno pytanie osobiscie do Ciebie
> czy gdy kiedys pisales o tym ,ze czlowiek jest jak kamien
> w watku "Czym czy kim jestesmy"
> to byl to taki numer jak Pulbeka ,czy pisales na serio ??

Zawsze pisze na serio:)

[Gość: LPiotrek]

> to defincja mi umknela
> caly czas mowiono najpiej o definicji entropii informacyjnej, potem shannona
> a to jest zupelnie inna definicja.
> definicja shannona wymagala rozkladow apriori zrodla
> ta natomiast mowi, ze mozna obliczyc rozklady empiryczne.
> Ok.
> Mozna przyjac, ze rozklad zrodla jest nieznany i chcemy go obliczyc majac
jego
> realizacje. Potem korzystajac z tych rozkladow obliczamy entropie zrodla.
> Wtedy pojecie entropii konkretnej ksiazki mialoby sens, pamientajac, ze jest
to
> entropia zrodla, ktore generuje dana ksiazke.

Ty ciagle chcesz wykorzystywac te rozklady empiryczne
do liczenia entropii zrodla ksiazki - stwora :-)
Jesli tego tez chcial Ekspert ,to przyznaje racje Tobie.
Bez dodatkowych zalozen co do wlasciwosci zrodla
nie policzymy na podstawie ksiazki, ani nawet tryliona
ksiazek wiarygodnej wartosci entropii tego zrodla ,czyli
wedlug nomenklatury jakiej uzywasz entropii tej ksiazki.
Jedna rzecz jaka z pewnoscia bedzie mozna powiedziec to ,to
ze jesli w tej ksiazce(-zkach) wystapia choc dwa rozne
znaki to entropia tego zrodla jest wieksza od zera.
Po to sa te wszystkie zalozenia o ktorych wspominasz
,aby mozna bylo policzyc na podstawie rozkladu empirycznego
rozklad zrodla ,ktorego nigdy empirycznie nie poznamy,choc
mozemy poznac(zmierzyc) mu rowny.
Tylko ja nie o tym pisalem.
Mam duza prosbe do Ciebie ,sprobuj zrobic krok w moim
kierunku i zrozumiec o czym ja pisze ,chocby bylo to
najglupsza rzecza jaka kiedykolwiek slyszales.
A jesli naprawde masz IQ (jak sam napisales)
to nie sprawi Ci to wiekszego problemu :-)
To naprawde jest moja prosba ,a nie zlosliwosc.
Przeczytaj dokladnie ponizej:

> > Tobie caly czas chodzi o entropie stwora generujacego ksiazki.
> > A mozna przeciez spojrzec na ksiazke w taki sposob jakby to byl
> > stwor.

> Zawsze musi byc stwor. Entropia sie bez niego nie obejdzie. W definicji
powyzej
> stworem jest proces generujacy litery danej ksiazki. W oparciu o realizacja
tego
procesu chcemy okreslic rozklad prawdopodobienstwa tego stwora

Alez zgadzam sie musi byc ,tylko moze to byc nieco inny
stwor ,powiedzmy DEMON :-)

Ten DEMON nie zbudowal tej ksiazki ,bo zrobil to stwor.
To DEMON zostal "zbudowany"(tzn. posiada takie wlasciwosci
jak rozklad empiryczny tej ksiazki ) na podstawie ksiazki.
Zapytasz a czymze jest ten DEMON ?
DEMON to proces poznawania ksiazki !!!
Poznawania jej znak po znaku.Robimy jedno zalozenie
ze kazdy znak ksiazki mozemy poznac z jednakowym
prawdopodobienstwem w danej chwili. Wtedy poznawanie
ksiazki znak po znaku jest rownie prawdopodobne
jak kazdy inny sposob jej poznawania.
A jest to dosyc charakterystyczny sposob dzialania.
Wtedy mozemy policzyc entropie DEMONA - policzyc to moze
zle slowo ,bo my juz ja policzylismy - i przypisac ta
entropie tej ksiazce nazywajac to miara nieuporzadkowania
tej ksiazki. Moze sie juz domyslasz ze ta ksiazke mozemy
tez poznawac np. po 2 ,3, 4 itd znaki naraz ,wtedy otrzymamy
innych DEMONOW: D2 D3 D4 itd i dla kazdego z nich bedziemy
mogli policzyc entropie. Te entropie beda entropiami
tej ksiazki poznawanej roznymi sposobami. Entropia
ksiazki poznanej w akcie jednorazowego poznania bedzie
rowna zero oczywiscie. Z takiego punktu widzenia jest ona
"struktura" idealnie uporzadkowana.
Mozesz zapytac po co nam te entropie ?
Przydaja sie np. do kompresji ksiazek :-)
Zwroc uwage ze Twojego stwora tez mozna postrzegac jako
jakiegos DEMONA ,czyli proces poznawania czegos co jest
niezmienne od poczatku do konca wszechswiata ,a poznawane
znak po znaku sprawia wrazenie przypadkowosci.
Ja nie twierdze ,ze to jest jakis naukowy punkt widzenia
nie ukrywam specjalnie swojego braku kwalifikacji
do wypowiadania sie. Jezeli jest to glupie to chetnie
przeczytam dlaczego ,byle tylko odpowiedz nie byla w stylu
to jest glupie ,bo to nie istnieje, tak nie wolno itp.

pozdrawiam
LPiotrek

[Gość: thrundui]

Gość portalu: LPiotrek napisał(a):

Entropia ksiazki jako proces poznania!
dobre!

bierzemy sobie grupke 1000 osob (albo jedna osobe poznajaca ksiazke 1000 razy)
kazemy im czytac ksiazke
mierzymy rozklad poznania
i liczymy entropie tego rozkladu

pomysl moze i zabawny
ale matematykow nie przekona

a co do kompresji
to dekompresja moze sie zawalic,
jezeli beda ja dokonywac ludzie o "innym poznaniu" :)


wracajac do tematu chaosu
to poslugiwanie sie pojeciem entropii w przypadku chaosu jest zupelnie nie na
miejscu. Przeciez teoria chaosu charakteryzuje sie tym, ze ze szeregi lub procesy
sa generowane przez urzadzenie calkowicie deterministyczna! Wszystko da sie
policzyc!
Entropia natomiast z definicji opiera sie na procesach losowych - cos nie moze
dac sie policzyc

Entropia do chaosu jest jak piesc do nosa
po prostu pojecie z innej galaktyki
wszystkie powyzsze rozwazania przypominaja probe zaadaptowania turbiny parowej do
grup galois.
Z powszechnym oburzeniem jak ktos niesmialo sie zastanawia czy to ma sens

[Gość: LPiotrek]

Chyba jednak marnowalem czas :(
LPiotrek

[Gość: thrundui]

> Chyba jednak marnowalem czas :(
> LPiotrek

zalozmy ze jest nieprzeliczlanie wiele jezykow na jednakowym alfabecie.

Rozpatrzmy dwa jezyki
istnieje tlumaczenie z jednego na drugi jezyk J - odworowanie, ktore ciagowi x
przyporzadkowuje ciag f_J(x) w drugim jezyku.

jezykow jest nieprzeliczalnie wiele
moze istniec wiec sytuacja w ktorej dla ustalonego ciagu x i dowolnego ciagu y
istnieje jezyk J, taki ze f_J(y)=x
tzn istnieje jezyk w ktorym dowolny ciag znaczy to samo co x
i z drugiej strony dany ciag x w jezyku pierwszym moze znaczyc cokolwiek w jezyku
drugim.

Rozpatrzymy dwie galaktyki.
Osobnik z pierwszej zapisal tekst zupelnie przypadkowy
Osobnik drugiej galaktywki napisal epopeje galaktyczna.

wysylaja takie ksiazki tobie.
Zaskoczenie - obie wygladaja jak 111111.....
(z wczesniejszych rozwazan wynika ze jest to mozliwe)

pytanie
11111....
jest calkowicie nieuporzadkowane czy zupelnie uporzadkowane?
jak to mozliwe, zeby ocena uporzadkowania ksiazki zalezala od jezyka jakim sie
poslugujesz?

Tym samym entropia niemca i entropia anglika to inne entropie
Entropia zdefiniowana wiec w sposob jaki chcesz nie mierzy w zaden sposob tresci

A niech to!

[Gość: Ekspert]

Ufff, nie moge sie jednak powstrzymac.

Szansa na to, ze wygenerujesz ciag bitow o tym stopniu
uporzadkowania
jak 111.....111 (razy N) zupelnie przypadkowo, dazy do
zera jak
1/2^(N-1). Przy odpowiednio duzym N, prawdziwe jest
zdanie: moze sie zdarzyc, ale nigdy w praktyce. Gaz tez
moze sie przypadkowo skupic w polowie naczynia.
Widziales to kiedy? Analogia jest blizsza niz
myslisz...

[Gość: thrundui]

> Ufff, nie moge sie jednak powstrzymac.
>
> Szansa na to, ze wygenerujesz ciag bitow o tym stopniu
> uporzadkowania
> jak 111.....111 (razy N) zupelnie przypadkowo, dazy do
> zera jak
> 1/2^(N-1).

tak, ale to dotyczylo zwiazku miedzy entropia a semantycznym a nie syntaktycznym
skomplikowaniem tekstu
i mialo pokazac, ze nie ma sensu poslugiwanie sie takimi miarami do mierzenia
semantycznej zlozonosci tekstu.
Autor zamieszania (LPiotrek) mowil o poznaniu nie o skladni

[Gość: LPiotrek]

> Rozpatrzymy dwie galaktyki.
> Osobnik z pierwszej zapisal tekst zupelnie przypadkowy
> Osobnik drugiej galaktywki napisal epopeje galaktyczna.

> wysylaja takie ksiazki tobie.
> Zaskoczenie - obie wygladaja jak 111111.....
> (z wczesniejszych rozwazan wynika ze jest to mozliwe)

Ten pierwszy osobnik to zupelny kretyn :-)
Wysylac przypadkowy tekst do innej galaktyki ....

Ale ten drugi ,to jeszcze wiekszy idiota :-)))
Zamiast wysylac miliardy bitow swej galaktycznej epopei
mogl wyslac tylko kilkadziesiat podajac dlugosc tego ciagu "11111..."
Jak mu teraz intergalaktyczna tepsa przypier... (przysle) rachunkiem
za ten glupi transfer ,to sie biedak od intergalaktycznych
komornikow nie opedzi :-)))
A dlaczego wiekszy ???
Bo on wcale nie wyslal epopei ,jego epopea pozostala
w jego dekoderze ktory zamienia ten cholernie dlugi
ciag jedynek w ambitny jak sie domyslam utwor literacki
(kto by chcial placic tyle kasy i tracic reputacje
genialnego pisarza? ).

> pytanie
> 11111....
> jest calkowicie nieuporzadkowane czy zupelnie uporzadkowane?
> jak to mozliwe, zeby ocena uporzadkowania ksiazki zalezala od jezyka jakim
sie
> poslugujesz

Oczywiscie ,ze ten ciag jest bardzo uporzadkowany,a
entropia tego ciagu ,czyli srednia wartosc informacji
jednego znaku tego ciagu wynosi ZERO.(Pomijajac znak konca
ciagu -przeciez cos musi byc na koncu abysmy wiedzieli
kiedy sie skonczyl).Biorac go pod uwage to jest ciut > 0.
Co jeszcze lepsze gdy zastosuje sie inny alfabet(slownik)
poprzez laczenie znakow w slowa po n znakow
entropia bedzie powoli rosnac dochodzac do 1
w poblizu n=1/2 dlugosci tego ciagu.
Dlatego taki ciag poddaje sie bardzo dobrze kompresji
z ktorej sie tak nabijales alfo i omego ,wiedzy o entropii :-)

> Tym samym entropia niemca i entropia anglika to inne entropie
> Entropia zdefiniowana wiec w sposob jaki chcesz nie mierzy w zaden sposob
tresci

Oczywiscie ze moga byc rozne nawet Niemiec ,moze uzywac
roznych alfabetow w swoim dekoderze ,podobnie jak Anglik :-)
To nie entropia mierzy tresc ,tylko tresc i alfabet( i zwiazany
z nim DEMON) jakim ta tresc jest czytana okresla
entropie tej tresci przy tym alfabecie(czyli rowniez
entropie tego DEMONA wg. Ciebie to przede wszystkim jego entropie
- bo to DEMON jest procesem) :-)
Moze zrob sobie jeszcze raz ten test na IQ ,moze spadlo na 190 :-)
Bo moje nie przekracza chyba setki ,ale i tak nie narzekam :-)
A moze mierzyles sobie cisnienie !? :-))

pozdrawiam z usmiechem :-)
LPiotrek

[Gość: thrundui]

> Ten pierwszy osobnik to zupelny kretyn :-)
> Wysylac przypadkowy tekst do innej galaktyki ....
>
> Ale ten drugi ,to jeszcze wiekszy idiota :-)))
> Zamiast wysylac miliardy bitow swej galaktycznej epopei
> mogl wyslac tylko kilkadziesiat podajac dlugosc tego ciagu "11111..."
> Jak mu teraz intergalaktyczna tepsa przypier... (przysle) rachunkiem
> za ten glupi transfer ,to sie biedak od intergalaktycznych
> komornikow nie opedzi :-)))

ha
to moze jeszcze mi wytlumaczych dlaczego ksiazki nie sa spakowane!
slow jest jakies 50 tys. Moznaby wszystkie ponumerowac, zapisac w systemie
50tysiecznym
i tekst skrocilby sie powiedzmy siedem razy!
to tylko najbardziej trywialny sposob kompreji
mozna by znacznie lepiej

dlaczego mieszkaniec Galaktyki Bardzo Odleglej mialby kompresowac skoro ludzie
tego nie robia?

[Gość: LPiotrek]

Jeszcze jedno uscislenie -wyjasnienie.
Dla mnie tresc ciagu,czy ksiazki to "11111..."
,a sens(znaczenie) tej tresci ,to zupelnie inna sprawa.
Dla mnie tresc ,to po prostu znaki - ich uklad.
Poznanie ,to odczytanie(odbior) znakow ,a nie przypisanie
tym znakom sensu(znaczenia). W tym znaczeniu (jakiego
uzywam ) tresc ma charakter uniwersalny ,niezalezny
od sensu lub jego braku dla tej tresci.
Teraz dopiero zauwazylem ,ze moglem zostac przez to
niewlasciwie zrozumiany.
Ale tyle o tym pisalem ,ze wydawalo mi sie ,ze wyrazilem
sie dosyc jasno. Zreszta w przypadku watpliwosci
prosze pytac. Dlaczego to tylko ja mam ponosic caly
trud wyjasniania ,a druga strona czyli Ty nie ma zbytniej
ochoty podjecia w tym kierunku jakiegos wysilku ???

pozdrawiam
LPiotrek

[Gość: LPiotrek]

> Entropia ksiazki jako proces poznania!
> dobre!

> bierzemy sobie grupke 1000 osob (albo jedna osobe poznajaca ksiazke 1000 razy)
> kazemy im czytac ksiazke
> mierzymy rozklad poznania
> i liczymy entropie tego rozkladu

> pomysl moze i zabawny
> ale matematykow nie przekona

> a co do kompresji
> to dekompresja moze sie zawalic,
> jezeli beda ja dokonywac ludzie o "innym poznaniu" :)


Mamy dwie ksiazki jedna z 10^6 kolejnych zer i tylu samo
kolejnych jedynek.
Druga ma tyle samo znakow co pierwsza, i tez po polowie
zer i jedynek ,tylko ze przemieszanych ze soba przypadkowo
jakby powstala ze zrodla o entropii 1 bitu.
Nic nie wiemy na temat zrodel obu ksiazek , moze nawet
pochodza z tego samego zrodla ,ale to nic pewnego.
Pytanie 1: jaka jest srednia ilosc informacji przypadajaca
na jeden znak kazdej ksiazki ?
Pytanie 2: Czy obie ksiazki poddadza sie kompresji w jednakowym
stopniu ?
Pytanie 2a. Ile bitow informacji zajmie po kodowaniu
entropijnym ksiazka pierwsza, a ile druga ,razem
oczywiscie z alfabetem bo trzeba je bedzie
pozniej dekompresowac.
Pytanie 3: Czy podatnosc na kompresje kazdej z ksiazek
jest zalezna od tresci danej ksiazki , czy od
entropii zrodla z ktorej dana ksiazka powstala ?
Pytanie 4. Czy ksiazki te nie moga miec tej samej
entropii ,jesli nie moga to prosze o dowod ?
Taki TytanIntelektu to mam nadzieje udzieli mi
wyczerpujacej odpowiedzi na te skromne ,wrecz trywialne
pytania w ciagu 21 minut ,a moze nawet szybciej. :-))
Z gory dziekuje
LPiotrek.

[Gość: thrundui]

> Mamy dwie ksiazki jedna z 10^6 kolejnych zer i tylu samo
> kolejnych jedynek.
> Druga ma tyle samo znakow co pierwsza, i tez po polowie
> zer i jedynek ,tylko ze przemieszanych ze soba przypadkowo
> jakby powstala ze zrodla o entropii 1 bitu.
> Nic nie wiemy na temat zrodel obu ksiazek , moze nawet
> pochodza z tego samego zrodla ,ale to nic pewnego.

> Pytanie 1: jaka jest srednia ilosc informacji przypadajaca
> na jeden znak kazdej ksiazki ?

jezeli pochodza z tego samego zrodla to taka sama
jezeli z innych to trzeba policzyc policzyc rozklad empiryczny. Bez zalozen o
wlasnosci zrodla sie jednak nie obejdzie.

Oto dlaczego.
Zalozmy ze zrodlo "ma w zwyczaju" generowac dokladnie 10^6 znakow danego rodzaju.
Po czym 10^6 innego itd. Czasami zdarza sie jednkak, ze sie pomyli. Obie ksiazki
generowane sa przez te samo zrodlo.

Wtedy entropia pierwszej ksiazki bedzie prawie najwieksza
Natomiast drugiej bardzo mala!

Zupelnie inaczej niz to ludzie maja w zwyczaju zakladac.
Pytanie wiec w tej postaci jest zle postawione, brak kilku waznych zalozen o
zrodle.
Tylko uwazaj z manipulacjami. Ja tez moge sobie pomanipulowac przykladami.

> Pytanie 2: Czy obie ksiazki poddadza sie kompresji w jednakowym
> stopniu ?

Pewnie nie ale to tez nie wiadomo.
To jest jednak zupelnie inne zagadnienie.
To dotyczy pojecia zlozonosci algorytmicznej - jaki jest najkrotszy kod
komputerowy, ktory generuje dany ciag.
Dlugosc tego kodu jednak bardzo silnie zalezy np od jezyka programowania.

Losowo wybrany czlowiek jest sklonny twierdzic, ze pierwsza ksiazke mozna
wygererowac prostszym kodem niz druga.
Ale tak nie musi byc.
Zalozmy, ze dany jezyk ma pewien tajny symbol, ktory jest rownowazny calej
ksiazce drugiej. Wtedy druga ksiazke mozna skompresowac do jednego znaku.
Zalozmy dalej, ze w danym jezyku nie ma symboli 1 i 0. Symbole najkrotsze to 101
i 110. Wtedy kompresja tego ciagu w takim jezyku bylaby czyms strasznie
skomplikowanym.

I znowy mozna latwiej skompresowac druga ksiazka niz pierwsza.


> Pytanie 2a. Ile bitow informacji zajmie po kodowaniu
> entropijnym ksiazka pierwsza, a ile druga ,razem
> oczywiscie z alfabetem bo trzeba je bedzie
> pozniej dekompresowac.

W moim jezyku
kompresja drugiej zajmnie 1 symbol. Alfabet sklada sie z trzech symbloli - 101,
110 i "tajny symbol"
koompresja pierwszej - nie mam pojecia. Moze nawet wiecej niz ta ksiazka miala
znakow pierwotnie.

> Pytanie 3: Czy podatnosc na kompresje kazdej z ksiazek
> jest zalezna od tresci danej ksiazki , czy od
> entropii zrodla z ktorej dana ksiazka powstala ?

oczywiscie ze od zrodla
ale przyklady powyzsze pokazuja, ze w sposob co najmniej nie intuicyjny:)

> Pytanie 4. Czy ksiazki te nie moga miec tej samej
> entropii ,jesli nie moga to prosze o dowod ?

Bez zalozen odnosnie zrodla
to kazda ksiazka moze miec pewnie dowolna entropia.

Warto jeszcze dodac, bo nie wiem czy to jest zupelnie jasne
Prawdopodobientswo, ze dana ksiazka zlozona z 0 i 1 bedzie pierwsza ksiazka
jest dokladnie takkie samo jak, ze bedzie druga ksiazka.

Ciagi 100101011010101001010100010010100101101101
i 111111111111111111111111111111111111111111

sa rownie prawdopodobne!

[Gość: LPiotrek]

> jezeli pochodza z tego samego zrodla to taka sama
> jezeli z innych to trzeba policzyc policzyc rozklad empiryczny. Bez zalozen o
> wlasnosci zrodla sie jednak nie obejdzie.

Dobry czlowieku, postaraj sie wreszcie zrozumiec ,bo
zaczymam powoli tracic juz cierpliwosc , a przede wszystkim
nadzieje ,ze jestes w stanie to zrozumiec.
Otoz zrozum ,ze mnie nie interesuje ,czytanie( poznawanie
syntaktyki) wszystkiego co to zrodlo wygeneruje do
konca swiata. Dla mnie to zrodlo zniknelo za horyzontem
zdarzen i zostala mi po nim tylko 1- slownie jedna ,abys
juz nie mial watpliwosci - ksiazka i mnie interesuja
wlasciwosci tej jednej konkretnej ksiazki.
Chce zbudowac powiedzmy system ,ktory przesle jej
informacje z punktu A do punktu B ,ale poniewaz dyspouje
tylko skonczonymi mozliwosciami technicznymi ,to ciekawi
mnie czy uda mi sie to zrobic za mego zycia ,czy tez nie.
Czy po prostu ta inwestycja(przedsiewziecie) sie oplaci.
Ale jedyna rzecza jaka mi brakuje ,abym sobie to
mogl policzyc jest ilosc informacji w tej ksiazce.
(Nie semantycznej tylko syntaktycznej). Interesuje
mnie entropia EMPIRYCZNA tej ksiazki ,a nie jej zrodla.
Jezeli policze sobie ta entropie empiryczna i przemnoze
przez ilosc znakow to otrzymam ilosc informacji w bitach
jaka bede musial wyslac z A do B . Ponadto moge
policzyc sobie entropie EMPIRYCZNE tej ksiazki wysylanej
nie znakami ,a slowami n-znakowymi. Wtedy bede mogl
wybrac ktora z tej reprezentacji niesie najmniejsza
informacje (liczbe bitow ).
Czy w bitach mierzymy zlozonosc algorytmiczna ???
Nie rozsmieszaj mnie bardziej niz musisz :-))
Im wiecej megabajtow tym wieksza ich zlozonosc
algorytmiczna - fajne :-)

> Oto dlaczego.
> Zalozmy ze zrodlo "ma w zwyczaju" generowac dokladnie 10^6 znakow danego
rodzaju.
> Po czym 10^6 innego itd. Czasami zdarza sie jednkak, ze sie pomyli. Obie
ksiazki
> generowane sa przez te samo zrodlo.

Zapomnij juz o zrodle ,wpadlo do czarnej dziury
szczegoly wyjasni Ci Ekspert :-)

> Wtedy entropia pierwszej ksiazki bedzie prawie najwieksza
> Natomiast drugiej bardzo mala!

Z tego samego zrodla przez pomylke wypadaja ksiazki
o roznej entropii :-)) .Te usmieszki ,sa dlatego ,ze
wedlug Twojej definicji to jest niemozliwe.
Bo twoja definicja nie pozwala spojrzec na te ksiazki
w sposob indywidualny. One sa dziedzictwem po tym
zrodle - sa naznaczone jego entropia , ich entropia
to entropia tego zrodla.
Tylko ,ze mozna rowniez patrzec na nie w sposob
indywidualny , jak ja to robie tutaj i prosze Cie
juz dlugo usilnie abys zrozumial moj punkt widzenia.
Wtedy mozna dla nich liczyc indywidualne rozklady
empiryczne i empiryczne entropie.
Wtedy taka entropia ,zalezy od 2 - slownie dwoch -
czynnikow : tego co tam jest i tego jak my to "czytamy"
(nie mylic ze zrozumieniem ). Te dwa czynniki okreslaja
nam tresc (syntaktyke) ksiazki : ilosc roznych znakow
i ich rozklad. To okresla wraz z calkowita iloscia znakow
ksiazki - ilosc informacji.
Mam nadzieje ze postarasz sie zrozumiec to ,o czym pisze
bo w innym wypadku to nasza dalsza dyskusja
przestanie miec jakikolwiek sens ,o ile takowy
jeszcze posiada .

pozdrawiam serdecznie
LPiotrek

[Gość: thrundui]

> > Oto dlaczego.
> > Zalozmy ze zrodlo "ma w zwyczaju" generowac dokladnie 10^6 znakow danego
> rodzaju.
> > Po czym 10^6 innego itd. Czasami zdarza sie jednkak, ze sie pomyli. Obie
> ksiazki
> > generowane sa przez te samo zrodlo.
>
> Zapomnij juz o zrodle ,wpadlo do czarnej dziury
> szczegoly wyjasni Ci Ekspert :-)


moge nawet i zapomniec o zrodle
ale musze miec definicje entropii, ktora nie wymaga zrodla.
Na razie wszystkie wymagaly.
Lacznie z definicja LPiotrka, gdzie zrodlo bylo ukryte a my liczylismy jego
wlasciwosci.


> Bo twoja definicja nie pozwala spojrzec na te ksiazki
> w sposob indywidualny. One sa dziedzictwem po tym
> zrodle - sa naznaczone jego entropia , ich entropia
> to entropia tego zrodla.

tak, ale kazda ksiazka moze pochodzic z innego zrodla
na tym polega indywidualizm ksiazek

> Tylko ,ze mozna rowniez patrzec na nie w sposob
> indywidualny , jak ja to robie tutaj i prosze Cie
> juz dlugo usilnie abys zrozumial moj punkt widzenia.

To go zdefiniuj.


> Wtedy mozna dla nich liczyc indywidualne rozklady
> empiryczne i empiryczne entropie.
> Wtedy taka entropia ,zalezy od 2 - slownie dwoch -
> czynnikow : tego co tam jest i tego jak my to "czytamy"
> (nie mylic ze zrozumieniem ).

Dobra to w jednym z moich postow zamien "poznanie" na "czytanie"
i nic sie nie zmieni.
Dalej ludzie o innym "czytaniu" nie beda mogli dokonac dekompresji.


> Mam nadzieje ze postarasz sie zrozumiec to ,o czym pisze
> bo w innym wypadku to nasza dalsza dyskusja
> przestanie miec jakikolwiek sens ,o ile takowy
> jeszcze posiada .

a niby jak mam zrozumiec
ty piszesz o entropii jakby to bylo zagadnienie podobne do interpretacji wiersza.
Ale to jest pojecie czysto matematyczne.
Kazde dwie osoby powinny odpowiedziec na pytanie o entropie czegos tam w
dokladnie ten sam sposob.

Nie ma miejsca na "czytanie". Sposob "czytania" z fundamentalnych wymogow
stawianych przed matematyka musi byc jednoznacznie okreslony i niezmmienny do
konca zycia definicji.

[Gość: LPiotrek]

) moge nawet i zapomniec o zrodle
) ale musze miec definicje entropii, ktora nie wymaga zrodla.
) Na razie wszystkie wymagaly.

Fajnie ze jestes gotow do ustepstw i proby
zrozumienia tego co ,tak niezbyt precyzyjnie przedstawiam.

) Lacznie z definicja LPiotrka, gdzie zrodlo bylo ukryte a my liczylismy jego
) wlasciwosci.

Dla scislosci jak przedstawilem ta definicje jakiej
Ty uzywasz ,nie zadna inna. Ona wymaga zrodla.
Moj pomysl polega na tym ,aby podmienic zrodla :-)
Dla wygody bede uzywal wobec tych zrodel tej
dziecinnej terminologii: to zrodlo o ktorym chcialbym
abys zapomnial to stwor ,czyli prawdziwe zrodlo
ksiazki. To nowe zrodlo to DEMON :-)
Zdaje sobie sprawe ,ze to zmienia postac definicji
- to juz jest tak naprawde inna definicja ,ale bardzo
moim zdaniem podobna do tej oryginalnej.
Tutaj male wyjasnienie. Ja nie chce zastepowac Twojej
definicji moja "podrobka". Wydaje mi sie tylko ,ze
mogly by one razem egzystowac nie gryzac sie ze soba :-)
Przeciez juz wiesz ,ze jest jeszcze pare innych definicji
entropii i swiat od tego sie nie zawalil :-)

) ) Bo twoja definicja nie pozwala spojrzec na te ksiazki
) ) w sposob indywidualny. One sa dziedzictwem po tym
) ) zrodle - sa naznaczone jego entropia , ich entropia
) ) to entropia tego zrodla.

) tak, ale kazda ksiazka moze pochodzic z innego zrodla
) na tym polega indywidualizm ksiazek

Jesli tylko na tym ,to ja sie z tym nie zgadzam
choc nie zaprzeczam ,ze nie masz do tego prawa.

To jest Twoj punkt widzenia na indywidualizm ksiazek.
Rozumiem ,ze tak tez to widza wszyscy matematycy.
Moj punkt widzenia jest nieco inny.
Wedlug mojego punktu widzenia indywidualizm ksiazek
polega na tym ,o czy juz wspomniales ,oraz na tym ze
kazda ksiazka posiada pewien empiryczny rozklad -wiadomo
jaki - niezaleznie od jakiego stwora pochodzi.
Nawet wiecej ,mozna skonstruowac dla niej caly
szereg rozkladow empirycznych laczac jej znaki w slowa
(wyrazy). Dotychczas wspominalem o slowach n-znakowych
ogolnie moga to byc slowa o zmiennej liczbie znakow.
Tak to przedstawialem do tej chwili ,ale teraz przyszlo
mi do glowy. Ze mozna by po prostu mowic o szeregu
ksiazek skonstruowanych na bazie tej pierwszej.
Moze to jest nawet prostszy - lepszy - punkt widzenia.
Wtedy jedna ksiazka mialaby jeden rozklad empiryczny
,a kazda inna z tego szeregu swoj wlasny rozklad.

) ) Tylko ,ze mozna rowniez patrzec na nie w sposob
) ) indywidualny , jak ja to robie tutaj i prosze Cie
) ) juz dlugo usilnie abys zrozumial moj punkt widzenia.

) To go zdefiniuj.
Powyzej jest juz w zasadzie zdefiniowany moj punkt
widzenia. Brakuje w nim tylko uzasadnienia dlaczego
taki. Wczesniej juz o tym pisalem. Ze taka ksiazke
mozna postrzegac jako baze pewnego procesu.

) ) Wtedy mozna dla nich liczyc indywidualne rozklady
) ) empiryczne i empiryczne entropie.
) ) Wtedy taka entropia ,zalezy od 2 - slownie dwoch -
) ) czynnikow : tego co tam jest i tego jak my to "czytamy"
) ) (nie mylic ze zrozumieniem ).

) Dobra to w jednym z moich postow zamien "poznanie" na "czytanie"
) i nic sie nie zmieni.
) Dalej ludzie o innym "czytaniu" nie beda mogli dokonac dekompresji.

Pisalem proces poznania, moze lepiej czytania, tylko mi
nie chodzi o czytanie prawdziwych ksiazek przez ludzi
tylko o proces odczytu informacji ( nie semantyki tylko
syntaktyki ). W tym sensie nie ma mozliwosci innego
"czytania" ,tak jak wszyscy ludzie musza rozrozniac
"0" od "1" ,co by bylo gdyby jedni matematycy robili
dowody twierdzen ,a ci o innym "czytaniu" je sprawdzali :-)
(Moze to zly przyklad ,bo zahacza o semantyke ,a mi
chodzi o takie "czytanie" jak procesor czyta pamiec
w komputerze.)
To cos jak czytanie znakow ciagu- raczej dokladnie tak.
Czy sa matematycy o roznym czytaniu
wzorow lub cyfr (nie poezji) !? :-)
Mam nadzieje ze rozwialem Twoje watpliwosci co do
kwestii tego innego poznania(czytania). :-)

Wtedy ten "czytelnik" (moze to byc tez tranzystor)
dostajac kolejne znaki ksiazki nie znajac ich wczesniej
widzialby taki odczyt jak proces losowy ,czyli DEMONA.

Entropia tego procesu ,to zgodnie z Twoja definicja
entropia tego rozkladu empirycznego tej ksiazki.
Chociaz ten proces nie jest zrodlem tej ksiazki
to jest w pewien sposob z ta ksiazka zwiazany.
Moim zdaniem ,ten proces jest scislej zwiazany
z ta ksiazka ,niz ta ksiazka ze swoim zrodlem.
Dlatego ,ze ksiazka powstaje w sposob przypadkowy
i jak sam zauwazyles nie ma precyzyjnej zaleznosci
miedzy statystycznymi wlasciwosciami zrodla- stwora
,a zawartoscia konkretnego egzemplarza (ksiazka)
przez niego wygenerowana.
Natomiast istnieje taka scisla zaleznosc miedzy
DEMONEM , czyli procesem odczytu(czytania ,poznania)
,a rozkladem empirycznym tej ksiazki.
DEMON dla kogos kto nie odczytal jeszcze tej ksiazki
generuje znaki losowo.
Poniewaz my wiemy jednak jak powstal DEMON i jaki jest
jego rozklad ,to mozemy policzyc jego entropie.
Bedzie to srednia zawartosc informacyjna znakow
generowanych przez DEMONA. Czyli entropia "samotnej"
ksiazki, w odroznieniu od Twojej entropii ksiazki
bedacej czescia wiekszej calosci - "tworczosci" stwora -
zbioru ksiazek.
Przykladowo ksiazka ktora sklada sie z 2 znakow moze miec
maksymalna entropie "samotnej ksiazki" rowna 1 bit.
Natomiast jako czesc wiekszej calosci entropia tej ksiazki
moze np. wynosic 1000 bitow albo milion bitow itp.
Moja propozycja polega na tym ,aby uwzgledniac
kontekst w jakim ta ksiazka wystepuje tzn. ze moze ona
wystapic tez bez kontekstu, a nie tylko zawsze w
kontekscie swojego zrodla.
Wtedy mielibysmy entropie zalezna od kontekstu ksiazki.
Czyli entropie DEMONA. Gdybysmy czytali ksiazke ,razem
z reszta tego co jej zrodlo generuje, to czytalibysmy
de facto zrodlo ksiazki ,czyli DEMON stalby sie (bylby)
stworem. W innym przypadku (w przypadku innego kontekstu
ksiazki (czyli tego co czytamy oprocz niej wlasciwosci
DEMONA(jego entropia) bylaby rozkladem empirycznym
ksiazki i jej kontekstu( czyli pozostalych ksiazek czytanych
tym DEMONEM ).
Moze na razie tu sie zatrzymam ,zeby dowiedziec sie
co o tym sadzisz.

) a niby jak mam zrozumiec
) ty piszesz o entropii jakby to bylo zagadnienie podobne do interpretacji
wiersza.
) Ale to jest pojecie czysto matematyczne.
Dla matematykow.
Dla chemikow moze ,byc czysto chemiczne :-)

) Kazde dwie osoby powinny odpowiedziec na pytanie o entropie czegos tam w
) dokladnie ten sam sposob.

Zgadzam sie pod warunkiem ,ze mowia dokladnie o tym
samym.
Np. odleglosc w matematyce zalezy od metryki ,wiec
nie mozna komus zakazac poslugiwania sie inna metryka.
Tutaj wiele zalezy od warunkow zadania, tzn moze tak
byc ze w danym zadaniu uzycie tylko jednej konkretnej
metryki bedzie mialo sens.
Moze teraz latwiej Ci bedzie zrozumiec moj punkt
widzenia. Jezeli warunki mojego zadania okreslaja
ze dla mnie zrodlo ksiazki - stwor zdechl :-) - juz nie istnieje
i nie obchodza mnie jego wlasciwosci ,to dlaczego mam
poslugiwac sie definicja ktora odwoluje sie do stwora.
Wtedy wole zbudowac inna metryke DEMONA i za pomoca
tej metryki policzyc entropie.

) Nie ma miejsca na "czytanie". Sposob "czytania" z fundamentalnych wymogow
) stawianych przed matematyka musi byc jednoznacznie okreslony i niezmmienny do
) konca zycia definicji

Mam nadzieje ze juz jest wszystko jasne z tym czytaniem
,poznaniem,odczytem itd. Przepraszam jesli Cie zmylilem
tymi slowami, ale tu nie bylo czego specjalnie definiowac.
Moze np. tak: odczyt przez B n-tego znaku ksiazki bedacej
w punkcie A
znaczy ,ze DEMON wygeneruje w punkcie B n-ty znak ksiazki
bedacej w punkcie A.
Domyslam sie ze troche glupio to brzmi.Zawsze mozesz
sie zapytac : "a co znaczy wygeneruje ?" :-)
Bo w jaki sposob definiujesz ,ze "0" czytasz jak "0"
a "1" jak "1" ,wszyscy czytamy to tak samo.
Moze to jest "literackie" wyjasnienie ,ale przyznaje sie
bez bicia ze trudno mi zdefiniowac cos tak normalnego
i oczywistego ,by nie rzec fu

[Gość: LPiotrek]

Moze to jest "literackie" wyjasnienie ,ale przyznaje sie
bez bicia ze trudno mi zdefiniowac cos tak normalnego
i oczywistego ,by nie rzec fundamentalnego w sposob
formalny :-)
Po prostu nie wiem jak to zapisac, moze Ty to sprobuj
zrobic za mnie ,bo wierze ze juz teraz wiesz o co
mi z tym czytaniem chodzilo.

pozdrawiam
LPiotrek

ps. Jakis DEMON odczytu w Gazecie obcial moj genialnLy
post. Moze broni sie przed zdemaskowaniem !? :-))

energia informacji

[Gość: Muzykant]

Ekspert tak napisal:
"... entropia Wszechswiata rosnie. Jednak, w sytuacji ukladow dysspatywnych
(z energia rozpraszana z jakiegos zrodla ) moga powstawac poduklady otwarte,
w ktorych entropia maleje kosztem otaczajacego swiata (zycie np.).
(...) Ewolucja to tworzenie coraz wydajniejszych podukladow dyssypatywnych."

Nastepnie, na temat chwilowego spadku uporzadkowania jako stanu przejsciowego
pomiedzy gorzej i lepiej zorganizowana struktura, Ekpert napisal rowniez, ze
dotyczyc to moze:
"...konkurencji miedzy roznymi systemami dyssypatywnymi, albo reakcji systemow
dyssypatywnych na spadek dostepnego strumienia energii".

Bardzo prosilbym o rozwiniecie tych mysli, chocby w dalszych kilku zdaniach!
Na codzien nie mam doczynienia z tymi pojeciami, a pragnalbym zaczac miec.
Chcialbym prosic o nakierowanie wysilku myslowego we wlasciwa strone!
W szczegolnosci, prosze pomoc mi zrozumiec nastepujace okreslenia:
"ukladow dysspatywnych--z energia rozpraszana z jakiegos zrodla",
"poduklady otwarte, w ktorych entropia maleje kosztem otaczajacego swiata
(zycie np.)",
"reakcja systemow dyssypatywnych na spadek dostepnego strumienia energii".

Co, dokladnie, ma entropia do energii? (W znaczeniu termodynamiki,
patrzac "objawowo", to latwo sobie wyobrazic: przed wypchnieciem tloka jest
wieksza energia, bo jest roznica cisnien, i mniejsza entropia, bo m.in. rozklad
polozenia/predkosci czasteczki, wzdluz tloka, jest zblizony do skokowego. Ale
jak to sobie wyobrazic w odniesieniu do ilosciowego opisu informacji? O
entropii juz, w tym watku, wyjasniono conieco. Ale kolejne wyzwanie to jak
definiowac energie informacji?)

Z gory dziekuje
Janek Muzykant

[Gość: Ekspert]

Czesc Janku,

>

> "... entropia Wszechswiata rosnie. Jednak, w
sytuacji ukladow dysspatywnych
>
> (z energia rozpraszana z jakiegos zrodla ) moga
powstawac poduklady otwarte,
>
> w ktorych entropia maleje kosztem otaczajacego swiata
(zycie np.).
> (...) Ewolucja to tworzenie coraz wydajniejszych
podukladow dyssypatywnych."
>
> Nastepnie, na temat chwilowego spadku uporzadkowania
jako stanu przejsciowego
> pomiedzy gorzej i lepiej zorganizowana struktura,
Ekpert napisal rowniez, ze
> dotyczyc to moze:
> "...konkurencji miedzy roznymi systemami
dyssypatywnymi, albo reakcji systemow
> dyssypatywnych na spadek dostepnego strumienia
energii".
>
> Bardzo prosilbym o rozwiniecie tych mysli, chocby w
dalszych kilku zdaniach!
> Na codzien nie mam doczynienia z tymi pojeciami, a
pragnalbym zaczac >
>miec.


Sprobuje.
Otoz zasady termodynamiki mowia, ze w ukladzie izolowanym
entropia nie maleje. Jest stala jesli uklad jest w
rownowadze (nic ciekawego sie nie dzieje).
W ukladzie, gdzie jest nierownowaga entropia rosnie.
Niemniej, mozna zredukowac entropie w ukladzie otwartym
(oddzialujacym
z otoczeniem). Przykladem sa silniki, ktore zwiekszaja
entropie swiata
wykorzystujac przeplyw ciepla z grzejnika do chlodnicy.
Wykorzystujac ten przeplyw sa zdolne do wykonania pracy
- czyli
uzycia energii w sposob uporzadkowany. To w odroznieniu
od ciepla,
ktore jest forma energii mikroskopowej.
Oznacza to, ze lokalnie entropia maleje. Warunkiem jednak
jest
sprzezenie silnika z grzejnikiem i chlodnica.

Podobnie zachowuja sie zywe organizmy. Wykorzystuja
przeplyw energii
chemicznej, slonecznej do kreowania struktur -
"porzadkowania" strumienia
energii.

Teraz - wydaje mi sie, ze ewolucja moze pojawic sie w
sytuacji, gdy
te uklady, zerujace na przeplywie energii, wykorzystuja
ten przeplyw
do samopowielania sie. Wtedy, te ktore beda to robily
wydajniej beda
sie bardziej rozpowszechniac.
Z drugiej strony - strumien energii jest ograniczony,
wiec moze sie okazac,
ze z czasem spadnie ponizej minimum potrzebnego dla
pewnych ukladow.
Te wymra. Moze tez sie zdarzyc, ze zmienia sie warunki
(np. na Ziemii
zyciu grozilo niegdys zatrucie tlenem!). Wtedy bedzie
sie liczyla
wydajnosc przetwarzania energii w nowych warunkach.



> Chcialbym prosic o nakierowanie wysilku myslowego we
wlasciwa strone!
> W szczegolnosci, prosze pomoc mi zrozumiec nastepujace
okreslenia:
> "ukladow dysspatywnych--z energia rozpraszana z
jakiegos zrodla",

Np. Slonce. Sytuacja jest nierownowagowa. Mamy zrodlo
energii,
ktora jest rozpraszana i mozna ja uzyc do wykreowania
silnikow termodynamicznych - mozna czesc z tej energii
zorganizowac.

> "poduklady otwarte, w ktorych entropia maleje kosztem
otaczajacego swiata (zycie np.)",

Otwarte znaczy wymieniajace z otoczeniem materie,
energie.


> "reakcja systemow dyssypatywnych na spadek dostepnego
> strumienia energii".
>

Tu popelnilem przejezyczenie. Przepraszam . System
dyssypatywny,
to taki w ktorym energia jest rozpraszana. W tych
systemach
moga istniec te poduklady otwarte -silniki. To o nie
chodzilo.

> Co, dokladnie, ma entropia do energii? (W znaczeniu
termodynamiki,

Najprosciej mowiac: zmiana entropii to przeplyw ciepla
(formy energii)
dzielony przez temperature bezwzgledna. Zmniejszenie
entropii podukladu
wymaga wykonania pracy mozna schlodzic lodowke, ale
zaplacisz za
to jeszcze wiekszym zwiekszeniem entropii poza lodowka.



> Ale kolejne wyzwanie to jak definiowac energie
informacji?

II zasada termodynamiki mowi, ze nie moze istniec
demon Maxwella - bardzo madry uklad, ktory jest
jednoczesnie
bardzo energooszczedny - nie produkuje entropii.
To znaczy, cos, co zwieksza ilosc informacji w
podukladzie
musi suma sumarum produkowac entropie w ukladzie.
Informacja tak jak my ja rozumiemy (komputery, ksiazki)
jest generowana z punktu widzenia termodynamiki niezwykle
rozrzutnie - to jest produkowane jest o wiele wiecej
entropii
w swiecie niz byloby mozna. Np. ten tekst...

Musialem zjesc obiad, zeby go napisac. Coz za
marnotrawstwo!

Pozdrawiam

SATYSfakcjonujące?

[Gość: Ralph]

Przyglądając się ożywionej dyskusji, chciałem zapytać autora wątku, czy to, co
dotychczas tu napisano zadawala go (w sensie założeń poczynionych w inicjującym
poście)? Czy wymóg nie-trywialności został zachowany? Czy dotychczasowe naukowe
interpretacje zostały wzbogacone o intuicyjnie zrodzony komentarz? Czy
matematyczno-fizyczne argumenty nie okazały się li tylko licytowaniem się na
formułki? Ciekawym, czy wątek w końcu wiedzę o chaosie zmniejszył, czy może
pokazał, że to tylko 'osmotycznie' jest możliwe, ergo- niemożliwe...?

traktuję to jako wstęp

[jnkmzknt]

Gość portalu: Ralph napisał(a):
> chciałem zapytać autora wątku, czy to, co
> dotychczas tu napisano zadawala go

Ciesze sie naprawde bardzo, ze tyle energii wklada sie tu w spor dotyczacy
uscislenia podstawowych pojec. Chociaz nie takie mialem poczatkowo oczekiwania,
to jednak udalo mi sie tu zwabic profesjonalistow!
Czyz nie widzimy, ze jednak ten watek czyms rozni od innych?

Przyznaje sie bez bicia, ze chociaz od bardzo dawna mi bylo potrzebna znajomosc
pojecia entropii, to jednak nigdy nie czulem komfortu w tej sprawie i musialem
sie zadowalac swoja intuicja, a raczej domyslami. Wynika to chyba z tego co
zauwazyl Ekspert: instnieje kilka ROZNYCH definicji i to moze wywolywac poczucie
zagubienia.
Jestem inzynierem i drazenie istoty pojec na czysto abstrakcyjnym poziomie
pedantyzmu to dla mnie luksus. Bardzo mily luksus i chyba pominalem sie z
powolaniem, bo naprawde bardzo trudno mi przejsc do porzadku dziennego nad
roznymi watpliwosciami co do natury narzedzi opisowych, jakimi musze sie
SKUTECZNIE poslugiwac w tym co czynie na wlasnym poletku.
Uwazam, ze pojecie entropii jest dosc waznym pojeciem.
Zauwamy, iz chyba w zadnym podreczniku nie znalazlbym takiego agresywnego i
wzniecajacego adrenaline testu dla owego pojecia. Juz teraz nie bedzie ono dla
mnie czysto abstrakcyjne! (Wszak, wedle neurofizjologii, to emocje sa pomostem
pomiedzy pamiecia krotkotrwala a dlugotrwala.)

> Czy wymóg nie-trywialności został zachowany? Czy dotychczasowe naukowe
> interpretacje zostały wzbogacone o intuicyjnie zrodzony komentarz?
(...)

Mam nadzieje, ze to jeszcze nie koniec!

Z powazaniem
Janek Muzykant

[Gość: Ralph]

Słaniałbym sie, odnośnie napomknięcia o skutecznej pamięci, ku sugestii, że
czasem-jeśli nie zapomnieć zupełnie, to lepiej jest nie pamiętać. I nie mam na
myśli mechanizmu wypierania, ale pomijania (nie wiem, czy cos takiego 'jest' w
sensie terminu psycho-, ale 'pomijanie' wydało mi się dość trafne na określenie
tego, co chcę przekazać). Otóż pomijam nie dlatego, że lekceważę, ale pomijam
bo nie dbam. Mała różnica, a jednak.
A ja pomijam to, co nie zahacza (przynajmniej na razie) o mój prywatny kierunek
myślenia po prostu dlatego, że grozi to rozproszeniem (stratą czasu). A jako,
że wydaje mi się, iż Twoje założenia-wymogi oparte zostały na czymś, co pozwolę
sobie nazwać jako 'egzystencjalna wątpliwość', to i odpowiedź (re-sponse)
powinna się tego trzymać. A tu nic, tylko teoremat mat-fiz (wobec kompletnego
niemal braku innych spojrzeń), z całym szacunkiem dla wątkowiczów (wina
nieobecnych?).
I nie jestem pewien, czy to z powodu lęku przed utratą forumowej
wiarygodności, czy może z potrzeby uporządkowania myśli, czy wreszcie ludzkiego
gestu pomocy drugiemu o-ile-się-da posty były raczej jednowymiarowe i zimne,
mimo gorących sporów. Jedyne, co mi dotychczas przyszło do głowy to to, że
chociaż wiem, czym jest entropia, ale podobnie do Ciebie- na sposób intuicyjny.
I nie mam złudzeń co do tego, że odnajdę kiedykolwiek wyczerpującą definicję.
Zjawisko to nie daje się całkowicie zamknąć w modelu naukowym, jak zresztą sam
sugerowałeś implicite. To, co tutaj robimy to igraszka wzglądem naszych
prywatnych wątpliwości. Bo entropia to w istocie tragedia rozgrywająca się na
naszych oczach, to śmierć i choroby, jakim podlegamy, to 'rozpad materii i
ucieczka galaktyk', to niemożność zapanowania nad niczym do końca, to brak
zrozumienia i kłopoty z uporządkowaniem... Sory, że byc może psuję zabawę, ale
każda ogólna odpowiedź na pytanie o to, czym jest 'zwracanie się w sobie',
(próba wyłozenia słowa z łaciny na polski) zahacza o kwestie filozoficzne
wszędzie tam, gdzie nie muszę czegoś koniecznie już stosować.

Oczywiście entropia może oznaczać wiele przyjemnych i pożytecznych rzeczy,
ciekawe więc, czemu w większości źle się kojarzy?

[Gość: Ekspert]

Jeszcze raz, w swietle odbytej dyskusji:

> Nieuporzadkowanie?

Potocznie tak. Matematycznie i fizycznie jest troche
inaczej:
zachowania chaotyczne prowadza do powstania stanow o
wysokiej entropii,
nieporzadku.

> Chaos to jednak cos znacznie powazniejszego.

Tak, to bardzo powazne pojecie. Jest scisle zwiazane ze
znaczeniem
informacji w swiecie fizycznym, strzalka czasu.

> Jak zachowa sie miara entropii (S p*lg p) w stosunku do
b. skomplikowanej
> struktury? Czy b. skomplikowana struktura jest
odroznialna od calkwitego
> nieuporzadkowania?

TAK.
Ale - im wyzszy stopien komplikacji struktury, tym ma
wyzsza entropie.
Wydaje mi sie, ze trudnosc odpowiedzi na pytanie, czy cos
jest struktura, czy
nie rosnie bardzo szybko z entropia struktury. Znaczy to,
ze potrzeba
wiekszego czasu obserwacji, zgromadzenia wiekszej ilosci
danych i
wiekszej mocy przetwarzania danych, zeby odpowiedziec na
to
pytanie w przypadku bardziej zlozonych struktur.


> kompletnym chaosem dla laika? Czyli skomplikowana i
dobrze
> zorganizowana struktura moze byc stanem calkowitego
nieuporzadkowania >dla podmiotu nie znajacego regul
rzadzacych ta struktura?

Po namysle, mysle ze albo tak albo nie. To zalezy od
dlugosci obserwacji
ilosci danych, zaawansowania podmiotu, komplikacji
struktury.

Pozdrawiam serdecznie

[Gość: thrundui]

> zachowania chaotyczne prowadza do powstania stanow o
> wysokiej entropii,
> nieporzadku.

nie prawda
uklady hamiltonianowskie zachowuja entropia
rozpatrzmy uklad - pokoj ze stolem bilardowym i graczem calkowicie odizolowanym
od swiata.
Uklad ten jest hamiltonianowski wiec jego entropia sie nie zmienia.
Gracz uderza w bile i mamy Chaos Wielki

Jest to znany przyklad na proces generujacy chaos
Nie ma w nim jednak najmiejszej zmiany entropii.


chaos jest generowany przez uklady calkowicie deterministyczne
Nie ma wiec sensu zaprzegac rachunku prawdopodobientswa.

Czy wiesz co to hipoteza ergodyczna w fizyce?

[Gość: Ekspert]

No, wiesz?

[Gość: thrundui]

Gość portalu: Ekspert napisał(a):

> No, wiesz?

znam wiele hipotez ale nie znam nazw
to mi sie tylko kojarzy z twierdzeniem ergodycznym dla ukladow hamiltonianowskich

[Gość: Ekspert]

Juz to pisalem. Zakladamy, ze trajektoria ukladu
pokrywa gesto po dostatecznie dlugim czasie cala
przestrzen fazowa.
Stad ergodycznosc: trajektoria po dost. dlugim czasie
znajdzie sie dowolnie blisko kazdego punktu przestrzeni
fazowej.

Dla ukladow w rezimie chaotycznym, to ma szanse byc
prawda,
w przeciwienstwie do ukladow w rezimie
kwaziperiodycznym
(key words: torusy rezonansowe, przekroje Poincare).
Losowosc bierze sie ze sredniowania po czasie.

Take it easy, swiata nie zmienisz.

[Gość: thrundui]

Gość portalu: Ekspert napisał(a):

> Juz to pisalem. Zakladamy, ze trajektoria ukladu
> pokrywa gesto po dostatecznie dlugim czasie cala
> przestrzen fazowa.
> Stad ergodycznosc: trajektoria po dost. dlugim czasie
> znajdzie sie dowolnie blisko kazdego punktu przestrzeni
> fazowej.
>
> Dla ukladow w rezimie chaotycznym, to ma szanse byc
> prawda,
> w przeciwienstwie do ukladow w rezimie
> kwaziperiodycznym
> (key words: torusy rezonansowe, przekroje Poincare).
> Losowosc bierze sie ze sredniowania po czasie.
>

Nie prawda
Jest takie twierdzenie ergodyczne w jakosciowej teorii rownan rozniczkowych.
Jezeli istnieje miara niezmiennicza na przestrzeni fazowej i dany jest stan x w
przestrzenii fazowej to dla dowolnie malej odleglosci ro wzgledem tej miary
istnieje y takie ze odleglosc(y,x)<ro istnieje T takie, ze po czasie T x bedzie w
punkie y w przestrzeni fazowej.

Dla ukladow hamiltonianowskich miara niezmiennicza jest objetosc w przestrzeni
fazowej (tw lioville'a czy jakos tak)

Wniosek - kazdy uklad hamiltonianowski powroci do punktu z ktorego wyszedl.
Nie tylko stochastyczny.
Takze kwaziperiodyczny a nawet w sposob trywialny periodyczny.


Jaki to ma zwiazek?

[Gość: Ekspert]

Jak sie cytuje twierdzenia, to trzeba je dobrze
rozumiec.
Twoje twierdzenie doskonale zgadza sie z HE.
Prawda?

[Gość: thrundui]

Gość portalu: Ekspert napisał(a):

> Jak sie cytuje twierdzenia, to trzeba je dobrze
> rozumiec.
> Twoje twierdzenie doskonale zgadza sie z HE.
> Prawda?

to co jest HE
To jest zle zrozumiane?

[Gość: Ekspert]

Jest roznica miedzy punktem wyjscia a kazdym punktem
przestrzeni
fazowej. HE (h. ergodyczna) dotyczy wszystkich punktow.

[Gość: thrundui]

Gość portalu: Ekspert napisał(a):

> Jest roznica miedzy punktem wyjscia a kazdym punktem
> przestrzeni
> fazowej. HE (h. ergodyczna) dotyczy wszystkich punktow.

a jakie jest uzasadnienie, ktore pozwala wierzyc w ta hipoteze nawet dla ukladow
chaotycznych?
I jaki to zwiazek ze staloscia entropii dla ukladow chaotycznych?

[Gość: Ekspert]

> a jakie jest uzasadnienie, ktore pozwala wierzyc w ta
hipoteze nawet dla
> ukladow chaotycznych?

Empiryczne. Tylko i az.
Osobiscie watpie, zeby hipoteza ergodyczna byla prawdziwa
zupelnie scisle,
nawet dla duzych ukladow. Jest jednak prawdziwa dla
dostatecznie duzego
podzbioru punktow przestrzeni fazowej i warunkow
poczatkowych,
zeby w oparciu o nia zbudowac dobrze dzialajaca fizyke
statystyczna.
Natomiast, w sposob trywialny jest falszywa dla ukladow
niechaotycznych.

> I jaki to zwiazek ze staloscia entropii dla ukladow
chaotycznych?
>
Staloscia?

Uklady w rezimie chaotycznym pokrywaja swoja trajektoria
wieksza
objetosc przestrzeni fazowej niz te same uklady w rezimie
kwaziperiodycznym. O ile pamietam, w podanej przez mnie
ref. jest wiele o zwiazku chaosu z entropia.

Pozdrawiam

[Gość: thrundui]

> > I jaki to zwiazek ze staloscia entropii dla ukladow
> chaotycznych?
> >
> Staloscia?
>
> Uklady w rezimie chaotycznym pokrywaja swoja trajektoria
> wieksza
> objetosc przestrzeni fazowej niz te same uklady w rezimie
> kwaziperiodycznym.

Ale to nic nie zmienia.
Kulka w pudelku tez moze odwiedzic kazdy punkt w pudelku, a jej objentosc sie nie
zmienia.

To moze ja inaczej zadam pytanie.
Czy entopia ukladu izolowanego musi rosnac?
I czy w moim ukladzie izolowanym - czlowiek bilard w idealnie zamknietym pudelku
jest chaos czy go nie ma?

[Gość: Ekspert]

> Ale to nic nie zmienia.
> Kulka w pudelku tez moze odwiedzic kazdy punkt w
pudelku, a jej objentosc
> sie nie zmienia.
>

1) Chodzilo o objetosc przestrzeni fazowej
(pedu,polozenia) a nie obj. kulki.

2) Entropia w ukladzie izolowanym moze rosnac jesli uklad
nie jest w rownowadze termodynamicznej. Uklad z przykladu
nie jest.

3) Czlowiek w pudelku jest wyjatkowo nieszczesliwym
przykladem, bo
czlowiek produkuje mnostwo entropii. Rozkladajac zwiazki
chemiczne.

4) Uklady hamiltonowskie nie musza zachowywac entropii.
Chaotyczne ja produkuja. Przeczytaj sobie np. Sec. 2.1.2
podanej przeze mnie niegdys referencji.


Prosba: pomysl, zanim napiszesz. Inaczej zmierze Ci
entropie, drogie
zrodlo.

[Gość: thrundui]

> 1) Chodzilo o objetosc przestrzeni fazowej
> (pedu,polozenia) a nie obj. kulki.

przyklad ten mial pokazywac, ze odwiedzenie kazdego nie oznacza powiekszenia
entropii. Tutaj druga wspolrzedna moze byc ped jezeli koniecznie chcesz miec
przestrzen fazowa.
I dalej objetosc kulki (teraz w przestrzeni fazowej) bedzie stala.

> 2) Entropia w ukladzie izolowanym moze rosnac jesli uklad
> nie jest w rownowadze termodynamicznej. Uklad z przykladu
> nie jest.

To ja sobie chetnie poczytam o entropii ukladow zdala od stanu rownowagi.
Dla ukladow w stanie rownowagi zachodzi
dE = TdS - PdV.
Uklad nasz jest izolowany wiec dE=dV=0
Tym samym i entropia jest stala.

Poniewaz jest w takiej sytuacji jest bardzo nieoczywiste, dlaczego entropia w
ukladach zdala od rownowagi ma rosnac, wiec chce namiar na takie twierdzenie.

> 3) Czlowiek w pudelku jest wyjatkowo nieszczesliwym
> przykladem, bo czlowiek produkuje mnostwo entropii. Rozkladajac zwiazki
> chemiczne.

Rozklada zwiazki, ale tez produkuje, produkuje tez promieniowanie.
Pewnie produkuje entropie ale zapewne nikt tego nie pokazal.
To zreszta nie ma znaczenia. Znaczenie ma tylko laczna entropia.

> 4) Uklady hamiltonowskie nie musza zachowywac entropii.
> Chaotyczne ja produkuja. Przeczytaj sobie np. Sec. 2.1.2
> podanej przeze mnie niegdys referencji.

Przeczytalem sobie ten fragment.
Tam nie ma ani slowa o ukladach hamiltonianowskich.
Co wiecej, tam jest mowa o entropii kolmogorowa. To jest zupelnie inna entropia -
entropia topologiczna - niz w fizyce statystycznej, niz wszystkie tutaj
wymienione wczesniej.

Jezeli wiec mowisz o zupelnie innej entropii to wypadaloby o tym wspomniec.
Po drugie ten fragment jest zupelnie nie zwiazany z twoja teza.

A teraz cios ostateczny
Uklady hamiltonianowskie sa niezmiennicze wzgledem symetrii czasowej.
Jezeli dany uklad jest hamiltonianowski to uklad w ktorym czas biegnie w tyl tez
jest hamiltonianowski.

Twierdzisz, ze w moim ukladzie entropia wzrasta.
Wiec w ukladzie z odwroconym czasie entropia maleje! (A energia jest stala)
Czyli entropia ukladu hamiltonianowskiego - ukladu ktorego energia sie nie
zmienia moze malec
A to chyba niedobrze.

Zreszta tutal lezy caly problem w fizyce.
Entropia ukladu hamiltonianowskiego w zaden sposob nie chce roznac.
Gdyby chciala, mielibysmy naturalna strzalka czasu juz w samej teorii.
A tak trzeba wprowadzac te strzalki na sile
Bo w koncu z jakis przyczyn uklady nie chca przebiegac w druga strone.

Ciosem razony

[Gość: Ekspert]

Gość portalu: thrundui napisał(a):

> > 1) Chodzilo o objetosc przestrzeni fazowej
> > (pedu,polozenia) a nie obj. kulki.
>
> przyklad ten mial pokazywac, ze odwiedzenie kazdego
nie oznacza
> powiekszenia entropii.

A pokazuje cos wrecz przeciwnego...

> Tutaj druga wspolrzedna moze byc ped jezeli
koniecznie chcesz miec
> przestrzen fazowa.

Nie ja chce, tylko definicja entropii


> I dalej objetosc kulki (teraz w przestrzeni fazowej)
bedzie stala.
>
Objetosc obszaru dostepnego dla trajektorii kulki
poruszajacej sie po stole bilardowej jest wieksza niz
kulki spoczywajacej (w sposob trywialny).


> > 2) Entropia w ukladzie izolowanym moze rosnac jesli
uklad
> > nie jest w rownowadze termodynamicznej. Uklad z
przykladu
> > nie jest.
>
> To ja sobie chetnie poczytam o entropii ukladow zdala
od stanu rownowagi.

Powinienes to zrobic przed napisaniem listu.

> Dla ukladow w stanie rownowagi zachodzi
> dE = TdS - PdV.
> Uklad nasz jest izolowany wiec dE=dV=0

Izolowany nie znaczy ze jest w stanie rownowagi
termodynamicznej.

> Tym samym i entropia jest stala.

Ogolnie - niekoniecznie, w Twoim ukladzie - nie.


> Poniewaz jest w takiej sytuacji jest bardzo
nieoczywiste, dlaczego
> entropia w ukladach zdala od rownowagi ma rosnac,
wiec chce namiar na
> takie twierdzenie.
>

II zasada termodynamiki.
Jesli nie rozumiesz od razu, potraktuj to jako
lamiglowke.


> > 3) Czlowiek w pudelku jest wyjatkowo nieszczesliwym
> > przykladem, bo czlowiek produkuje mnostwo entropii.
Rozkladajac zwiazki
> > chemiczne.
>
> Rozklada zwiazki, ale tez produkuje, produkuje tez
promieniowanie.
> Pewnie produkuje entropie ale zapewne nikt tego nie
pokazal.

To jest kompletnie trywialne.

> To zreszta nie ma znaczenia. Znaczenie ma tylko
laczna entropia.
>
... ktora nie maleje.


> > 4) Uklady hamiltonowskie nie musza zachowywac
entropii.
> > Chaotyczne ja produkuja. Przeczytaj sobie np. Sec.
2.1.2
> > podanej przeze mnie niegdys referencji.
>
> Przeczytalem sobie ten fragment.
> Tam nie ma ani slowa o ukladach hamiltonianowskich.
> Co wiecej, tam jest mowa o entropii kolmogorowa.
> To jest zupelnie inna entropia
> -
> entropia topologiczna - niz w fizyce statystycznej,
niz wszystkie tutaj
> wymienione wczesniej.
>

A o jakich ukladach tam jest?
Dlaczego entropia K. nazywa sie entropia?
Czy przeczytales aby dokladnie?


> Jezeli wiec mowisz o zupelnie innej entropii to
wypadaloby o tym wspomniec.
> Po drugie ten fragment jest zupelnie nie zwiazany z
twoja teza.
>

Nie zamierzam udowadniac, ze nie jestem krowa.

> A teraz cios ostateczny

No, masz w kazdym razie spory tupet.
Dobre i to.


> Uklady hamiltonianowskie sa niezmiennicze wzgledem
symetrii czasowej.
> Jezeli dany uklad jest hamiltonianowski to uklad w
ktorym czas biegnie
> w tyl tez jest hamiltonianowski.

OK.
>
> Twierdzisz, ze w moim ukladzie entropia wzrasta.
> Wiec w ukladzie z odwroconym czasie entropia maleje!



> (A energia jest stala)
> Czyli entropia ukladu hamiltonianowskiego - ukladu
ktorego energia
> sie nie zmienia moze malec.

Widziales kiedys, zeby gaz sie sam sprezyl?
Albo szklanka skleila?
Entropia ma sens dla ukladow, ktore sa dosyc duze.

Prawdopodobienstwo zmniejszenia makroskopowej entropii
jest znikome, choc niezerowe. Zerowe staje sie dopiero
w granicy termodynamicznej (nieskonczenie duzego
ukladu).
Chodzi o to, ze duzy hamiltonowski uklad statystyczny
poza stanem rownowagi termodynamicznej (w ktore
spelniony
jest war. rownowagi szczegolowej) moze wygladac jakby
poruszal sie do tylu w czasie tylko przy bardzo
nietypowych
warunkach poczatkowych. Dla odpowiedno duzego ukladu -
w warunkach nieprawdopodobnych.



> Zreszta tutal lezy caly problem w fizyce.

To jest tylko jeden?

> Entropia ukladu hamiltonianowskiego w zaden sposob
nie chce roznac.

Jestes chyba o 100 lat do tylu...

> Gdyby chciala, mielibysmy naturalna strzalka czasu
juz w samej teorii.
> A tak trzeba wprowadzac te strzalki na sile

Na sile?

> Bo w koncu z jakis przyczyn uklady nie chca
przebiegac w druga strone.

No wlasnie, moze zamiast tracic czas napiszesz sobie
symulacje gazu w naczyniu, startujac ze stanu -
wszystkie czastki
w polowce naczynia (A) i startujac ze stanu losowego
(B) (podzial czastek
mniej wiecej fifty-fifty). Sprawdz ile bedziesz czekal,
zeby
osiagnac stan A wychodzac z B i na odwrot.
Albo po prostu pomysl.

[Gość: thrundui]

> > przyklad ten mial pokazywac, ze odwiedzenie kazdego
> nie oznacza
> > powiekszenia entropii.
>
> A pokazuje cos wrecz przeciwnego...

to moze od strony tw liouville'a
dla ukladow hamiltonianowskich objetosc w przestrzeni fazowej jest stala w czasie.
Dla wszystkich ukladow hamiltonianowskich.
Takze chaotycznych.

> > I dalej objetosc kulki (teraz w przestrzeni fazowej)
> bedzie stala.
> >
> Objetosc obszaru dostepnego dla trajektorii kulki
> poruszajacej sie po stole bilardowej jest wieksza niz
> kulki spoczywajacej (w sposob trywialny).

Dla kulki objetosc jest wieksza bo to nie jest uklad hamiltonianowski
ale dla skrzynki jest stala.
moj uklad jest hamiltonianowski, wiec jego objetosc w przestrzeni fazowej nie
moze sie zmieniac.
Moze ci sie nie podobac tw liouville'a ale to jest tw matematyczne nie fizyczne.
Zawsze prawdziwe.

A ty chyba jestes religijnie przywiozany do tego wzrostu objetosci
czy entropii.

> > Poniewaz jest w takiej sytuacji jest bardzo
> nieoczywiste, dlaczego
> > entropia w ukladach zdala od rownowagi ma rosnac,
> wiec chce namiar na
> > takie twierdzenie.
> >
>
> II zasada termodynamiki.
> Jesli nie rozumiesz od razu, potraktuj to jako
> lamiglowke.

II TW mowi tylko ze nie moze malec, nie mowi ze musi rosnac

>
>
> > > 3) Czlowiek w pudelku jest wyjatkowo nieszczesliwym
> > Rozklada zwiazki, ale tez produkuje, produkuje tez
> promieniowanie.
> > Pewnie produkuje entropie ale zapewne nikt tego nie
> pokazal.
>
> To jest kompletnie trywialne.

Czy dowod zajmie ci linijke
Ja bym chcial go zobaczyc.


> > > 4) Uklady hamiltonowskie nie musza zachowywac
> entropii.
> > > Chaotyczne ja produkuja. Przeczytaj sobie np. Sec.
> 2.1.2
> > Przeczytalem sobie ten fragment.
> > Tam nie ma ani slowa o ukladach hamiltonianowskich.
> > Po drugie ten fragment jest zupelnie nie zwiazany z
> twoja teza.

> Nie zamierzam udowadniac, ze nie jestem krowa.

> Widziales kiedys, zeby gaz sie sam sprezyl?
> Albo szklanka skleila?

Bo to nie sa uklady izolowane.

> > Entropia ukladu hamiltonianowskiego w zaden sposob
> nie chce roznac.
>
> Jestes chyba o 100 lat do tylu...

To ty w takim razie przybywasz z XXII w.
Jezeli moje argumenty skutecznie do ciebie nie trafiaja
to moze cytat:
"So, we have a problem: the entropy seems to remain constant in time. In fact, we
could expect that would expect there would be a problem becaus hamiltonian
evolution has time reversal invariance (to be discussed later), while we want to
proove an increase of entropy which does not respect time reversal"

str. 4 a potem 6
Smooth dynamics and new theoretical ideas in nonequilibrium statistical mechanics
1998 r.
arxiv.org/abs/chao-dyn/9812032

A wiec jednak entropia ukladow hamiltonianowskiech jest stala w czasie!
Przynajmniej w 1998r.
Ty musisz wiec pochodzic co najmniej z 2098.

W dalszej czesci pracy aby osiagnac wzrost entropii rozwazaja wlasnie uklady
niehamiltonianowskie!
Dlatego tez zreszta umiescilem bilard w idealnie izolowanej skrzyni.

Powiewaz twierdzisz, ze sekcja 2.1.2 twierdzi, ze entropia ukladow
hamiltonianowskich rosnie
podczes gdy ja twierdze, ze nawet nie dotyczy tego zagadnienia,
to jednak chyba bedziesz musial pokazac, ze nie jestes krowa:)

Informacja

[Gość: Ekspert]

Drogi thurundui,

Odpowiem Ci wkrotce. Mam nadzieje zakonczyc te
dyskusje,
bo mnie nudzi i nuzy. Poniewaz wchodzisz znow na
poziom osobistych
przytykow, zastosuje srodki proporcjonalne.

Milego oczekiwania.

Koniec

[Gość: Ekspert]

Na zakonczenie:

Gość portalu: thrundui napisał(a):

> to moze od strony tw liouville'a
> dla ukladow hamiltonianowskich objetosc w przestrzeni
fazowej jest
> stala w czasie.
> Dla wszystkich ukladow hamiltonianowskich.
> Takze chaotycznych.
>

Znow mam podejrzenia, ze rozmawiam z pokojem, a nie z
Cinczykiem.
Nie zrozumiales: pisalem nie o objetosci potoku fazowego,
a
o ilosci komorek przestrzeni fazowej przez ktore
przechodzi trajektoria.
Chodzi o objetosc przestrzeni fazowej dostepnej dla
ukladu.

> > > I dalej objetosc kulki (teraz w przestrzeni
fazowej)
> > bedzie stala.
> > >
> > Objetosc obszaru dostepnego dla trajektorii kulki
> > poruszajacej sie po stole bilardowej jest wieksza niz
> > kulki spoczywajacej (w sposob trywialny).
>
> Dla kulki objetosc jest wieksza bo to nie jest uklad
hamiltonianowski
> ale dla skrzynki jest stala.
> moj uklad jest hamiltonianowski, wiec jego objetosc w
przestrzeni
> fazowej nie moze sie zmieniac.

Znowu piszesz o rzeczach, ktorych po prostu nie
rozumiesz.
Mieszasz 2 rozne wielkosci. Jak wyzej.

> Moze ci sie nie podobac tw liouville'a ale to jest tw
matematyczne nie fizyczne
> .
> Zawsze prawdziwe.
>
Podoba mi sie ogromnie.
Nie podoba mi sie, ze go usilujesz stosowac nie
rozumiejac.

> A ty chyba jestes religijnie przywiozany do tego
wzrostu objetosci
> czy entropii.
>

Coz, mowiac prawde jestem przywiazany z powodow
empirycznych
i dzieki dedukcji. Ty natomiast jestes smutnym
przykladem niedouczonego
dziwaka, ktory potrafi przytoczyc twierdzenie, niestety
kompletnie
nie rozumiejac. Jest to u Ciebie tak nagminne i
stowarzyszone z tak zla
wola w tej dyskusji, ze nie bede jej dalej ciagnal.
Mozna rozmawiac z kims, kto popelnia bledy, ale potrafi
je uznac.
Nie da sie rozmawiac z gosciem, ktory potrafi gory
poruszyc, zeby
racji nie przyznac. Jak Cie lapie na nieuctwie w jednej
sprawie to uciekasz
na inna. Mnie sie znudzilo.



> > II zasada termodynamiki.
> > Jesli nie rozumiesz od razu, potraktuj to jako
> > lamiglowke.
>
> II TW mowi tylko ze nie moze malec, nie mowi ze musi
rosnac
>
Fakt. To ze rosnie wynika z obserwacji.

> >

> > To jest kompletnie trywialne.
>
> Czy dowod zajmie ci linijke
> Ja bym chcial go zobaczyc.
>
Jesli nie potrafisz sam tego zobaczyc, nie ma sensu z
Toba dyskutowac.


> > > > 4) Uklady hamiltonowskie nie musza zachowywac
> > entropii.
> > > > Chaotyczne ja produkuja. Przeczytaj sobie np.
Sec.
> > 2.1.2
> > > Przeczytalem sobie ten fragment.
> > > Tam nie ma ani slowa o ukladach hamiltonianowskich.
> > > Po drugie ten fragment jest zupelnie nie zwiazany z
> > twoja teza.
>

Kto ma oczy niechaj patrzy. Kto nie ma niech bedzie
slepy.


> > Nie zamierzam udowadniac, ze nie jestem krowa.
>
> > Widziales kiedys, zeby gaz sie sam sprezyl?
> > Albo szklanka skleila?
>
> Bo to nie sa uklady izolowane.
>

Przyklad: Twoj bilard i w srodku szklanka.
Rozwali sie czy sklei?

> > > Entropia ukladu hamiltonianowskiego w zaden sposob
> > nie chce roznac.
> >
> > Jestes chyba o 100 lat do tylu...
>
> To ty w takim razie przybywasz z XXII w.
> Jezeli moje argumenty skutecznie do ciebie nie trafiaja

Nie trafiaja bo sa bledne. A Twoje zadufanie
uniemozliwia
mi dyskusje. Z przyczyn czysto estetycznych.


> to moze cytat:
href="http://arxiv.org/abs/chao-dyn/9812032">arxiv.org/abs/chao-dyn/981203
>
> A wiec jednak entropia ukladow hamiltonianowskiech jest
stala w czasie!
> Przynajmniej w 1998r.

Dzieki za fajna referencje.
Niestety, znow przeczytales nieuwaznie.
Co tam rybko pisali o Boltzmanie?

> Ty musisz wiec pochodzic co najmniej z 2098.
>
Poczucie humoru zgodne z poziomem rozumienia fizyki.

> W dalszej czesci pracy aby osiagnac wzrost entropii
rozwazaja wlasnie
> uklady niehamiltonianowskie!

Nie zrozumiales tej pracy.


> Powiewaz twierdzisz, ze sekcja 2.1.2 twierdzi, ze
entropia ukladow
> hamiltonianowskich rosnie
> podczes gdy ja twierdze, ze nawet nie dotyczy tego
zagadnienia,
> to jednak chyba bedziesz musial pokazac, ze nie jestes
krowa:)

Ani mi sie sni.
Dyskusje uznaje za zakonczona.
Dyskutanta zas ostrtzegam - to polaczenie niedouczenia z
zadufaniem
grozi trwalym zahamowaniem Twojego rozwoju. W odroznieniu
od Ciebie
ja potrafie z moich intuicji i gleboko przemyslanej
wiedzy zbudowac rzeczy istotnie nowe i wartosciowe, ktore
opieraja sie weryfikacji empirycznej i intelektualnej
przez najtezsze umysly.
Czego i Tobie zycze.

[Gość: thrundui]

> ja potrafie z moich intuicji i gleboko przemyslanej
> wiedzy zbudowac rzeczy istotnie nowe i wartosciowe, ktore
> opieraja sie weryfikacji empirycznej i intelektualnej

To teraz ja podsumuje dyskusje.

Co chwile powtarzasz, ze ja czegos tam nie rozumiem,
jakbysbyl wielkim znawca najpierw entropii a potem laureatem nobla z fizyki.
Ale przypomnij sobie swoja definicja entropii - nawet nie zsumowales
odpowiedniego wyrazenia po wszystkich mozliwych przypadkach!
A potem jeszcze sie klociles ze to poprawne.

Rzeczywiscie masz bogate przemyslenia o entropii

Potem nadeszlo olsnienie - zostala przytona definicja entropii shannona -
niezbity dowod na poprawnosc wszystkich twoich tez. NAwet twierdziles, ze to
prawie to samo o czym mowiles caly czas.

Tak sie niefajnie stalo, ze ja wlasnie przytoczylem wlasnie definicje entropii
informacyjnej shannona, ktora najpierw tak ci sie nie podobala, a potem nagle
strasznie spodobala.
A po drodze jeszcze te twoje rozwazania a mikro i makrostanie, rodem z entropii
bolzmana.

Nie zauwazenie, ze mowie caly czas o entropii informacyjnej i jakies tam dziwne
uwagi, ze miby nie rozrozniam makro i mikro stanu wskazuja, ze na poczatku to ty
nawet nie znales roznicy miedzy entropia bolzmana a shannona

Ale to oczywiscie ja nic nie rozumiem i mi sie wszystko pomieszalo.

Potem przyszedl czas na entropie empiryczna shannona.
Chyba nie trzeba przypominac, kto napisal, ze caly czas mowimy o zdarzeniach
niezaleznych. Tak idiotycznego zalozenia nawet nie bylo w referencji, ktora tak
ci sie spodobala.

Kolejny przyklad ogromnej znajomosci zagadnienia.

Potem o zachowaniu objetosci.
To znowu ja nie rozumiem tego pojecia. Ja o stalosci objetosci potoku fazowego
(cytuje, bo to okreslenie nie jest chyba najszczesliwsze) a tobie sie wydaje, ze
mowie o lacznej objetosci bog wie czego.
Przeciez poruszajaca sie kulka w przestrzeni to punkt w przestrzeni fazowej!
Jak wogole mozna mowic, ze laczna zajmowana objetosc przez kulke rosnie!

Warto tutaj przypomniec dokladniej to zdarzenie.
Ja mowie o tw liouville'a i o objetosci
a ty to zinterpretowales jako o lacznej objetosci i to nawet nie w przestrzeni
fazowej (tam zero)!

A potem sie klocisz, ze to nieprawda. I ze ja glupi bo ty o czyms innym
podczas gdy to cos inne to taki idiotyzm, ze doprawdy trudno uwierzyc, ze ktos
wogule tak mogl pomyslec. I to jeszcze Expert z Fizyki!

Ale to znowu ja nie rozumiem czym jest przestrzen fazowa, tw liouvillea i wogole
cala fizyka.

Potem o stalosci entropii w ukladach dynamicznych.
Tu byla jakas praca, ktora miala tego dowodzic. Pomijam fakt, ze w pracy tej (100
stron) pojecie "hamiltonian" nie pojawilo sie ani razu. Przytoczony fragment
dotyczyl zupelnie innego pojecia entropii!

Moze rzeczywiscie byla to praca bezposrednio zwiazana z entropia ukladow
hamiltonowskich ale ja tego jakos nie dostrzeglem.

Ja przytoczylem prace odnosnie entropii w ukladach zdala od rownowagi
termodynamicznej, gdzie bylo czarno na bialym napisane, ze entropia ukladow
hamiltonianowskich powinna byc stala.
I jaka byla odpowiedz Experta:
1. Co tam powiedziano o entropii bolzmana (przynajmniej juz wie co to jest)
2. Nic nie rozumiesz

Czytelnik powinien wiedziec, ze przytoczony fragment, gdzie explicite pokazano
stalosc entropii dotyczyl entropii shannona nie bolzmana, entropii ktora Expert
wczesniej bardzo lubil.

Z jednej strony text gdzie pojecie "hamiltonian" nie pojawilo sie ani razu,
ktorego tresci nie zrozumialem
a z drugiej teks dotyczacy termodynamiki stanow zdala od rownowagi, gdzie stalosc
entropii zostala wypowiedziana wprost, ktorego zreszta tez nie zrozumialem.


To tyle skrotu dyskusji.

> ja potrafie z moich intuicji i gleboko przemyslanej
> wiedzy zbudowac rzeczy istotnie nowe i wartosciowe, ktore
> opieraja sie weryfikacji empirycznej i intelektualnej
> przez najtezsze umysly.
> Czego i Tobie zycze.

Czyli Expert to jeden z najtezszych umyslow, ktory z otwarta przylbica poddaje
sie weryfikacji empirycznej i intelektualnej.

Ale wszystkie dyskusje wygrywa raczej tym tekstem niz sila argumentow.

[donjuan]

Zainteresowanych informuje , ze ukazalo sie nowe
wydanie ksiazki Iana Stewarta "Czy Bog gra w kosci " .
Goraco polecam .

[Gość: +++ignor]

Witam!

Moje przyczynki WIELKIM LITERAMI

Gość portalu: Muzykant napisał(a):

> Nieuporzadkowanie? Chaos to jednak cos znacznie powazniejszego.
> Jak zachowa sie miara entropii (S p*lg p) w stosunku do b. skomplikowanej
> struktury? Czy b. skomplikowana struktura jest odroznialna od calkwitego
> nieuporzadkowania?
>
> Jak to jest, ze np. schemat skomplikowanego urzadzenia elektronicznego jest
> kompletnym chaosem dla laika? Czyli skomplikowana i dobrze zorganizowana
> struktura moze byc stanem calkowitego nieuporzadkowania dla podmiotu nie
> znajacego regul rzadzacych ta struktura?

TU KŁANIA SIE PEWIEN ARTYKUŁ SCHROEDINGERA, GDZIE WPROWADZIŁ POJĘCIE ENTROPII
UJEMNEJ
UKŁAD BIOLOGICZNY BEDĄCY UKŁADEM WYSOCE ( NAWET WYŻEJ NIŻ UKŁAD ELEKTRONICZNY)
UPORZĄDKOWANYM ZMNIEJSZA SWOJĄ ENTROPIĘ KOSZTEM ENTROPII OTOCZENIA...
JEDNAK CAŁKOWITA ENTROPIA UKŁADU ROŚNIE
TO BARDZO ELEGANCKIE WYTŁUMACZENIE DEGRADACJI ŚRODOWISKA PRZEZ GATUNEK NIE TYLKO
PRZEZ CZŁOWIEKA
> (A moze wszystko ma sens?! Tylko trzeba do tego dorosnac?)
> Jak sie zmienia entropia wszechswiata lokalnie a jak globalnie?
> Jak sie to ma do ewolucji?
WŁAŚNIE TEGO NIE WIADOMO, BO TERMODYNAMIKA NIE JEST TEORIĄ TAK WIELKICH I TAK
STARYCH UKŁADÓW
NIE WIADOMO NAWET CZY WSZECHŚWIAT JEST UKŁADEM OTWARTYM, CZY ZAMKNIETYM
DALEJ: NIE WIADOMO TEŻ JAKA JEST TERMODYNAMIKA PROCESÓW SZYBKO-ZMIENNYCH GDYŻ
TERMODYNAMIKA JEST TEORIA PROCESÓW QUASI-STACJONARNYCH
PODOBNIE JAK NP. MECHANIKA PŁYNÓW DOBRZE OPISUJE PRZEPŁYWY LAMINARNE I TZW SUCHĄ
WODĘ ALE ZAŁAMUJE SIĘ PRZY PRZEPŁYWACH BURZLIWYCH CZYLI BARDZIEJ CHAOTYZNYCH
> Albo: stanem przejsciowym pomiedzy gorzej i lepiej zorganizowana struktura moze
>
> byc tymczasowy spadek uporzadkowania (popul. chaos)? (Tak jak np. w "Teorii
> dezintegracji pozytywnej" Kazimierza Dabrowskiego, wybitnego polskiego
> psychologa i psychiatry.)
> TU TRUDNO UOGÓLNIAĆ TERMODYNAMIKĘ NA PSYCHOLOGIĘ BO P. POSŁUGUJE SIE NIEZBYT
ŚCISŁYMI DEFINICJAMI I NIE BARDZO WIADOMO CO MIAŁOBY BYĆ PRZEDMIOTEM ROZWAŻAŃ
> Tylko bardzo prosze nie pisac, ze myle tutaj pojecia potoczne ze scislymi
> definicjami matematycznymi. To nie przypadek, ze teoria chaosu w latach 70/80
> zrobila taka kariere medialna! (Moze ktos pamieta takie efektowne stwierdzenia,
>
> ze machniecie skrzydla motyla w Chinach moze byc przyczyna tornada w USA?
OSOBIŚCIE WĄTPIĘ BO TRZEBA ODPOWIEDZIEĆ CO ZE STABILNOŚCIA W SENSIE LAPUNOWA, GDY
MAŁA ZMIANA POWODUJE MAŁĄ ZMIANĘ
RUSZAJĄC PALCEM ZABURZASZ RUCH PLANET, ALE JAKOŚ NIE SPADAJĄ...
RACZEJ ZACHODZI COS TAKIEGO, ŻE OTOCZENIE REAGUJE ODPOWIEDZIĄ ODWROTNĄ DO BODŹCA
TAK BY ZMINIMALIZOWAĆ WPŁYW BODŹCA...
TO JEST ZASADA LE CHATLIER-BRAUNA
AKCJA I REAKCJA
REAKCJA MINIMALIZUJE ( NAWET ZERUJE) WPŁYW AKCJI
TAKIE UOGÓLNIE PRAWA HOOKA( NAJPROSTSZEGO ASPEKTU REGUŁY C-B)
ODPALANIE BOMB ATOMOWYCH ANI LOTY WIELKICH SAMOLOTÓW I RAKIET NIE ZMIENIŁY KLIMATU
ORBITY ZIEMI TEŻ
> Ostatni filmowy "chaotyczny" watek jaki pamietam byl w "Parku Jurajskim (1)".)
> Wlasnie, dlaczego ta "kariera" jakos ostatnio wygasla? Matematycy bardzo
> niechetnie patrza na jakiekolwiek praktyczne zastosowania.
> Nie chce tu rozmawiac o atraktorach i ukladach niestabilnych.
> Otoz mam wrazenie, ze pojecie chaosu dotyka czegos bardziej fundamentalnego i
> prawdopodobnie jeszcze nie odkrytego. Ludzie intuicyjnie to wyczuwaja, ze moze
> tu chodzic o rzeczy znacznie wazniejsze niz dotychczasowe trywialne
> interpretacje.
> SĄ RÓŻNE KONCEPCJE MATEMATYCZNE CHOĆBY W FIZYCE STATYSTYCZNEJ
NP TERMODYNAMIKA STATYSTYCZNA
ALE ONE SIE DOPIERO ROZWIJAJĄ
RACZEJ ZADAJĄ NOWE PYTANIA NIŻ DAJĄ ODPOWIEDZI

mATEMATYCY SIEDZĄ W SWOJEJ WIEZY Z KOŚCI SŁONIOWEJ I NIECHETNIE ZAJMUJĄ SIE
REALNYM NIEFORMALNYM ŚWIATEM
NAD TEORIA DYSTRYBYCJI DIRACA PRACOWALI 20-LAT ZANIM ZAAKCEPTOWALI SAMA
DYSTRYBUCJĘ,
MIMO IŻ DIRAC PODAŁ WARUNKI CAŁKOWALNOŚCI I RÓŻNICZKOWALNOŚCI
PEŁNĄ ANALIZE MATEMATYCZNĄ
PODOBNIE BYŁO Z WIELOMA INNYMI DZIEDZINAMI MATEMATYKI
CHOCBY Z GEOMETRIA...
> Bardzo prosze matematykow, fizykow i filozofow (nie koniecznie tych z dyplomem)
>
> o zabranie glosu! Musze przyznac, ze czuje sie zagubiony wobec tych
> intrygujacych pojec i podrecznikowa wiedza tylko mnie irytuje!
>
MNIE TEŻ I NIEKTÓRE WYPOWIEDZI ZAROZUMIAŁYCH LUMINARZY RÓWNIEŻ

NIE CZUJ SIE ZAGUBIONY
NASLADUJ SOKRATESA!

IGNORANT
+++

[Gość: Julek]

Po odjezdzie, po dwuch dniach, od nas, wmukow z rodzicami do wlasnego domu, U
nas pozostaje chaos.