Cognitive Computing

[asteroida2]

Majka wstawiła już informację o tym do wątku o symulowaniu mózgu, ale wydaje mi się, że zasługuje to na osobną dyskusję.

IBM zademonstrował właśnie swój projekt SyNAPSE, w ramach którego rozwijają procesory o architekturze nie takiej jak współczesne komputery, ale bardziej przypominającej mózgi:

www.eetimes.com/electronics-news/4218883/IBM-demos-cognitive-computer-chips
cacm.acm.org/magazines/2011/8/114944-cognitive-computing/fulltext
Nie jest to więc ani podejście wysokopoziomowe (kognitywistyczne), ani niskopoziomowe (przez symulowanie pracy neuronów), ale coś pośredniego. Tak naprawdę najbardziej przypomina to sieci neuronowe. Co jest tu nowością, to skala. Według autorów projektu, technologia jest już na tyle zaawansowana, że można zbudować urządzenie o skali ludzkiego mózgu: 10 miliardów neuronów i 100 bilionów połączeń pomiędzy nimi.

IBM nie są jedynymi realizującymi to podejście. W Wielkiej Brytanii rozpoczął się projekt SpiNNaker, w ramach którego powstaje sieć z około miliona prostych procesorów ARM968, symulujących sieć o skali rzędu miliarda neuronów:

www.hpcwire.com/hpcwire/2011-07-07/researchers_spin_up_supercomputer_for_brain_simulation.html
Oba projekty mają w swoich celach badanie emergentnych właściwości dużych sieci neuronowych, przy czym IBM stawia bardziej na zastosowania praktyczne ich chipów, takie jak np. ocenianie jakości jedzenia na podstawie bardzo wielu parametrów, czy kierowanie ruchem ulicznym.

[majka_monacka]

asteroida2 napisał:

> Majka wstawiła już informację o tym do wątku o symulowaniu mózgu, ale wydaje mi
> się, że zasługuje to na osobną dyskusję.
>
> IBM zademonstrował właśnie swój projekt SyNAPSE, w ramach którego rozwijają pro
> cesory o architekturze bardziej przypominającej mózgi:
>
> Tak naprawdę najbardziej przypomina to sieci neuronowe. Co jest tu nowością, to skala.
> Technologia jest już na tyle zaawansowana, że można zbudować
> urządzenie o skali ludzkiego mózgu: 10 miliardów neuronów i 100 bilionów połączeń
> pomiędzy nimi.
>
Tak, to przypomina sieci neuronowe samouczące się, ale poza skalą, to istotne jest odejście od symulacji na komputerach algorytmicznych a rozpoczęcie testowania całkiem nowych architektur sieciowych. Przewiduję bardzo szybkie postępy.
Pozdrowienia dla informatyków z tego wątku dalej ważne :).

[asteroida2]

> Tak, to przypomina sieci neuronowe samouczące się, ale poza skalą, to istotne jest
> odejście od symulacji na komputerach algorytmicznych a rozpoczęcie testowania
> całkiem nowych architektur sieciowych.

Ależ to wcale nie jest odejście od komputerów algorytmicznych. To jest tylko zmiana architektury, podobna do pojawienia się systemów wieloprocesorowych. Teoretycznie to samo można by zrobić na klasycznym komputerze, tylko że o wiele wolniej.

20 lat temu ograniczenia w szybkości przesyłania danych ograniczyły możliwość podkręcania procesora i wymusiły pojawienie się systemów wieloprocesorowych - najpierw w superkomputerach a niedawno też w zastosowaniach domowych. Obecnie taką granicą jest zużycie energii i aby je ograniczyć, próbuje się odejść od paradygmatu "szybko liczącego procesora i statycznej pamięci" (czyli architektury von Neumanna) na rzecz "obliczeń dokonywanych w samej pamięci" (czyli architektury bliższej temu, jak działają ludzkie mózgi). Fizyka mówi, że powinno dać się zwiększyć wydajność komputerów jeszcze kilka milionów razy. Być może to jest zmiana, który pozwoli wykorzystać choć część tej możliwości.

[majka_monacka]

Już o tym dyskutowaliśmy i ja się zgodziłam, że sieć wykonuje jakiś algorytm, ale nie zadany z góry przez programistę, ale wynikający z procesu samouczenia (Podawałam nawet przykładowy algorytm logiki dynamicznej służący wyszukiwaniu podobieństw).

Chodzi mi właśnie o tę architekturę, bo pozwala ona na równoległe przeszukiwanie olbrzymich zestawów informacji z zasobów pamięci epizodycznej, co umożliwia szybkie wykonywanie złożonych zadań przy pomocy bardzo prostych operacji. Takie proste operacje mogą być łatwo modyfikowane przez stosunkowo proste i powtarzalne elementy kolumn i mikrokolumn, co dzieje się właśnie w naszym mózgu. Przecież trudno sobie wyobrazić , że w mózgu jakiś programista przeprogramowuje algorytmy dla coraz to innych zadań.

Dlatego architektura koneksjonistyczna, czyli oparta o liczne zmienne połączenia prostych powtarzalnych elementów daje możliwość szybkiego rozwoju poprzez proste powielanie liczby kolumn, czyli wzrost kory.

[asteroida2]

> Takie proste operacje mogą być łatwo modyfikowane przez stosunkowo proste i
> powtarzalne elementy kolumn i mikrokolumn, co dzieje się właśnie w naszym mózgu.
> Przecież trudno sobie wyobrazić , że w mózgu jakiś programista przeprogramowuje
> algorytmy dla coraz to innych zadań.

Mózg się sam przeprogramowuje, ale ten "metaalgorytm" według którego to robi, wcale nie musi być bardzo prosty.

Czemu dzieko ucząc się chodzić, uczy się to robić coraz lepiej, a nie coraz gorzej? Z punktu widzenia sieci neuronowej oba te procesy są optymalizacją jakiejś funkcji celu - więc dziecko musi mieć właściwą funkcję celu jakoś zadaną z góry.
W jaki sposób niemowlę widząc uśmiechającą się twarz, potrafi naśladować ten uśmiech, mimo że samo przecież nigdy nie widziało swojej twarzy i nie może sprawdzić, jaki mimiczny skutek ma napięcie danych mięśni? Musi mieć zakodowany program rozpoznawania twarzy i jakiejś podstawowej mimiki, żeby algorytmy uczenia miały co optymizalizować.
Czemu dziecko interesuje się rzeczami, które są kolorowe, ruchome i reagują na okazywane zainteresowanie, a nie tymi, które są szare, nieruchome i pasywne? W jego mózgu musi być jakoś "zaprogamowane", że należy wchodzić w interakcje z tymi przedmiotami, żeby stymulować rozwój.

Naukowcy starający się stworzyć maszyny o podobnych do ludzkich możliwościach muszą te wszystkie rzeczy jakoś zaprogramować. Bo samo stworzenie rozległej sieci neuronowej może doprowadzić do powstania maszyny całkowicie autystycznej, patologicznie nieludzkiej albo nie dążącej do żadnego rozwoju.