Informatyka Neurokognitywna

1. Informatyka Neurokognitywna Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Toruń Google: W. Duch Studencki Festiwal Informatyczny, Kraków, 12-14.03.2009

2. Plan • Co to jest? • Informatyka kognitywna i pokrewne dziedziny. • Intencje, reprezentacje, mózgi i komputery. • Mózg – umysł, neurodynamika i geometria. • Kategoryzacja: psychologia i mózgi. • Neurokognitywny model wyższych czynności psychicznych. • Intuicja, wyobraźnia, kreatywność. • Inspiracje i zastosowania. • Przyszłość ...

3. Co mają wspólnego Dwie rzeczy: 1. Kiedy się urodziliście nie było ich w powszechnym użytku. 2. Powstały dzięki fizyce i informatyce.

4. Cywilizacja = fizyka + informacja Większość przedmiotów powszechnego użytku mamy dzięki fizyce: • Energia to domena fizyki: od poszukiwania złóż ropy (geofizyka), przez generacje (elektrownie wszelkiego rodzaju, nowe źródła), gromadzenie (baterie, akumulatory), przesyłanie, do wykorzystania w urządzeniach mechanicznych i elektrycznych. • Transport: samochody, pociągi, samoloty … • Komunikacja: fale radiowe, światłowody, satelity … • Edukacja i praca: komputery, telefony komórkowe, WWW … • Rozrywka: elektronika, telewizja, wirtualne instrumenty ... • Medycyna: prześwietlenia, tomografia, EKG, EEG, USG … • Wszystko to istnieje dzięki fizyce i informatyce. • Fizyka pozwala zrozumieć, opisać, zbudować. • Informatyka pozwala organizować, wyszukać, obliczyć, przetwarzać, sterować, tworzyć wirtualną rzeczywistość.

5. Informatyka kognitywna Co to jest? Informatyka to ... „systematyczne badanie procesów algorytmicznych, które charakteryzują i przetwarzają informację ... ". ACM 1989. Niektóre takie procesy sztuczne systemy robią lepiej niż ludzie, ale nadal w wielu obszarach naturalne systemy są znacznie lepsze.I to nas strasznie wkurza ... International Journal of Cognitive Informatics and Natural Intelligence, kwartalnik, od 2007 roku, ale nie ma wyraźnego profilu, od AI, uczenia maszynowego, do kwantowych obliczeń, bioinformatyki, świadomości. Informatyka neurokognitywna: badanie procesów przetwarzania informacji przez mózgi, uproszczone modele czynności poznawczych, myślenia, rozwiązywania problemów, uwagi, języka, kontroli zachowania i świadomości => praktyczne algorytmy + lepsze rozumienie tych procesów. Czeka nas bardzo głęboka rewolucja w rozumieniu natury ludzkiej.

6. Neuro-info Co tu nowego? Są już takie dziedziny! • AI? Zupełnie nie interesuje się mózgiem, zajrzyjcie do podręcznika. • Sieci neuronowe? Inspiracje na poziomie pojedynczych neuronów. • Neuroinformatyka? Wspomaganie badań nad mózgiem. • Computationalcognitiveneuroscience? Biofizyczne modele neuronów, powiązania z biofizyką molekularną, neurodynamika, modele powstawania sygnałów EEG, MEG, fMRI ... Szczegółowe modele neuronów i prostych czynności poznawczych, pierwsza doroczna konferencja 11/2005. • Inteligencja obliczeniowa? Niższe czynności poznawcze+optymalizacja. • HCI, współpraca człowiek-maszyna? Głównie ograniczenia poznawcze. • Obliczenia afektywne? Częściowo, emocje pomagają w myśleniu. • Neuroinformatyka kognitywna tylko częściowo się z nimi pokrywa.

7. O co chodzi? Informatyka neurokognitywna powinna pomóc w zrozumieniu wyższych czynności poznawczych i czerpać z tego inspiracje. • Różne rodzaje pamięci: rozpoznawcza, epizodyczna, semantyczna, robocza, krótkotrwała, proceduralna, emocjonalna, utajona ... • Reprezentacja różnych form wiedzy. • Język, rozumienie pojęć, związek z percepcją. • Procesy myślenia, rozwiązywania problemów, działania sekwencyjne. • Kontrola uwagi, selekcja informacji, sterowanie przez dane (dataflow). • Kontrola i planowanie zachowania, wyobraźnia, świadomość. Czy to się da zrobić? Przecież nie znamy szczegółów procesów zachodzących w mózgu? Nadal wiele spekulacji, ale sporo wiemy, są modele jakościowe wyjaśniające przyczyny syndromów neuropsychologicznych oraz chorób psychicznych, rozwijające się szybko od ~ 1995 roku.

8. Co dzieje się w mózgu?

9. Symulacje Neurony, sieci, symulatory: szczegóły - wykład z neuropsychologii komputerowej, Google: W. Duch => Notatki do Wykładów.

10. Pamięć skojarzeniowa • Zdolność do rozpoznawania uszkodzonych wzorców – adresowalność kontekstowa. • Uszkodzenie części macierzy połączeń nie prowadzi do zapomnienia konkretnych wzorców - brak lokalizacji. • Czas (szybkość kojarzenia) nie zależy od liczby zapamiętanych wzorców, ale może się wydłużyć dla nieużywanych wzorców. • Interferencja (mylenie się) dla podobnych wzorców jest częstsza niż dla wzorców odmiennych. • Przepełnienie pamięci (macierzy wag) prowadzi do chaotycznego zachowania. Wniosek: Nawet proste mózgo-podobne rozproszone przetwarzanie informacji wykazuje interesujące podobieństwa do psychologicznych obserwacji. • Złożoność mózgu nie jest głównym problemem! • Im dokładniejsze modele tym więcej funkcji.

11. INKa pomoże zrozumieć ... • Problem ciała-umysłu => transformacja neurodynamiki w percepcję wewnętrzną (przestrzenie psychologiczne), Brain-Computer Interfaces. • Przepływ informacji w mózgu: rola poszczególnych struktur: do czego służą, czyli co robią z informacją? • Psychiatria generatywna: jakie jest efekt zaburzeń? • Intuicja, wgląd, myślenie. • Torowanie, psychologia eksperymentalna i kreatywność. • Nabywanie umiejętności i świadomość. • Dynamika uczenia się – jak nowicjusz staje się ekspertem? • Talent, amuzja, wyobraźnia dźwiękowa. • Rozwój umysłu niemowląt i dzieci. • Obliczenia afektywne. Liczne zastosowania: od inspiracji dla uczenia maszynowego, analizy sygnałów, problemów językowych, do robotyki kognitywnej. Internet, łączność, rozrywka, biznes ... to mało interesująca część informatyki, zmiany będą przyspieszać.

12. BCI Wiesz co trzeba zrobić zanim wiesz co robisz ... ale tylko mając pomiary wewnątrz czaszki, lub badając obszary zajmujące się planowaniem ...

13. Intencje w mózgu Hayens i inn, Current Biology 2007: dostaniesz za chwilę dwie liczby, możesz je dodać lub od siebie odjąć ... a aktywność przyśrodkowej kory czołowej pokaże, jakie są Twoje intencje ... Wiesz co trzeba zrobić zanim wiesz co robisz ... wzrokowa droga grzbietowa jest szybsza! Obserwując korę przedczołową poznam Twoje plany 10 s. przed Tobą! Brain-Computer Interfaces: jakie są relacje pomiędzy stanami mózg a stanami umysłu? Projekt TOBI: Tools for BCI, EU FP7, 2009-2012

14. Neuroobrazowanie słów? Predicting Human Brain Activity Associated with the Meanings of Nouns," T. M. Mitchell et al, Science, 320, 1191, May 30, 2008 • Czy możemy zobaczyć reprezentacje pojęć w mózgu? Po raz pierwszy udało się zobaczyć w miarę stabilne obrazy fMRI ludzi, którzy widzą, słyszą lub myślą o jakimś pojęciu. • Czytanie słów, jak i oglądanie obrazków, które przywodzą na myśl dany obiekt, wywołuje podobne aktywacje - mózgowy kod sensu pojęć. • Indywidualne różnice są spore ale aktywacje pomiędzy różnymi ludźmi są na tyle podobne, że klasyfikator może się tego nauczyć. • Model nauczony na ~10 fMRI skanach + dużym korpusie słów (1012) przewiduje aktywność fMRI dla ponad 100 rzeczowników. Aktywacje mózgu dla różnych słów mogą służyć za rozkłady bazowe pozwalające za pomocą korelacji pomiędzy słowami przewidzieć aktywacje dla nowych pojęć; pobudzenia mózgu = naturalna baza reprezentacji. Przykłady fMRI dla czasowników .

15. Uwzględnia się wiele obszarów, np. dla wzroku LGN, V1, V2, V4/IT, V5/MT Modele funkcji mózgu Można zbadać możliwe zaburzenia funkcji => psychiatria generatywna. Modele intuicji, wyobraźni, sensu słów, powstawania wrażeń, świadomości … Analiza sygnałów EEG, wykorzystanie do sterowania (BCI).

16. Synapses Soma EPSP, IPSP Spike Spike Model biofizyczny

17. Problemy z umysłem • Problemy klasyczne i współczesne: • Problem wolnej woli i odpowiedzialności – „wolne”, bo nie da się przewidzieć ze względu na złożoność neurodynamiki? Błąd utożsamiania się z ego, a nie całym mózgiem ++ • Problem jedności poczucia istnienia „ja”: tożsamy z problem integracji percepcji? Skoro różne aspekty postrzegania analizowane są przez różne obszary mózgu dlaczego świadomość w normalnym stanie wydaje się monolityczna? Czego nas uczą syndromy neuropsychologiczne i choroby psychiczne? • Problem psychofizyczny – przebrzmiały? Umysł jest jedną z wielu rzeczy, którą robi mózg, ale potrzebujemy pomostu pomiędzy psychologią i neurobiologią; geometryczny model umysłu? • Problem adekwatnego języka opisu umysłu, brak prostych modeli.Umysł to nie katapulta, centrala telefoniczna czy komputer.

18. Architektura mózgopodobna Stany mózgu są czasoprzestrzennymi rozkładami pobudzeń tkanki neuronów. Procesy poznawcze operują na znacznie przetworzonych sygnałach dochodzących od zmysłów. • Czerwień, słodycz, ból ... to fizyczne (relacyjne) stany mózgu. • Widzę, słyszę i czuję tylko stany mózgu! Np. złudzenia optyczne. Kora: zbiór mikroobwodów, rezonatorów tworzących stany kolektywne, pojedyncze neurony mają niewielkie znaczenie. Aktywna część kory: pamięć robocza, całkiem odmienna od pamięci w komputerach. Rejestry komputera to nie są stany dynamiczne, które automatycznie prowadzą do skojarzeń.

19. BICA =Brain Inspired CA • IBCA (Integrated Biologically-based Cognitive Architecture), (O'Reilly, Y. Munakata 2000): wyróżnia 3 typy pamięci. • W korze ciemieniowej (PC), zazębiające się, rozproszone lokalnemoduły, hierarchiczne, sensomotoryczne wielomodalne działania. • W korze czołowej (FC) izolowana lokalna rekurencyjna reprezentacja odpowiedzialna za pamięć roboczą, wkład kombinatoryczny. • W hipokampie (HC) rzadka, koniunktywna organizacja globalna, scalająca wszystkie pobudzenia w PC i FC (pamięć epizodyczna). • Różne formy uczenia: korelacyjny model środowiska, redukcję błędów do uczenia umiejętności i dynamikę konkurencyjną (kWTA). • Moduły PC & FC: powolne uczenie się regularności w obserwacjach. • Moduł HC: szybkie uczenie, zapamiętywanie i rozróżnianie epizodów. Współpraca HC - FC/PC realizuje komplementarne strategie uczenia. • Wyższe czynności poznawcze wynikają z aktualizacji reprezentacji modułu FC umożliwiającego samo-regulację. • Jedynie podstawowe fakty psychologiczne; cele? emocje? skalowanie?

20. BICA jako aproksymacja • Znaczne postępy poczyniono wykorzystując inspiracje z badań nad mózgiem do analizy percepcji, mniejsze dla wyższych czynności poznawczych. • Neurokognitywne podejście do lingwistyki stosowano do analizy zjawisk lingwistycznych, ale ma to niewielki wpływ na NLP. • Potrzebne są nowe matematyczne techniki by opisać procesy obliczeniowe w terminach “wzorców stanów mózgu” i rozchodzenia się aktywacjimiędzy takimi wzorcami. Jak to zrobić? • Prototypy dla stanów neuronowych? Możliwe, dobre rezultaty z analizy EEG => ruchy ręki lub ruchy oczu. • Quasi-stacjonarne fale pobudzeń opisujące globalne stany mózgu w określonym kontekście (w,Cont)? • Jak wyglądają ścieżki rozchodzenia się aktywacji w mózgu? Praktyczny algorytm rozszerza rep. pojęcia o te kategorie skojarzeń, które są pomocne w klasteryzacji i klasyfikacji (Duch i inn,Neural Networks 2008),usuwając słabe skojarzenia przez filtrowanie cech.

21. Metafora systemu dynamicznego Umysł/mózg jak system dynamiczny: • Thelen E. and Smith L.B. A Dynamic Systems Approach to the Development of Cognition and Action. MIT Press 1994. • Smith L.B. and Thelen E, Eds. A Dynamic Systems Approach to the Development. MIT Press 1994. • J. A. Scott Kelso, Dynamic Patterns. The Self-Organization of Brain and Behavior. MIT Press 1995 • Jak połączyć neuro i psyche ? • R. Shepard (BBS, 2001): uniwersalne prawa należy sformułować w odpowiednich abstrakcyjnych przestrzeniach psychologicznych; próba uproszczenia neurodynamiki => geometryczne modele umysłu. • K. Lewin, koncepcyjna reprezentacja i pomiary siły psychologicznych (1938), stan kognitywny jako ruch w p-ni fenomenologicznej. • George Kelly (1955), personal construct psychology (PCP), geometria p-ni psychologicznych jako alternatywa dla logiki.

22. Ciało-umysł Potrzebujemy prostego modelu obrazującego relacje pomiędzy mózgiem i umysłem. Tysiące konkretnych zjawisk ma wyjaśnienia i konkretne modele, w tym również struktura i przyczyna powstawania wrażeń. Model geometryczny opiera się na prostej metaforze: Umysł jest cieniem neurodynamiki. Poznanie wszystkich szczegółów na poziomie molekularnym lub pojedynczych neuronów nie wystarczy! Modele geometryczne prowadzą do fizyki „przestrzeni mentalnych”. Ciekawe problemy matematyczne dotyczące opisu takich przestrzeni. Czy są to modele wystarczająco proste by dało się je zrozumieć?

23. Model umysłu • Model hierarchiczny, geometryczny, w p-niach psychologicznych, których wymiary dają się powiązać z doświadczanymi stanami wewnętrznymi jak i aktywacją różnych obszarów mózgu. • wykrywanie cech - mapy topograficzne, kora sensoryczna • rozpoznawanie obiektów - pamięć długotrwała • pamięć robocza - bieżąca kontrola, przeżywana teraźniejszość.

24. Uczenie się kategorii Kategoryzacja w psychologii – duża dziedzina, wiele teorii. Klasyczne eksperymenty: Shepardet. al (1961), Nosofsky et al. (1994) Problemy kategoryzacji o wzrastającym stopniu złożoności, mamy 3 binarne własności: kolor (czarny/biały), rozmiar (mały/duży), kształt (, ), oraz zbiór przykładów podzielonych na dwie kategorie C1, C2. Typ I : jedna własność określa kategorię, np. kolor. Typ II: dwie własności, z logiką XOR, np. Kat A: (czarny,duży) lub (biały,mały), kształt dowolny. Typ III-V: jedna własność + coraz więcej wyjątków. Typ VI: brak logicznej reguły, trzeba pamiętać przykłady. Trudności i szybkość uczenia się w eksperymentach: Typ I < II < III ~ IV ~ V < VI

25. Przestrzeń cech, A=x, B=y C=A.xor.B Dynamika kanoniczna Co dzieje się w mózgu w czasie uczenia się definicji kategorii na przykładach? Złożona neurodynamika <=> najprostsza dynamika (kanoniczna). Dla wszystkich reguł logicznych można napisać odpowiednia równania. Dla problemów typu II, czyli XOR:

26. Dziwne decyzje Lista symptomów i chorób: C (częsta), R (Rzadka), Symptomy: PC (zawsze dla C), PR (zawsze dla R), I (nieistotne, przypadkowe). PC, I => C, np. Gorączka, Katar => Grypa PR, I => PR, np. Ból gardła, Katar => Angina Niech C występuje 3 razy częściej niż R. Pokazujemy kombinację symptomów i pytamy o diagnozę: PC => C; I => C, PC, I => C PC+I+PR => C (60%) Jest to zgodne z oczekiwaniami opartymi na częstościach, ale: PC+PR => R (60%) ! Zaskakujące przewidywania, wbrew większości (Medin, Edelson 1988).

27. Atraktory, na pomoc! Co się dzieje? Decyzje możemy racjonalizować, ale stoi za nimi dynamika działania mózgu – konieczna do zrozumienia ludzkich decyzji. Trzeba zbadać baseny atraktorów neurodynamiki. Rozkład prawdopodobieństwa w przestrzeni {C, R, I, PC, PR}. Stan umysłu: punkt w przestrzeni, baseny atrakcji – dołki, w które ten punkt wpada, z przypadkowego startu wpada zwykle w PC, bo jest to rozległy basen atrakcji, R jest głębszym i węższym, bo inaczej by się nie odróżnił od C. Interpretacja psychologiczna (Kruschke 1996): PR ma znaczenie ponieważ jest to symptom wyróżniający, chociaż PC jest częstszy. Niestety psycholodzy na wszystko znajdą pozorne wyjaśnienia ...

28. Uczenie Neurodynamika Psychologia

29. Punkty widzenia Neurodynamika Psychologia

30. Modele mentalne Neurodynamika jest odpowiedzialna za rozumowanie; tylko proste skojarzeniowe formy rozumowania są łatwe. • A=>B i B=>C to kojarzymy, że A=>C, ale weźmy schemat: • Wszyscy akademicy to uczeni. • Żaden mędrzec nie jest akademikiem. • Co możemy powiedzieć o relacjach pomiędzy uczonymi i mędrcami? • Po tygodniach namysłu studenci nadal nie potrafią odpowiedzieć. • Na egzaminie pomimo wcześniejszych wyjaśnień ponad połowa podaje błędną odpowiedź. • Wniosek: myślenie biegnie utartymi drogami, trudno jest myśleć nieschematycznie.

31. Wyobraźnia wzrokowa Jak i gdzie tworzą się obrazy wzrokowe? • Borst, G., Kosslyn, S. M, Visual mentalimagery and visualperception: structuralequivalencerevealed by scanningprocesses. Memory & Cognition, 36, 849-862, 2008. • Konkluzja: reprezentacja wzrokowa i wyobrażona jest bardzo podobna. • Cui, X et al. (2007) Vividness of mentalimagery: Individualvariabilitycan be measuredobjectively. VisionResearch, 47, 474-478. • Testy Vividness of Visual Imagination (VVIQ) dobrze się korelują z aktywnością kory wzrokowej względem całkowitej aktywności mózgu w fMRI (r=-0.73), i wynikach testów psychofizycznych. Warto zwracać uwagę na indywidualne różnice. • Słaba wyobraźnia: dlaczego? Zbyt słabe pobudzenia zwrotne? Niezdolność rysowania z pamięci, opisu szczegółów, różnic, twarzy itp.

32. Kiedy powstają świadome wrażenia? Konieczna aktywność kory zmysłowej, np. V4=kolor, MT/V5=ruch. Strumienie wstępujące i zstępujące łączą się, tworząc stany rezonansowe. Co dzieje się gdy przepływ infromacji w jedną ze stron jest słaby? C. Gilbert, M. Sigman, Brain States: Top-Down Influences in Sensory Processing. Neuron 54(5), 677-696, 2007 Przetwarzanie informacji ze zmysłów w korze i wzgórzu podlega silnym wpływom "odgórnym", w których złożone hipotezy zmieniają procesy na niskim poziomie. Kora funkcjonuje jako system adaptacyjny, zmieniając aktywność pod wpływem uwagi, oczekiwań, zadań związanych z percepcją. Stany mózgu tworzą się przez interakcję pomiędzy wieloma obszarami, w tym modulację lokalnych mikro-obwodów przez sprzężenia zwrotne. Zakłócenia tego przepływu informacji mogą prowadzić do zaburzeń behawioralnych. Dehaene i inn, Conscious, preconscious, and subliminal processing. TCS 2006 Siła wpływu informacji wstępującej i uwaga (informacja zstępująca), dają 4 sytuacje, w których bodźce i uwaga są konieczne do świadomej percepcji.

33. Uwaga wzrokowa • Normalna percepcja wymaga uwagi, informacji zstępującej, oczekiwań. • Co się dzieje jeśli kora zmysłowa jest słabo pobudzana przez PC/FC? • To nie jest zwykła agnozja, raczej agnozja wyobraźni, nieopisany stan! Czym się takie słabe sprzężenie będzie charakteryzować? Problemy z uwagą? Jeśli połączenia są bardzo słabe rozpoznawanie obiektów przy słabym świetle może być znacznie utrudnione. Zwykle tylko słaba wyobraźnia wzrokowa, pamięć widzianych szczegółów, trudności z rysowaniem z pamięci, przypominaniem i opisywaniem rzeczy, notowaniem zmian, słabe wyniki w układankach i grach pamięciowych, trudności w postrzeganiu ukrytych obrazków 3D, być może skłonności introwertyczne. Typ bardziej koncepcyjny niż percepcyjny … Pamięć rozpoznawcza normalna. Na poziomie PC/FC mniej interferencji z obszarów zmysłowych, może być lepsza niż przeciętna wyobraźnia, kreatywność i rozumowanie.

34. Wyobraźnia muzyczna i talent Aktywacje fMRI rosną w czasie testu wyobraźni dźwiękowej wykonanego w ciszy, w przedniej części górnego zakrętu skroniowego kory słuchowej. Zatorre & Halpern, Mental Concerts: Musical Imagery and Auditory Cortex, Neuron 47, 9-12, 2004. Wyobrażenia dźwięków są ważnym aspektem rozwoju muzycznego. "Celem występu muzycznego jest reprodukcja wewnętrznego obrazu dźwiękowego" (D.R. Allen, praca doktorska z muzykologii, 2007). Testy słuchu muzycznego nie wystarczają, można mieć dobry słuch i wzrok, przyjemność z oglądania/słuchania muzyki, lecz mimo tego trudności w nauce. Talent wymaga dobrego działania i współdziałania wszystkich struktur mózgu, fMRI jest za drogie, potrzebujemy prostych testów!

35. Testy przesiewowe • Problem: znaczny procent dzieci cierpi na zaburzenia rozwojowe np. na dysleksję >10% populacji, utratę słuchu stwierdza się średnio dopiero >2 lat, ponad 200 mln dzieci na świecie nie jest zdolna do nauki! • Czas wykrycia problemu decyduje o możliwościach rehabilitacji. • Konieczne są tanie testy przesiewowe na dużą skalę. • Planujemy testy oparte na reakcjach fizjologicznych, pozwalające na wczesną identyfikację problemów rozwojowych: zaburzeń słuchu, zwłaszcza fonematycznego; zaburzeń uwagi, pamięci roboczej, koordynacji. • Technologia: komputer, PDA lub telefon + tanie urządzenia pomiarowe lub serwer usługowy. • Testy czasów reakcji, synchronizacji procesów mózgowych, są w fazie opracowań.

36. Automatyzacja działań Uczenie się: początkowoświadome działania angażują cały mózg, w końcu działania automatyczne, podświadome, zlokalizowane. Formowanie się nowych kwazistabilnych stanów mózgu w czasie uczenia się => modele neuronowe. Uczenie się wymaga wzmacniania zachowań pożądanych, obserwacji i oceny złożonych stanów mózgu. Powiązanie obecnego działania z zapamiętanymi skutkami podobnych działań wymaga ocen i porównań, a następnie reakcji emocjonalnych, które wyzwolą neurotransmitery (dopaminę) jako sygnał wzmacniający, zwiększający szybkość uczenia modułów neuronowych. Pamięć robocza w tak złożonym procesie jest niezbędna. Błędy należy zapamiętać, zwłaszcza gorzki smak porażki. Nie ma żadnego transferu od świadomego do nieświadomego! Jest tylko (świadomy) proces oceny potrzebny do wzmocnienia.

37. Kismet Naturalne interakcje z ludźmi wymagają analizy i ekspresji emocji: projekt Kismet doprowadził do zrobienia głowy robota, który reaguje na emocje, oraz robota Nexi. Nasze próby na NTU.

38. Słowa w mózgu Eksperymenty psycholingwistyczne dotyczące mowy pokazują, że w mózgu mamy dyskretne reprezentacje fonologiczne, a nie akustyczne. Sygnał akustyczny => fonemy => słowa => koncepcje semantyczne. Aktywacje semantyczne następują 90 ms po fonologicznych (N200 ERPs). F. Pulvermuller (2003) The Neuroscience of Language. On Brain Circuits of Words and Serial Order. Cambridge University Press. Sieci działania – postrzegania, wnioski z badań ERP i fMRI. Fonologiczna gęstość otoczenia słowa = liczba słów brzmiących podobnie jak dane słowo, czyli dająca podobne pobudzenia mózgu. Semantycznagęstość otoczenia słowa = liczba słów o podobnym znaczeniu (rozszerzona podsieć aktywacji).

39. Wglądy i mózgi Można badać aktywność mózgu w czasie rozwiązywania problemów, które wymagają wglądu lub które rozwiązywane są schematycznie. E.M. Bowden, M. Jung-Beeman, J. Fleck, J. Kounios, „New approaches to demystifying insight”.Trends in Cognitive Science2005. Po rozwiązaniu problemu badani za pomocą EEG i fMRI sami określali, czy w czasie rozwiązywania pojawił się wgląd, czy nie. Około 300 ms przed pojawieniem się wglądu w zakręcie skroniowym górnym prawej półkuli (RH-aSTG) obserwowano salwę aktywności gamma. Interpretacja autorów: „making connections across distantly related information during comprehension ... that allow them to see connections that previously eluded them”. Moja: lewa półkula reprezentująca w STG konkretne obiekty nie może znaleźć pomiędzy nimi związku =>impas; prawa STG widzi jej aktywność na meta-poziomie, ogólne abstrakcyjne kategorie, które może powiązać; salwa gamma zwiększa jednoczesną aktywność reprezentacji w lewej półkuli, emocje Eureka konieczne są do utrwalenia bezpośrednich koneksji.

40. Pamięć i kreatywność Mózgi osób kreatywnych reagują na więcej sygnałów dochodzących ze środowiska, nie blokują mocno sygnałów, które wcześniej były nieistotne, nie ulegając łatwo habituacji (Carson, 2003). Może się to wiązać z bogatszą reprezentacją koncepcji i sytuacji w umysłach osób kreatywnych. Podobne zachowania obserwowano u mnichów Zen. PRIMA, technika skojarzeń par słów pozwala badać, czy w mózgu danej osoby jest ścieżka, łącząca dane koncepcje. A. Gruszka, E. Nęcka, Creativity Research Journal2002. Słowo 1 Torowanie 0,2 s Słowo 2 Słowa mogą być łatwe lub trudne do skojarzenia; słowa torujące mogą być pomocne lub neutralne; pomocne to skojarzenie semantyczne lub fonologiczne (hogse do horse); neutralne mogą być bezsensowne lub nie związane z prezentowaną parą. Rezultaty dla grupy ludzi silnie/słabo kreatywnych są zadziwiające …

41. Skojarzenia i kreatywność Hipoteza: kreatywność zależy od pamięci skojarzeniowej, zdolności do łączenia odległych koncepcji ze sobą. Rezultat: kreatywność jest skorelowana ze zdolnością do skojarzeń i podatnością na torowanie; trudniejsze skojarzenia mają dłuższe latencje. • Torowanie neutralne działa dziwnie: • dla prostych skojarzeń nonsensowne słowa torujące przeszkadzają osobom kreatywnym, pomagają reszcie; w pozostałych przypadkach pomagają! • dla odległych skojarzeń torowanie zawsze zwiększa siłę skojarzeń, u osób kreatywnych dając najsilniejszy efekt. Podobnie zagadkowe są wyniki dla czasów reakcji. Konkluzje autorów: Gęstsze połączenia => lepsze skojarzenia => większa kreatywność. Wyniki dla neutralnych słów torujących są niezrozumiałe.

42. Skojarzenia - powtórka Dlaczego torowanie neutralne dla prostych skojarzeń i nonsensownych słów torujących pogarsza wyniki osób kreatywnych? Słaba kreatywność = słabe skojarzenia (połączenia) miedzy oscylatorami;dodanie szumu (nonsensownych słów) wzmacnia już zachodzące oscylacje umożliwiając wzajemne pobudzenia, dla silniej połączonej sieci neuronowej i prostych skojarzeń prowadzi do zamieszania, gdyż pobudza wiele stanów. Dla trudnych skojarzeń dodawanie szumu u osób słabo kreatywnych nie pomoże ze względu na brak połączeń, słowa torujące powodują jedynie chaos. Dla osób kreatywnych wywołanie rezonansu miedzy odległymi mikroobwodami jest możliwe: mamy tu rezonans stochastyczny! Dla słów torujących ortograficznie podobnych przy bliskich skojarzeniach pobudza to aktywność reprezentacji drugiego słowa, zawsze zwiększając szansę rezonansu i skracając latencję. Nie pomaga to jednak dla odległych skojarzeń, nie pobudzając pośrednich obwodów, które muszą być aktywne by powstał rezonans, za to słowa nonsensowne wzmagają efekt torowania.

43. Projekty lingwistyczne Open Mind Common Sense Project (MIT): projekt kolaboracyjny WWW , ponad 15 000 autorów, którzy wpisali ponad 710000 faktów; wyniki posłużyły do utworzenia ConceptNet, bardzo dużej sieci semantycznej. Commonsense Computing @ MediaLab, MIT, miał stworzyć skalowalny system oparty na zdroworozsądkowej wiedzy, zbieranej z tekstów, zautomatyzowanych obserwacji i w projektach kolaboracyjnych. LifeNetzbiera informację o wydarzeniach w życiu, opiera się na wersji Multi-Lingual ConceptNet używając sieci semantycznej, która ma 300000 węzłów; informacja o zdarzeniach ma być zbierana z sensorów. Honda Open Mind Indor Common Sense zbiera nadal info zadając pytania. Inne projekty: HowNet (Chinese Academy of Science), FrameNet (Berkeley), różne duże ontologie, MindNet (Microsoft), początkowo do tłumaczenia. Próbują zgromadzić fakty o świecie, ale mózgi robią to inaczej ...

44. Słowa: prosty model Cele: • zrobić najprostszy model kreatywnego myślenia; • tworzyć interesujące nowe nazwy, oddające cechy produktów; • zrozumieć nowe słowa, których nie ma w słowniku. Model zainspirowany przez procesy zachodzące w mózgu w czasie wymyślania nowych słów. Dany jest zbiór słów kluczowych, które pobudzają korę słuchową. Fonemy (allofony) są rezonansami, uporządkowane pobudzenie fonemów aktywuje zarówno znane słowa jak i nowe kombinacje; kontekst + hamowaniew procesie zwycięzca bierze wszystko zostawia jedno słowo. Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja) Wyobraźnia: wiele chwilowych rezonansów powstaje równolegle, aktywując reprezentacje słów i nie-słów, zależnie od siły połączeń oscylatorów. Filtrowanie: skojarzenia, emocje, gęstość fonologiczna/semantyczna.

45. Twórz, maszyno, twórz Zrozumienie sposobu analizy i tworzenia słów w mózgach pozwala na sformułowanie algorytmów, które w podobny sposób będą tworzyć nowe słowa, np. na podstawie opisów produktów lub usług. Przykład pośredniego etapu radosnego słowotwórstwa sieci neuronowej: ardyczulać ardychstronnie, ardywialić ardyklonnie, ardywializować ardywianacje, argadolić argadziancje, arganiastość arganastyczna, arganianalność arganiczna, argasknie argasknika, argulachny argatywista, argumialent argumiadać argumialenie argumialiwić argumowny argumofon argumował argumowalność Czy "argumiadać" to nie piękne słowo? Kojarzy się z kimś, kto argumentuje tak intensywnie, że ujada. Proces tworzenia słów da się analizować teoretycznie i eksperymentalnie.

46. Zabawy słowne Gry słowne były popularne na długo przed komputerami ... Były bardzo przydatne do rozwoju zdolności analitycznego myślenia. • Budowa pamięci semantycznej na dużą skalę: podstawa wszystkich zastosowań wymagających rozumienia tekstu i mowy. Co można wtedy osiągnąć? • Gra w 20 pytań i inne gry słowne, tekstowe i mówione. • Testy szkolne, kwizy realizowane na serwerach przez telefon. • Uściślanie zapytań dla wyszukiwarek internetowych: znajdywanie dobrych pytań wymaga wiedzy i kreatywności. • Identyfikacja obiektów na podstawie ich opisu, np. roślin czy ptaków. • Boty prezentujące informację, boty w środowiskach wirtualnych. • Osobiste awatary przekazujące wiadomości i negocjujące. • Serwer do tworzenia nowych, oryginalnych nazw dla produktów, stron internetowych czy firm, na podstawie ich opisu. • Zbudować Internet semantyczny, w którym wyszukiwarki będą rozumieć co szukają, tworzyć sensowne sieci powiązań między projektami/ludźmi.

47. Słowa: algorytm Jak to modelować? Sieci skojarzeniowe, model adaptacyjnego rezonansu (~ ARTWORD). Uproszczone modele sieci skojarzeniowych, modele statystyczne. • Utworzyć model sieci prawdopodobieństw łączących fonemy i sylaby • utworzyć funkcję oceny gęstości fonologicznej i semantycznej wyrazów. • Algorytm szukania nowych słów: • Przeczytać początkową pulę słów opisujących danych obiekt. • Rozszerzyć ją o słowa skojarzone fonologicznie i semantycznie. • Rozbić słowa na fragmenty składające się z fonemów, sylab, morfemów. • Wyobraźnia: tworzyć kombinacje fragmentów zgodnie z P(n-gram). • Filtrowanie: utworzyć ranking na podstawie gęstości semantycznej wokół morfemów tworzących nowy wyraz. • Serwer: http://www-users.mat.uni.torun.pl/~macias/mambo/index.php

48. Słowa: eksperymenty Mając opis lub słowa kluczowe: I am looking for a word that would capture the following qualities: portal to new worlds of imagination and creativity, a place where visitors embark on a journey discovering their inner selves, awakening the Peter Pan within. A place where we can travel through time and space (from the origin to the future and back), so, its about time, about space, infinite possibilities. FAST!!! I need it sooooooooooooooooooooooon. creativital, creatival (creativity, portal), używane creatival.comcreativery (creativity, discovery), creativery.com (strategy+creativity)discoverity = {disc, disco, discover, verity} (discovery, creativity, verity)digventure ={dig, digital, venture, adventure} ,nowe! imativity (imagination, creativity); infinitime (infinitive, time) infinition (infinitive, imagination), nazwa firmylearnativity (taken, see http://www.learnativity.com)portravel (portal, travel); sportal (space, sport, portal), używanetimagination (time, imagination); timativity (time, creativity)2/3 słów wcześniej użytych przez ludzi => podobne rezultaty.

49. Aaron – malarz Meeting On Gauguin's Beach, Aaron, with Decorative Panel, Olej, 1988 Olej 1992

50. Sztuka • Potęga ewolucji … czy telewizor może odczytać nasze myśli i tworzyć interesujące obrazy? Tworzyć złudzenia?