Simul

1
Simulácia sociálnych javov

• 10. Prednáška

2
Simulácia sociálnych javov

• Simulácia sociálnych javov pomocou
  multiagentových systémov. Autonómny alebo
  adaptívny agent je pocítacový program (aj
  prepojený so zariadením), dostáva vstupy z
  prostredia a reaguje so zámerom splnit ciele.
  Rozhoduje sa, predvída na základe vnútorného
  modelu okolia (aj ostatných agentov -prispôsobujú
  sa).
• Klasické modely založené na diferenciálnych
  rovniciach nezvládnu ako rôznorodé spolocenstvo
  indivíduí s elementárnymi vzájomnými interakciami
  generuje globálne crty spolocnosti, akými sú
  vznik kooperácie, sociálnych štruktúr, apod.?

3
Simulácia sociálnych javov

• Pre simuláciu životného prostredia, v
  sociálnych vedách- sociálne interakcie, v
  antropológii, život dediny indiánskeho kmena
  Anasazi, porovnávané s archeologickými nálezmi,
  obchodné vojny, vyjednávanie štátov Pojmy z
  biológie napr. v analýze ekonomických
  vztahov Evolúcia adaptácia zameraná na
  naplnenie vlastných potrieb. Koevolúcia -
  adaptácia na naplnenie potrieb navzájom medzi
  druhmi - podnikmi.

4
Väzenská dilema

• Model hry zvanej väzenská dilema, zavedený
  americkým politológom Axelrodom, konflikt medzi
  spoluprácou a egoizmom

1. väzen
kooperuje
podvádza
2. väzen
(3,3)
(0,5)
kooperuje
(5,0)
(1,1)
podvádza
5

• Spolupráca pri náhodnom stretnutí (ked je 50
  hrácov nespolupracujúcich) sa neoplatí, vznikne
  až pri opakovaných stretnutiach rovnakej dvojice,
  ked si pamätajú tahy toho druhého

6

• Stratégia tit-for-tat, pamätá si akciu protihráca
  pri poslednom stretnutí, prvýkrát zacína
  spoluprácou (0), na spoluprácu odpovedá
  spoluprácou (0) a na nespoluprácu nespoluprácou
  (1). Najvýhodnejšia "emergujúca" stratégia v GA.

7

• Jedinci v populácii charakterizovaní stratégiou,
  niekolkými sériami stretnutí s druhými jedincami
  nazberajú body ohodnotenie fitnes

8
Séria 5. stretnutí dvoch jedincov (agentov,
väznov)
tah agent (0,1,0) agent (0,1,0) agent (1,0,1) agent (1,0,1)
tah platba tah platba
1 0 0 1 5
2 0 3 0 3
3 1 5 0 0
4 1 1 1 1
5 0 0 1 5
suma 9 14

• V prvom tahu oba hráci použijú tahy, ktoré sú
  urcené prvou zložkou ich stratégií. V
  nasledujúcich tahoch už sú determinovaní
  tahom súpera v predchádzajúcom tahu. Je vidno,
  že druhý z hrácov má v tomto prípade lepší
  fitnes.

9

• Genetický algoritmus Populácia stratégií P je
  inicializovaná náhodne. Dalej sa opakujú cykly,
  kedy momentálna populácia P je nahradená novou
  populáciou Q, kde budú pravdepodobnejšie jedinci
  s väcším fitnes.

10
Séria 5. stretnutí tit-for-tat a zloducha
tah tit-tat (0,1,0) tit-tat (0,1,0) zloduch (1,0,1) zloduch (1,0,1)
tah platba tah platba
1 0 0 1 5
2 1 1 1 1
3 1 1 1 1
4 1 1 1 1
5 1 1 1 1
suma 4 9
tah tit-tat (0,1,0) tit-tat (0,1,0) tit-tat(1,0,1) tit-tat(1,0,1)
tah platba tah platba
1 0 3 0 3
2 0 3 0 3
3 0 3 0 3
4 0 3 0 3
5 0 3 0 3
suma 15 15

• Tit-for-tat samotný so zloduchom prehráva, ale
  ked hrá so svojou kópiou, získava ovela viac ako
  zloduch. Zloduch ale so svojou kópiou dostane iba
  5 bodov. Ked je teda napríklad v populácii 10
  jedincov, z toho 9 zloduchov a 1 tit-for-tat, a
  hrá každý s každým 5 tahov, každý zloduch získava
  85 19 49 bodov, tit-for-tat má iba 94 36
  bodov. Pre 9 tit-for-tat a 1 zloducha má zloduch
  99 81 bodov, každý tit-for-tat má 14 815
  124 bodov.

11
Nashova rovnováha

• Nashova rovnováha. Ked existuje súbor stratégií s
  takou vlastnostou, že žiaden hrác nemôže
  profitovat na zmene svojej stratégie, zatial co
  ostatní hráci svoju stratégiu nezmenia, potom
  tento súbor stratégií je v Nashovej rovnováhe
  (spomente si na film Cistá duša - Beautiful
  mind).
• Teoreticky môže existovat vela stavov s
  Nashovou rovnováhou, ale tiež nemusí
  existovat ani jeden. U väzenskej dilemy pri
  netriviálnej velkosti populácie je takých
  stavov vela, ale vzhladom náhodným procesom v
  evolúcii (mutáciám) populácia v takom stave
  nemusí vydržat dlho.

12
Nashova rovnováha

• Ked je zadaný maximálny pocet iterácií, jediná
  populácia s Nashovou rovnováhou je populácia
  "zloduchov". Populácia s tit-for-tat je v
  Nashovej rovnováhe, ked je pravdepodobnost w
  dalšieho tahu v hre dostatocne velká
• pre T gt R gt P gt S (Temptation - platba za zradu,
  ked druhý spolupracuje Reward - odmena za
  spolupráci, Punishment - platba za zradu, ked
  druhý tiež zrádza, and Sucker - platba za
  spoluprácu, ked druhý zradí)

13
Výsledky genetického algoritmu.

• Emergovali dve kooperatívne stratégie (001) a
  (000), ktoré zahajujú hru kooperáciou a na
  kooperáciu súpera v predchádzajúcom tahu
  odpovedajú kooperáciou. Prevažuje (001)
  (tit-for-tat - ako ty mne, tak ja

tebe), ktorá na podvod odpovedá podvodom.
Súcasná stratégia (000), na podvod reaguje
spoluprácou pretože väcšinová stratégia (001)
neprodukuje podvod, menšinová stratégia (000)
nemá príležitost reagovat spoluprácou na podvod a
nestráca tak body
14
Evolucne stabilné stratégie

• Maynard Smith 1982, biologicky orientované
  aplikácie teórie evolucných hier. V štandardnej
  teórii dynamických systémov existuje pojem
  asymptoticky stabilný resp. asymptoticky
  nestabilný bod s jednoduchou fyzikálnou
  interpretáciou gulicka v jamke. Malé vychýlenie
  systému z rovnovážnej polohy vyvolá procesy,
  ktoré ho vrátia do pôvodnej rovnovážnej polohy.

15
Evolucne stabilné stratégie

• V hornej casto obrázku trajektória znázornujúca
  evolúciu systému. Ak je pociatocný bod
  trajektórie vybraný z blízkeho okolia
  rovnovážneho stavu, potom trajektória vždy
  koncí v rovnovážnom bode. Pre nestabilný stav už
  malá výchylka spôsobí opustenie rovnovážneho
  stavu. Potom, ak pociatocný bod trajektórie
  je vybraný z blízkeho okolia rovnovážneho
  stavu, potom trajektória nenávratne opúšta
  rovnovážne okolie.

16
Co je stabilná stratégia?
Referencná stratégia
Votrelecká stratégia
17
Referencná stratégia
Votrelecká stratégia
Stratégie zvycajne nie sú výhodné alebo stabilné
absolútne, záleží na okolí - teda ostatných
"hrácoch". Ako medved uprostred lovcov alebo
lovec medzi medvedmi majú smolu, tak aj
tit-for-tat medzi zloduchmi, a naopak.
18
Evolucne stabilné stratégie

• Nech populácia P obsahuje prevažne (referencnú)
  stratégiu s0 a menej jedincov inej, tzv.
  votreleckej stratégie s1 , pre ich pocty platí
  kde pgtgtqgtgt0.
• Stratégia s0 sa nazýva evolucne stabilná, ak
  pocas evolúcie predstavitelia inej stratégie
  vymiznú, ked naopak s0 zanikne, je evolucne
  nestabilná. Sila stratégií je urcená vzájomným
  turnajom medzi jednotlivými stratégiami

19
Evolucne stabilné stratégie

• f(a,b) je bodový zisk stratégie a pri opakovanom
  stretnutí zo stratégiou b. Podmienka evolucnej
  stability stratégie s0 podla prirodzeného výberu
  má tvar
• .
• Z predpokladu pgtgtqgtgt0 sú pre evolucnú stabilitu
  stratégie s0 podmienky

20
Tabulka výplat stretnutí dvojíc jednotlivých
stratégií
(000) (001) (010) (011) (100) (101) (110) (111)
(000) 3.00 3.00 0.30 0.30 2.70 2.70 0.00 0.00
(001) 3.00 3.00 2.10 1.10 2.90 2.50 1.90 0.90
(010) 4.80 2.60 2.00 0.40 4.30 2.10 0.00 0.00
(011) 4.80 1.60 4.40 1.20 4.50 1.30 4.10 0.90
(100) 3.20 2.90 0.80 0.50 2.80 2.50 0.40 0.10
(101) 3.20 2.50 2.60 1.30 3.00 1.00 2.40 1.00
(110) 5.00 2.40 5.00 0.60 4.40 1.90 2.00 0.10
(111) 5.00 1.40 5.00 1.400 4.60 1.00 4.60 1.00
Je vidno, že pre stratégiu tit-for-tat (001)
podmienka f(s0,s0)gtf(s1,s0) platí. pre všetky
stratégie okrem "dobráka" (000) a pre rovnako to
platí pre nikdy nespolupracujúceho "zloducha"
(111), kde mimo hodnoty na diagonále sú všetky
nižšie okrem "podozrievavej" stratégie podobnej
tit-for-tat, ktorá ale zacína nespoluprácou
(101). Je zrejmé, že žiadnu zo stratégií nemôžme
nazvat evolucne stabilnou, aj ked stratégie
tit-for-tat a zloduch sa tomu "blížia".
21

• Evolúcia stratégií pamätajúce si 3 tahy oponenta
  dozadu, pre pravdepodobnost mutácie Pmut0.0001.
  Diagram A - priebehy 4 rôznych tried
  stratégií (000), (001), (011) a
  (111), prvé tri symboly urcujú prvé tri tahy
  stratégie s ignorovaním ich poradia. V diagramu
  emerguje ako vítazná trieda stratégií (001.
  Diagram B - priebeh vítaznej triedy stratégií,
  ktoré sú zahájené 2 kooperáciami a 1
  nekooperáciou, pricom odpovedajú reciprocne.

22

• Numerické výsledky získané evolucným algoritmom
  pre stratégie pamätajúce si 3 tahy oponenta
  dozadu, pricom pravdepodobnost mutácie bola
  zväcšená oproti predchádzajúcim výsledkom o
  jeden rád na Pmut0.001. Diagram A ukazuje,
  že v tomto prípade už sa nevyskytuje trieda
  vítazných stratégií, ich frakcie majú silne
  oscilacný charakter.

23

• Stratégie pamätajúce si 3 tahy oponenta dozadu, s
  administrátorom, pre pravdepodobnost mutácie
  Pmut0.001. Administrátor penalizuje toho hráca,
  ktorý podvádza s oponentom, ktorý posledné tri
  tahy kooperoval.

24
Kde sa nachádza väzenská dilema v prírode?

• Motýlia húsenica produkuje (energeticky nárocne)
  tekutinu obsahujúcu cukry a aminokyseliny,
  ktorou sa živia mravce, poskytujúce jej
  ochranu. Ale odmeny nie sú symetrické, tahy nie
  sú simultánne.
• Výmena spermií u simultánnych hermafroditov malé
  morské ryby seabass si vymienajú s nepríbuznými
  spermie. Produkcia spermií je menej nárocná ako
  vajícok, preco teda neoplodnit bez toho, že by
  neprijali spermie. Ale pôvodne vajícka neboli
  rozdelené do "balíkov", správanie môže byt z
  minulosti.

25
Kde sa nachádza väzenská dilema v prírode?

• Obhliadnutie predátora u rýb (cerevla, pávie
  ocko, koljuška obecná) dve rybky sa priblížia
  bližšie ako jedna k predátorovi, aby
  zistili jeho nebezpecnost. Ale co tie ostatné,
  co majú prieskum zadarmo a co príbuznost?
• Zdielanie krvi u vampíra nosatého Každý den asi
  8' dospelých nedokáže zohnat potravu, v takom
  prípade ju s nimi zdielajú úspešnejší vyvrhnutím
  casti krvi (ciastocne na základe príbuznosti,
  ciastocne reciprocne).
• Reciprocný altruizmus u primátov samce paviána
  sa združia do dvojice proti protivníkovi, aby
  jeden z nich sa spojil so samicou(2
  opakovania koalície, aby každý dostal svoju cast
  výhry). Ale ? zložitá sociálna štruktúra.

26
Teóriou sebeckého génu
Z pohladu genetickej informácie by vaše vlastné
dieta pre Vás malo mat rovnakú váhu ako 4
bratanci, pretože dieta obsahuje polovicu Vašej
genetickej informácie, zatial co bratanci iba
osminu. V prípade klonov by ste mal
pomáhat súrodencom ako sebe samému (co geneticky
funguje u hmyzu).
27
Tragédia spolocnej pastviny
Ked pastvinu zdiela viac pastierov, profit z
pridanej ovce pôjde iba mne, úbytok profitu tým
že sa ostatné ovce nenažerú sa rozdelí medzi
všetkých. Ked sa takto logicky rozhodne každý,
spolocne zdroje sa vycerpajú. Tragédia spolocného
sa modeluje viacclennou väzenskou dilemou
28
Zovšeobecnená väzenská dilema pre viac hrácov
Nekooperuje, ked v predošlom kroku všetci ostatní
kooperovali
V prvom kroku kooperuje
Nekooperuje, ked v predošlom kroku jeden
spoluhrác nekooperoval
Kooperuje, ked v predošlom kroku dvaja
nekooperovali
29
Tabulka pre prvých pät tahov zovšeobecnenej
väzenskej dilemy pre troch hrácov
No. 1. hrác 2. hrác 3. hrác 1. hrác 2. hrác 3. hrác
1 0 1 0 3 10 3
2 1 1 1 2 2 2
3 0 0 1 3 3 10
4 1 0 0 10 3 3
5 1 0 1 6 0 6
Celkové skóre Celkové skóre Celkové skóre Celkové skóre 24 18 24
30

• Výsledok genetického algoritmu zobrazenie
  frekvencie výskytu stratégií pre spoluprácu troch
  hrácov. Vyhráva stratégia 0011, co znamená že na
  zaciatku je výhodné spolupracovat pokial všetci
  spolupracujú, aj pre mna je výhodné
  spolupracovat. Pokial ale iba jeden
  nespolupracuje, je aj pre mna výhodné
  nespolupracovat. Ku koncu aj 0001 a 0010,
  pripúštajú možnost spolupráce, aj ked jeden alebo
  dvaja spoluhráci z turnaja nespolupracujú.
  Výchylka spôsobená tým, že ku koncu vývoja sa
  vyskytujú väcšinou jedinci zo stratégiou 0011, a
  teda stretnutie s nespolupracujúcimi prakticky
  nenastáva.

31
Všeobecné vlastnosti vítaznej stratégie

1. Hra je zahájená kooperáciou
2. Ak v predchádzajúcom tahu všetci oponenti
   kooperovali, potom kooperuj
3. Ak v predchádzajúcom tahu aspon jeden oponent
   nekooperoval, potom nekooperuj.

32
Všeobecné vlastnosti vítaznej stratégie

• Pretože vo väcších celkoch sa vždy nájde
  nekooperujúci jedinec, nastáva všeobecná
  nespolupráca - tragédia spolocnej pastviny
• rybolov v medzinárodných vodách
• rúbanie pralesov
• správanie sa nadnárodných spolocností
• Politológ Axelrod v spolocnosti musia vznikat
  inštitúcie, ktoré kontrolujú - penalizujú
  nekooperáciu

33
Ako ešte pomôct spolupráci?

• Skupinový výber skupina, kde jedinci
  spolupracujú, je na tom lepšie ako skupina sebcov
• Akonáhle sa v skupine spolupracujúcich
  objaví sebec, zaberie viac prostriedkov a jeho
  potomkovia v skupine prevládnu

34
Ako ešte pomôct spolupráci?

• Moralistická agresia Nekooperujeme s tým, kto
  predtým nekooperoval s ostatnými

35
Ako ešte pomôct spolupráci?

• Viskózna populácia Pri umiestnení jedincov
  na mriežke(stocenej do toroidu) a interakcii s
  jedincami v blízkom okolí je väcšia šanca, že sa
  stretnú s tými istými partnermi, spolupracujúci
  jedinci vytvárajú klastre, ktoré sa nakoniec
  rozšíria do celej populácie

36
Koevolúcia v informatike

• Korektné siete na triedenie sady císel
  podla velkosti. Nalavo vstupuje permutácia,
  kolmé ciary sú porovnania a výmeny dvojice
  císiel. Jeden z casto používaných algoritmov na
  triedenie, tzv. triedenie priamym výberom, dokáže
  zoradit 6 císel s použitím 15 porovnaní, zatial
  co jednej z minimálnych korektných sietí
  napravo stací iba 12 porovnaní. Takýchto
  minimálnych korektných sietí existuje
  viac(môžeme napríklad prehodit prvé dve
  porovnania). Výsledok koevolúciou dvoch
  populácií siete - korist, permutácie šiestich
  císiel - predátori

37
Kultúra, mémy a emocní agenti

• Ako ludia získavajú spolocné hodnoty ako
  myšlienky, vieru, názory alebo oblubu? Napr.
  imitacnou interakciou kultúrny prenos,
  sociálne ucenie. Výpoctové modely emócií už
  od 1960, teraz u emocionálnych umelých
  agentov v psychológii, v umelej inteligencii
  u motivácie agentov, a pri komplexných
  rozhodovaniach, v tímoch agentov a v interakcii
  clovek pocítac.

38
3D animácie tváre umelého agenta vyjadrujúce
normálny stav, smútok, štastie, hnev, strach,
zhnusenie, prekvapenie vytvorené fuzzy systémom
39
Záver

• Aj ked model väzenskej dilemy vyzerá byt velmi
  primitívny, je študovaný už od roku 1950, kedy ho
  navrhli Merrill Flood a Melvin Dresher ako súcast
  výskumu spolocnosti Rand Corporation v
  teórii hier(ktorou sa v Rand zaoberali kvôli
  možným aplikáciám v globálnej nukleárnej
  stratégii pri závodoch vo vyzbrojovaní).
• Pocet clánkov, ktoré sa týmto a jemu príbuznými
  modelmi zaoberajú, stále narastá, no tieto modely
  sú stále dost vzdialené reálnej skutocnosti na
  to, aby boli spolahlivými nástrojmi na
  rozhodovanie o spolupráci ci nespolupráci. Môžu
  byt ale užitocnou pomôckou poukazujúcou na
  niektoré zaujímavé trendy vývoja a vplyvy
  parametrov okolia na podporu spolupráce
  alebo nespolupráce.