Podcast

Jirka Vicherek (00:00:03): Dobrý den, moje jméno je Jirka Vicherek

Hynek Walner (00:00:05): Dobrý den všem, moje jméno je Hynek Walner

Jirka Vicherek (00:00:07): A vítáme vás u dalšího dílu DataTalku

Hynek Walner (00:00:10): Dneska naše pozvání přijel Marek Rosa, zakladatel a CEO GoodAI a Keen Software House Ahoj Marku, děkujeme, že jsi přišel

Jirka Vicherek (00:00:17): Ahoj

Marek Rosa (00:00:18): Ahoj tě

Jirka Vicherek (00:00:33): Marek je host, kterého už jste nejspíš někdy slyšeli, protože jeho GoodAI je tady česká firma, která šlapé do vzniku AGI, Všeobecné umělé inteligence a myslím si, že je to taková jedna z hvězd tady české technologické scény. A my jsme si Marka pozovali hlavně proto, že ty trendy a ty věci, co se dějou ohledně umělé inteligence, jsou překotné a velmi dynamické a chceme vidět, co si o tom myslí. Předtím, než tak ale učiníme, tak první třetinu bychom chtěli zase věnovat příběhu Marka a toho, jak vlastně se stalo, že kluk ze Slovenska začal tady stavět AGI. Tak Marku, kde to pro tebe všechno začalo?

Marek Rosa (00:01:24): Tak ďakujem za otázku. On to začalo, keď som mal asi 14, ktorý som vlastne začal programovať a som sa dostal nejak poriadne k Paskalu a k počítaču a ma to začalo baviť, vtedy som si ale aj uvedomil, že lebo som v tom čase vlastne aj predtým čítal sci-fi, tak som si uvedomil, že keď urobíme umelú inteligenciu roboty, zautomatizujeme prácu a že vlastne odburáme taký hlavný botlnek, jeden z hlavných botlnekov, ktorý tu ja, to je to ako množstvo inteligencie na tejto planete, že aby bolo vlastne Aby je bolo viac, násobne viac než je len ľudí. A tak by byla prisposobenejšia tým novým problémům, které prídu, keď chceme expandovat do vesmíru jako civilizácie a spoznať vesmír ešte lepšie.

Jirka Vicherek (00:02:05): No a co si tak četl? Asimová.

Marek Rosa (00:02:08): Aj Asimová, aj... Ja si už pri ňu už teraz nespoňuval, ale som to čítal strašne, že som bol taký knihomov vtedy. Takže všetko možné som čítal. Ale takisto som čítal aj Ikáriu napríklad. To bol úplne pre mňa taký základ všetkého, ten časopis.

No a tak som teda programoval. Mňa vlastne bavilo robiť tie veci s počítačou, grafikou a keby na virtuálnu realitu, alebo tak som to aspoň vnímal. Takže som sa venoval hrám a to bola vlastne tá moja prvá firma, ale to je moja prvá firma, ktorú som založil, Keen Software House, tam vyvíjame hry, napríklad Space Engineers, ale stále som mal v hlave takúto druhú víziu a to je to, že urobiť to General AI. Jedna vec bola vytvárať hry, to ma baví, lebo človek má pocit, že niečo vytvára, vytvára nejaké nové reality v podstate. Tak si to si myslím, že vytváranie týchto umelých realít bude viac a viac dôležité v budúcnosti, že tam sa bude odohravať podľa mňa väčšina našich zážitkov.

Ale teraz späť ku GoodAI, tak vlastne mi sa to podarilo založiť vtedy, keď nám sa dobre rozbil Space Engineer, začalo to zarobať toľko peniazy, že sa mohol vlastne už pustiť do GoodAI, že už nebolo treba nejak šetriť alebo tak. takže jsem asi to bolo nevím, či 2015 alebo tak, tak jsem vlastně spustil GoodAI a odložil jsem si na to velkou čas penězí, takže jsem věděl, že napojec jsme 10 rokov máme vystarané a nemusíme se nějak stresovat s nějakými short term cílami a že naozře můžeme cílit na general AI a nielen na nějaké narrow AI, vyřešit nějaký image recognition ale prostě něče také menší.

Jirka Vicherek (00:03:39): A v jakých řádech je takový budžet, jako když říkáš zase na DACE, na 10 let dopředu,

Marek Rosa (00:03:44): Tak, tak, to bolo 10 miliónov dolarov vlastne. Ono ako reálne to bolo nakonec trošku viac ešte. A že vlastne stále to ako financujem. No a takže čomu sa vlastne teraz venujem? Tak je to Space Engineers.

Zároveň robíme novú generáciu nášho herného enžínovy Rage 3. Toto, ale to mi v podstatě momentálně teraz nezabíráš tak vela času, najvěc času mi zabírá GoodAI, a tam konkrétně dva také projekty, jedno je to AI hra, a druhý jsou autonómní agenti. A u té AI hry tam, čo je na tom zaujímavé, je to, že vlastně máme agentů, který jsou...

Jirka Vicherek (00:04:17): Počkej, počkej, než nepřeskakujme dopředu, ještě k Kings of Warehouse, tak jaký ty... Vyšla Vám Space Engineers, začaly to hrát lidi, jak to přijali ve firmě, když si přišel a řekl, Hele, jdu dělat druhou firmu, nebude s gamingem mít tam měř nic společného, nakonec, jo, to je taky podle mě zajímavá, ta synergie těch důvou firm a jak tohle vznikalo, tak jak tohle probíhalo tohle rozhodnutí, tohle jako řešení?

Marek Rosa (00:04:48): Tak ono, keďže je to moja firma, tak jsem si mohl hrobit, co jsem chcel a tak jisté to byly moje peníze, takže tak a kolegovia, kterých jsem tam vtedy mal, tak oni se k tomu Možno to úplne nechápali v zmysle, že oni sami by to možno nerobili. Že možno oni by radšite peniaze použili, že by si kúpili nejaký dom alebo niečo také. Ale nikto mi to nejak nesnažil vymluviť. Takže to bol aj tak v pohode. Možno videli ale aj to, že budem mať menej fokusu na tie hry, samozrejme, to možno vnímali ako niečo negatívne ako pre nich, ale to sme sa naučili nejak aj manažovať po celom čase, že ja vlastne stále mám takú tendenciu, že aby som nebol botlnek v tej firme alebo v tých firmách, a snažiť sa delegovať na ľudí, čo najviac to len ide, keď to ide, lebo sú situácie, kedy to nejde.

Alebo konkrétne nejaké problémy alebo nejakú novú vec, keď robíme a chcem napríklad, aby to bolo presne, jak mám v hlave tú víziu, tak napríklad vtedy je niekedy dosť ťažké to delegovať. a úplno sú také zabehnutejšie veci a plus, keď sa nájde dobrý tým s dobrými lídrami, tak to ide samý. Napríklad práve ten V-rage, tam má na starosti jeden kolega a ten tým, tam je povedzme 15 ľudí alebo tak a ide to veľmi, veľmi dobré. A tomu sa vedeme fakt len tak strategicky, že ako sme si určili nejaké KPIčka, čo ten engine má dosiahnuť, Z tej kvalitatívnej stránky, ako vizuálne, performance, nejaké ďalšie veci a docela veľa veci, ale tak práca na pár týždňov a potom vlastne už to môžem nechať na nich.

Hynek Walner (00:06:23): Už ještě se ještě zeptat, kdyby jsme šli zpátky do roku 2015 a do momentu založení GoodAI, jak vypadal ten technologický landscape general umělý inteligence? Protože vlastně teďka v roce 2023 už je to jako hodně posunutý. Ale rok 2015, tak to je možná období Alphago nebo něco takového, možná ještě předtím.

Marek Rosa (00:06:48): Tak ono to vyzeralo vlastně tak, že General AI bylo skoro až zlé slovo a že to je také naivné, alebo něče také...

Jirka Vicherek (00:06:58): Svetový mír.

Marek Rosa (00:06:59): Tak, tak. A z tých veľkých firm, tak Google, tam mali ako research team, ten Google Brain, ty sa venovali ako, čiste, na tej high level by som povedal, že ten cieľ bol urobiť AGI. A keď sa človek potom bavil s tými jednotnými researchermi alebo sledoval ich prácu, tak veľa ľudí neverilo vlastne na AGI. Takže tam bola taká zvláštna schizofrénia. No a potom vo Facebooku vlastne založili tiež nejaký tím DeepMind bol založený v tom čase a ja myslím, že možno DeepMind naozaj vznikol v tom istom čase, ale možno o rok pred nejak takto bolo, takže ani o DeepMind sa vtedy nejak moc nepísalo, že To bola taká neznáma firma v istom zmysle.

A opné samozrejme neexistovalo. A na AI celkovo robil oveľa menej ľudí. A keď sa je robilo, tak ja som a vtedy čas, keď sme sledovali konferencia, takže sa riešia tzv. neuro AI problémy. Veľmi úzko zamerané.

Napríklad z tej data analytiky alebo nejaký image recognition a veci, ktoré Boli ako fakt len v nejakej konkrétnej domene. Nemohli byť generalizovateľné, ako nejaké modely, ktoré fungovali v nejakej domene. Veľmi ťažko by boli generalizovateľné do inej domeny. Častokrát negeneralizovali dobre ani v tej domene, na ktorej boli trénované. Fungovali tak nejak na tých trénovacích dátach, ale na testovacích a validačích totiž nebola veľká sláva.

a bolo vlastne veľmi ťažké aj skrze deep learning sa dostať, aby natrénovať modely, aby mali nejakú kvalitatívnu úroveň, ktorá je potom použiteľná v biznise, povedzme. Že ako natrénovať niečo, tak aby to fungujalo na 50 % testovacích dát, to častokrát išlo veľmi rýchlo, ale potom sa dostalo na 60 % vyžadovalo mesiac práce, dostalo na 70 % vyžadovalo 6 mesiacov práce, dostalo sa na 80 % vyžadovalo len dva roky a potom, povedzme, to skončilo, že už ďalej to ani nešlo. Takže a to bolo také nešťastné a takže vlastne v takéto situácii ja som premyšľal nad tým, že či k tomu pristupovať cez toho deep learningu, ktorým ja som vlastne nevedel. Ja som mal taký pocit, že nebude schopný generalizovať, že vlastne vždycky to bude overfitovať na tie trénovacie dáta. A tak my sme skúšali iné architektúry, také...

Jirka Vicherek (00:09:14): A počkej, tak vytáhl jsi peníze, UP jdem dělat GoodAI, jaký lidi, najel jsi tři data scientisty, nebo jaký je původní tým, co je první zadání, jak začneš ještě v roce 2015, tak řekneš, hele, teď tři měsíce budete číst všechny research papery a pak si řekneme, co dál, nebo jako vyši, že je to problém.

Marek Rosa (00:09:39): Tak to bolo, že naozaj, že sme nielen tri mesiace, ale aj dva roky, povedzme, sme naozaj čítali veci, diskutovali a premýšleli nad tým, čo by mal byť tá roadmap, v ktorej vlastne som docela, možno som týma nejakých ľudí štval, ale furt som chodil s tým, že musím dobrú roadmap urobiť, že je dobré to celé premyslieť a poď sa do toho vrhnúť, lebo boli ľudia, ktorí mali tendenciu zobrať nejaký prvý paper, ktorý zrovna vyšiel niekde na konferencii a reimplementovať to a s tým, že to je cesta ke AGI. Ja som si hovoril, že to nedá zmysel, že nemôžeme úplne náhodne re-implementovať nejaké veci bez toho, aby sme rozumeli, aký je ten finálny cieľ, ktorý potrebujeme vyriešiť a naozaj mu rozumie technicky a potom to rozbiť na nejakej menšej časti a postupne ísť krok za krokom za druh, že vlastne pochopiť, čo je to inteligencia, čo je to agent. jak otestovať, či je niečo inteligentné, či sa to učí graduálne a tak. A takže ja som sa hlavne vtedy venoval tomu, že sme sa snažili čo na viac inak veci vymyslieť a inak sa pozrieť, čo okolo nás vzniká a z toho urobiť nejakou roadmapu. Takže to sme robili prvé dva roky, možno aj 3-4 roky.

Samozrejme medzi tým sa skúšali nejaké prototypy, ale to práve všetko bolo takéto neuro AI, že nám nejaký reinforcement learning, ktorý vedel ovládať nejakú jednoduchú robotickú končatinu v simulácii, ale nefungovalo to úplne spolahlivo a tam som nevidel, že toto je cesta k tomu AI, že nevidel som, že keď rozchodíme tento robotický kontroler, tak jak sa to naučí jazyk, jak sa to naučí vnímať v prostredí, tam toho bolo strašne veľa, jak sa to naučí učiť kontinuálne, ako my ľudia sa učíme a tak ďalej. A tí ľudia, ktorí som najal tý prvý, tak to boli väčšinou ľudia, ktorí vyštudávali ML, niekde tuto na univerzite v Čechách, alebo matematiku, alebo ML, alebo computer science. Takže takýchto ľudí.

Hynek Walner (00:11:27): Když si teďka přesuneme v době po dva a čtyři roky později, když už teda, jak si mluvila, zpracovali jste na roadmapě, tak co to bylo? Co vlastně teda po těch čtyřech letech, jak jste si řekli, tak to je ono, to je ta cesta k obecně měli inteligenci?

Marek Rosa (00:11:43): Tam sme nakoniec dokonvergovali k tomu, že ešte stále nebolo jasné, jaká má byť tá architektúra, že keď to poviem, že jaký druh neurónov to má byť, a jak majú spolu komunikovať, a jak tam vlastne, kde je tam nejaký učiaci signál, a jak z niečoho, čo ako nemá nejakú formu, by sa ti časom malo vyvinúť niečo, čo ako rieši nejaké tásky, ale vie sa nauči riešiť nejaké tásky. V podstate, keď trenuješ neurónov sieť, tak... má nejaké pravidla, tak my sme uvažovali nad tým, že aká by tá naša neurónka mal mať pravidla, aby umožňovala práve to kontinuálne učenie. To bola taká veľká vec pre nás. Tak sme ale prišli s druhou vecou a to bolo, že mať nejaký benchmark, že jednoducho vytvoriť si nejaký dataset, ktorým budeme merať, či ten agent sa učí graduálne.

Či napríklad vie sa naučiť nejakú znalosť, vďaka tomu, že už predtým vedel nejaké znalosti a vďaka tomu sa tú novú znalosť naučí efektívnejšie, než keď nevie nič. Alebo či vie prepoužívať znalosti, ktoré sa naučil a tak. Takže sme urobili taký dataset. Sme to potom aj zvernili jako takú challenge. Ta sa volá General AI Challenge a to bol vlastne kolo dva.

Prv mne tam bolo kolo jedna, ale si nepamítam už čo to bolo. A kolo dva bolo práve táto General AI Challenge. A zapojili sa do toho ľudia z komunity. Bola tam nejaká finančná výhra. a finančná cena.

A nakým si to vyhrál dokonca jeden človek, ktorý bol kozmonaut, že vlastne ako astronaut zná sa americky a už bol nevím, či na dôchodku, alebo len ako hobby a se do toho zúčastnil. Problem bol trošku ten, že oni samozrejme optimalizovali na ten benchmark, takže... Nikto nesplnil ten benchmark tak, jak na takúto úroveň kvality, ktorú sme požadovali, že tam bolo povedzme 20 nejakých táskov a sa im to zastavilo na nejakom 15. A už sa neboli schopní naučiť, alebo ten ich systém sa už nebol schopní naučiť, ako riešiť ten 16., 17. a tak ďalej.

a aj na tých 15 mali ako relatívne na hardkodované, lebo my sme tam vlastne dali nejaký, nechcem povedať, že trénovací dataset, to bol skôr taký ako na ukážku a potom bol ten validačný a ten bol tajný, hej, ten zemi mali my schovaný, takže oni mohli si, keď pripravovali ten svoj systém, tak sa mohli pozrieť na ten dataset, ktorý sme im mali a nejak trošku tako optimizovať smerom na tie problémy, ktoré sa riešili v tom dataset. A niektorí mali väčšie, niektorí menšie šťastie, že potom to, jak to pripravili, tak im to fungovalo na tom našom tajnom validačnom data sete. Ale nevzniklo z toho takéto univerzálne učenie, v čo som dúfal, tak my sme stále skúšali ako ďalšie architektury, ale toto bola fakt ťažká doba, lebo aj v týme bolo veľmi ťažké si vysvetliť tú víziu a čo si vlastne predstavujeme pod tým kontinuálnym učením, tak ďalej, že to boli furt také nejaké nedorozumenia v tom, už len na takéto základné úrovni. No a keď sa posuniem potom ďalej v čase, tak asi tri roky dozadu nás napadlo urobiť, my sme to potom nazvali, že memetic badger. A to je taká architektúra, kde si predstavte, že máte tam nejakých agentov, sú v nejakom 2D prostredí, povedzme, a každý z tých agentov je vlastne definovaný nejakou sadou memou.

Tie mémy môžu medzi seho replikovať, podobne ako ľudia, ako replikujú mémy medzi sebou. Dochádza tam nejaké selekcie, variácie, replikácie, podobne ako evolúcie, takže celý ten systém má evolučnú dynamiku. A vlastne čo sme chceli, aby začali tí agenti, ktorí sú riadení tými mémami a mém bola nejaká jednoduchá neurónka, taký ten multilayer perceptoran. No a tak sme chceli, aby tí agenti medicejov buď kolaborovali, alebo kompitovali o nejaké zdroje, napríklad nejaké jedlo, mohli vytvárať väčšie skupiny, čím vlastne vzniká väčšia komplexita, takže ta komplexita je väčšia, než čo umožní len jeden mém, ale že kombináciu viacerých mémov, ktoré spolňa komunikujú, získáš teoreticky ako keby unbounded komplexitu. No a chceli sme, aby v tomto evolučenom systéme vznikli zložitejšie a zložitejšie jednak mémy, ale jednak skupiny tých agentov, v ktorých sú tie mémy.

Tak na tom sme robili a ten projekt vlastne my sme ho teraz tak pauzili v podstate asi pred dvoma týždňami Lebo nedochádzalo tam k tomu, v čo sme dúfali, že taký ten open-ended growth complexity. Že vlastne je to ako evolučný systém, ktorý sa nakoniec ten evolučný potenciál výstavkami saturuje a už ďalej nerastie. Že je ako keby taký ten problém, ktorý mali vždycky evoluční algoritmy a aj nemyslím evolučný algoritmus taký ten, kde je nejaká fitness funkcia, ktorá je jasne napísaná a vlastne ten evolučný algoritmus optimalizuje smerom na tú fitness funkciu, keď ju dosiahne, tak se zastaví. Nie je taký, to ten náš pravž je taký, že keďže Když tam je veľa tých agentov, tak každý má iné mémy, tak v podstate každý z tých agentov je iná fitness funkcia a vznikuje to nové fitness funkcie ako v úvodzovkách tým, jak medzi sebou súťaži a kooperujú. A takže aspoň na papíri je to vlastne open and dead systém, že systém, ktorý si vnútorne vytvára nové problémy a zároveň hľada riešenia tých nových problémov.

A teoreticky by to mal raz do nekoničné. Ale zrejme máme nejaký problém v tom, jak tí agenti spolu komunikujú, jak vytvárajú tie grupy. My sme dúfali, že tam budú vznikať nejaké väčšie cirkuits a obvody, tak by som to nejak nazval. Akorát sa to nejak nedarí, takže to sme na chvíľku stopli a teraz sa venujeme práve tým autonómnym agentom a ono za tým je docela veľký dôvod a to môžem povedať.

Jirka Vicherek (00:16:57): Ještě k tomuhle, jak tohle vypadá, jak se tohle staví, to děláte v nějakém prostoru, je to jako herní engine, nebo je to čistě matematická funkce a ty si představuješ, že tam spolu jakoby mluví, že je antrop. Tak tak.

Marek Rosa (00:17:15): Ja vám to aj môžem ukázať, ono bohužiaľ to neuvidia ľudia, čo nás počúvajú, ale vy, aby ste aspoň mali niečo na ilustráciu, tak toto je vlastne vizualizácia. Je to taká, niekto by mohol povedať, že je to ako Particle Simulation, že toto beží na GPU, je to zrovna písané v Julii, si z nejakého dôvodu vybral tým Juliu. Je to vlastne napísané naozaj ako Particle Simulator, to znamená, vieme paralelne simulovať všetky tieto vodských Particles, ale u nás sú to tí agenti, A takže sa to veľmi dobre paralizovať. Je tam nejaká základná fyzika, taká tá soft body physics, to znamená, že tie partíkle sa vedia odpudzovať alebo priťahovať. Není tam zložitejšia fyzika ako nejaké rigid bodies a podobne.

Jirka Vicherek (00:17:56): Jsem tak rád, že jsem se vtal. Co vidíš, Niko? Popíšeš to pro naše posluchačům, ale viděli jsme

Hynek Walner (00:18:02): 2D prostor. V podstatě nějakou simulací částice. Dalo by se říct, že ta částice je agentem. A asi taková operace je třeba tvoření těch zvuků, co jsme viděli, nebo...

Marek Rosa (00:18:14): Tak, tak. A čo sme chceli je to, že z tých zľukov by vznikli nejaké permanentnejšie celky, podobne ako organizmy a tie by medzi sebou kooperovali, kompitovali a zase by vznikali nejaké väčšie, z nejakou väčšou logikou. Taký život v podstate. Akurát to najkomplexnejšie, čo sme dosiahli, je vlastne to, čo vidíte. Takže ja si ale myslím, že to není preto, že by to nebolo možné, ale preto, že sa nám nepodarilo...

dojsť na to, jak by mali tie grupy tých agentov vznikať tak, aby im dali nejakú immediate advantage v tom byť v grupe. Lebo častokrát sa stane to, že keď oni sú s niekým v grupe, tak im to nedáva žiadny advantage a naopak im to možno dáva nejakú nevýhodu. Takže jako evoluční není také výhodné spájať sa do tých grup. Bohužiaľ je to tak nastavené v tej simulácii teraz. Takže tak.

No a vlastne ten cieľ bol ten, že vytvoríme takýto systém, pustíme ho, tam bude žiť taká tá umelá evolúcia a za nejaký čas. A to vlastne ani neváme odhadnúť, koľko by to malo byť. Ale v našom prípade to môže trvať rovnako dlho, ako je tá prirodzená evolúcia tu na Zemi. Príčom tam mala k dispozici oveľa viac výpočitových zdrojov, než my by sme boli schopni dať do nejakého počítača. Na druhej strane môžeme robiť abstrakcie, čo prírodá nerobila.

Ale neviem vlastne, o nejkoľko by to potom trvalo. Ale ten zmysel bol ten, že na konci by tam vyjevoľovali tie skupiny tých agentov, ktoré boli inteligentné, pretože inteligenciu dokážeš kompitovať a kolaborovať lepšie než bez nej. A keby toto tam vzniklo, tak bychom ten systém nějakým spôsobem nasmerovali na to, aby plnilo úlohy, ktoré jsou užitočné pre nás.

Hynek Walner (00:19:53): Co vlastně byl vstup do toho systému? Nebo možná jaka jiná otázka, konkrétnější. Ty memy, které definovaly agendu těch agentů. Dá se tam nějak připodobnit, že Já nevím, v podstate jako vlastnostem, nebo jako bazální pohtřeby organizmu. Vlastně co se definovalo ten systém do jednotlivého agenta?

Marek Rosa (00:20:16): Takže agent vlastně má nějaké tělo, jako je ta partikel, má nějaké observations, takže vidí či okolo neho a je to tak, že má nějaký field of view a tam se robí jaký by rejcast, takže má nějaký, já nevím, desaťčíselný vektor a jednotlivé vzdialenosti, objednotlivé čísla určili vzdialenosti v tom field of view. A potom je tam nejaký ďalší vektor, kde sú ako keby ID na to, čo vidí. Či vidí jedlo iného agenta, ktorý je v jeho grupe a podobne. Takže to je vstup. A výstup agenta je nejaká akcia typu, že ako sa pohňa.

Alebo teraz sme tam dali, že môžu strieľať lejzrom. No a aby tam bol ako nejaký competition. No a potom vo vnúteri toho agenta sú tie mémy a tie mémy si môžeš predstaviť ako nejaké pravidlá, ktoré riadia správanie toho agenta. A tam je to potom už zložitejšie, ale tie mémy v každom ako timestepe, v každom kroku aj hlasujú, ktorý z tých mémov bude spustený, ktorý bude riadiť telo toho agenta. Zároveň hlasujú, či príjmú nejaký incoming meme, ktorý prichádza z nejakého iného agenta, alebo či ho odmietnú.

Takže to je niečo jak sexual selection v evolúcii. Vlastne ty si rozhodneš, či príjmeš nejakú novú vlastnosť, alebo nie. No ale tie mémy, aby som ich pripodobnil ku behaviors, že ne sú to ako nejaké vlastnosti, ale skôr behaviors, pretože tie mémy ohľadajú správanie toho agenta podmiene tými observations a nejakým ešte interným stavom toho agenta, že má nejakú pamäť. A... Čo ešte tak inak, není tam to zdôrazním, že my sme nedefinovali pre tento systém nejakú extrinsic fitness function, takže nejaká fitness funkcia, ktorá prichádza zvonku toho systému.

Že tam sú na tie vôbec fitness funkcie, ktoré vyemergujú v tom systéme. A samozrejme, on dá vždy jedna taká základa fitness funkcia, a to je tá, že... A když sa podívame na tenhle projekt, tak...

Jirka Vicherek (00:22:31): Kolik takových projektů testů vlastně běží? A nebo tohle byl prostě last shot, do kterého jste šli většinou zdrojů, fokusů a to? Ukázal jste to jako slepá cesta a jdete pověřovat další, kterou jste tak jako bádali v těch 20% nebo jak nad tímhle? To je pro mě jako hard things about hard things, no jakože... Vlastně nemáš tu cestu, to je na tom to podle mě, takže každý startup, který tady vzniká, tak má nalinovaný a když to dá dočet GPT, co mám dělat v early stage studiu mého SASu pro logistiku, tak jako už to know-how je, ale tohle tady ještě není, že to je totální R&D, no?

Marek Rosa (00:23:16): Na začiatku sme takýchto projektov mali paralelne vždycky aj viac, že aj 5 alebo 10, podľa toho, koľko ľudí zrovna bolo v good AI a jak sa to nejak tak namiešalo. Tam sme vždycky sa snažili, a keď to bolo veľmi ťažké toto si odkomunikovať v týme, ale snažil som sa, ako každý nejaký nový smer, experiment by podľa mňa mal mať nejaký spôsob jak validovať, či je to ako dobrá hypotéza, dobrý nápad. Ale nevždycky sa to dá s ľuďmi jednoducho dohodnúť, lebo niekedy je to tak, že niekto prišiel, spustil nejaký svoj projekt, nejaký nápad. Povedzme, že sme tomu úplne nerozumeli a keď som ho počúval, tak som si hovoril, že ja vlastne neviem, jak z tohto môže byť aj GI. Viem, že mu tam niečo funguje, ale nevidím, čo bude ten krok 2, 3, 4, 5 a tak ďalej.

Povedzme, že ten človek to nevedel vysvetliť, že možno ani sám nevedel. Ale tak vyslovene naslepo, častokrát som tieto projekty podporil, len aby sme videli. Ale problém je potom práve ten, že je veľmi ťažké po čase, či už to človek robí po troch mesiacoch ale po roku verifikovať, že či sa ten projekt niekam posunul. Proste to zmerať, tak klasicky, jak sa to robí, aj v biznise, a kdekolvek. A jednak si vyhodnotiť, že či sa to vôbec spohlo niekam, či sa dosiahli nejaké hypotézy, ktoré boli na tom projekte na začiatku.

Takže toto bolo veľmi náročné aj pre mňa. Častokrát by som podporoval veci, ktorým som vlastne ani neveril. ale dal jsem tomu nějakou šancu. A jako finančně je to vzhledem nepríjemné, lebo si hovoríš, že možno namesto těchto veci by som mohl podporovat radšej nějakou jinou veci. Takže tak.

A postupně se to ale tak nějak podpadávali ty nápady, jako rozličné, lebo jsme už aj viděli, už je ta skúsenosť bola taká, že keď už na začátku mi někdo není schopný vysvětliť... Prečo by to malo fungovať a prečo by toto mala byť tá cesta k tomu AGI? Že vidím, že tam sú obrovské nedostatky v tej vízi, tak vlastne si hovorím, že ja by som bol fakt hlúpak, keby som ten smer podporil, keď môžem podporiť nejaké iné smery. Jednoducho napríklad to je taký princíp, ktorý som aj sám sem dal, že nebudem podporovať veci, ktorým nerozumiem jednoducho. A že mal by som tomu ja rozumieť, aby som ako konfidently do toho dal nejakú energiu a všetko.

No a čo sa ale zmenilo je to, že asi tri roky dozadu sme začali robiť aj na tej AI hre a to robil taký jeden tým, ktorý predtým u nás robil Applied veci, takže ako proste Applied ML pre firmy ako consulting, potéž taký nejaký experiment.

Jirka Vicherek (00:25:41): No a chceš sa u neho zastaviť?

Marek Rosa (00:25:44): Môžem. To sme spustili a potom sme to aj ukončili asi po troch rokoch a to bol tiež taký nápad, že poďme robiť s nejakými inými ľuďmi, ktorí neboli researcheri, ale boli skôr takí takí jako engineers a nejakí biznes ľudia, takže poďme robiť consulting v oblasti ML pre firmy a zistíme, ktoré sú také use cases, ktoré ich trápia a potom by sme okolo toho vedeli robiť nejakú aplikáciu. A to sme robili, urobili sme hromadu zákaziek a vo výsledku to aj bolo ziskové trochu, ale problém bol ten, že ML vlastne nepríde, že tým zákazníkom väčšinou neriešil nejaký zásadný problém a len to stalo hromadu peniazy a prípadne tam bolo aj dosť veľké riziko ako pre mňa, že keď sme nejakému zákazníkovi slúbili, že im dodáme nejaký ML produkt na rozoznávanie nejakých vád nejakých výrobnej linke, A keď nedosiahneme istú úroveň kvality, tak pre toho zákazníka to nemá zmysel. Keď tam bude mať polovicu falošných alertov, tak to radšej vypne takovou vec, než aby ho to tam trápilo. Takže človek musí dosiahnuť proste istú vadovosť alebo presnosť.

ktorá by ideálne mala byť lepšia než jegetovú ľudí. No a častokrát tam proste vysok bol taký, že okej, teoreticky za nejakých 10 miliónov korun sa dá urobiť nejaké ajíčko, ktoré rieši niečo, alebo si tá firma na to najmä dvoch brigádníkov, hej, a tých 10 miliónov im vydrží proste na roky, roky, roky. Takže, vtedy ja som si práve hovoril, že ako nemôžeme ajíčkom riešiť takéto v podstate blbosti, že maximálne tak nahradíme nejakých ľudí, že ja som nezačal robiť ajíčko preto, aby sme len nahradili nejakých ľudí a ich pripravili Ja som chcel urobiť ajíčko preto, aby vznikla nejaká úplne nová hodnota, ktorá by v podstate vďaka ľuďom ani nevznikla. Ale by trvalo dlho, že urobiť ajíčko tak, aby urobilo robotu, ktorú spraví tisíc ľudí a ne to, že v podstate vyhodíme nejakého chudáka brigádníka alebo proste niekoho, kto fakt robí na páse, lebo inú možnosť ani nemá, tak to mi nepríde nejak zaujímavé toto mať ako nejaký cieľ. Takže to sme utlmili, dokončili sme posledné zákazky a časť toho týmu sa presunula práve na tú hru.

To akorát v tom nápade nejak vznikal ten nápad. A ten nápad bol motivovaný myšlienkou, že keby sme robili hru, v ktorej budú agenti, ktorí sa budú učiť od hráča, budú vnímať to prostredie, budú vede konať v tom prostredí, tak nás to možno nejak ešte viac grounduje k tomu AGI, že nejakej praktickej aj komerčnej aplikácii. Aby to nebolo všetko len také akademické diskusie o tom, Heteras Čudia, kteří nemají problém se hodiny hádat o tom, jaké je definice inteligencie. Je to možno zaujímavé se o to na chvilku pobavit, ale nič to nerěší, není to konkrétné. A tak je zbytočné řeči.

Jirka Vicherek (00:28:26): A teď mě trochu překvapuješ, protože na druhou stranu jste dlouho bádali a řešili roadmapu. a potřebovali si definovat různé věci, třeba kontinuální učení si zmiňoval, a jakoby si to opravdu vykolíkovat, tak je to proto, že intelekt je vyřešená věc a jenom meleme prázdnou vodu, anebo potřebuješ lepší slovo pro tenhle případ?

Marek Rosa (00:28:56): Ne, ne, ja skôr naražím na to, to možno není takto ako jasné, ale že v tej ajčkovej komunite dlhý čas práve boli takéto prázdne debaty o tom, že čo je to inteligencia. A potom, že my ani nemôžeme urobiť umelú inteligenciu, keď sa tá komunita nevie zhodnúť na tom, čo je to inteligencia. A to sú také prázdne debaty, ako vyslovene prázdne. Alebo také, jak ľudia vždycky mali debaty o tom, že čo je to vedomie, consciousness, hej? A to tiež sa môže o tom do nekonečina baviť.

někdo bude, souhlasí někdo nebude, ale jako nedosiahneš tým žiaden hmatateľný výsledok. A to je právě to, co vádí. A ta roadmap právěž byla velmi konkrétná, že to byla ta pointa. A čím konkrétnější je, tím lepší, jako merateľnější. Jak se to hovorí, že aj vo firme, že ak to nevěš merať, tak to nemůžeš optimalizovať, maximalizovať, alebo zlepšovať.

Takže to jsou případy, kedy to neplatí, ale zrovna si myslím, v princípe by si to vždycky mal snažit.

Jirka Vicherek (00:29:49): Super, a ještě než se dostaneme k AI hře, tak co ta synergie s Keen Software House? Byla tam nějaká, já si pamatuju, že nějaký prvky a know-how, nebo že na začátku se to hodně učilo na hrách, je to jenom náhoda, nebo podobný, nebo tam vznikal nějaký knowledge transfer, to samý s GoodAI Applied to bylo, tak GoodAI Applied, tak Byla to vlastně jenom brand, anebo research and development a nějaký IP, know-how, co jste vlastně vykopali v GoodAI, měl smysl na tom trhu. Podle toho, co říkáš, tak vlastně ne. Vlastně všichni chtěli black boxy, úzký, jasně definovaný narrow, krabičky a nebyl tam ten přechodník.

Marek Rosa (00:30:40): nebo u GoodAI Research, tak tam sa riešili ten basic research, fundamental research a veľmi veci vzdialené od nejakej Možnosti nejakého feasibility alebo nejakého komerčného nasadenia teraz, lebo to bolo fakt veľmi na začiatku. Tak, tak. Potom applied, to boli práve veci, ktoré boli overené. Hej, to, ako tam sa neriskovalo s tým, že robiť nejaký fundamental research, tam sa išlo. Potom v podstate ideš o to, že myslím, že sa to aj nazýva, že technology readiness level a máš asi nejakých 10 levelov alebo koľko.

A v tom good day research sa robili veci, ktoré sú na úrovni nejakého nápadu, hypotézií a tak ďalej. A potom, ak ideš vyššie v tých technology readiness level, tak sa dostaneš k tomu, že je to viac a viac overená vec. A v podstate u toho applied sa išlo po veciach, kde už minimálne existoval nejaký paper, ktorý tú vec riešil a mal nejaké benchmarky, nejaké výsledky, na ktoré sa dalo postaviť. Prípadne ešte lepšie, ak tomu bol nejaký zdrojak alebo niečo, čo sa dalo veľmi rýchlo testovať, že to bude fungovať.

Jirka Vicherek (00:31:43): A Keen Software House do toho zapadá nejak?

Marek Rosa (00:31:45): Len trošilinku, len tak by som povedal, že ne nejak významne, lebo čo sme robili, bolo to, že sme napríklad urobili agentov, ktorí sme trénovali v Space Engineers a tak, ale on to nebolo až také dôležité, lebo Space Engineers není stavaný na to, aby to bol hodný simulátor pre machine learning, že Space Engineers beží na 60 FPS, ani nemá zmysel, aby bežal viac. A na sice podarilo ho spustiť, že když vypneš rendering a tak ďalej, tak to beží nekoľko stoviek FPS. Ani než frames per second, ale takých tých physics simulation stepov, ktoré máte hra. Ale stále je to málo, že ty by si potreboval tisíce takých stepov za sekundu. Takže chvilku sme používali Space Engineers ako simulátor pre nejakých robotov alebo agentov, ale v zásade to nebol až taký významný smer pre nás, zatiaľ teda.

Možno časom bude, alebo sa k tomu nejak môžeme vrátiť. A robili sa projekty, napríklad taký jeden európsky, že VeriDream. Tam sa trošku ako niektoré veci z GDI poriešili. Jedna z nich bola natrenovať ako robotický kontroler, ktorý potom v Space Engineers vie ovládať nohy robota, takže ako môže chodiť aj po nejakom nerovnomernom povrchu. Ale jako teoreticky jsme to mohli urobiť v jakýkoliv inej, ne hře hre, ale nejako v robotickom simulátore.

To, že jsme to robili Space Engineers, bude len tak jako pekné, že to nějak prepojit.

Jirka Vicherek (00:33:09): No, tak to je zajímavé, protože když si řekl AI je hra, tak v mý hlavě právě je zajímavé, že to přišlo z Applight a ne z Keen Software House, protože jsem tam viděl tu obrovskou synergii Keen Software House a GoodAI.

Marek Rosa (00:33:25): Ono to ani neprišlo z Eplight. Tam sa skoro využili, alebo sa do toho zapili ľudia, ktorí robili na to Eplight. Vlastne na toho hru prišiel z Good Air Research. Tam nás to nejak tak napadlo, že ako fakt robiť hru komerčnú, kde cieľom bude, že máš agenta alebo agentov a potrebuješ ich trénovať. že nám to vlastne aj späťne v tom researchu niečom pomôže, lebo začneš zrazu riešiť praktické problémy.

Ja si myslím práve častokrát, že praktické problémy ťa donúť a riešiť tie veci, aké naozaj sú. Je to taký stres z realitov, lebo v tom researchu si niekedy tí ľudia môžu ten problém, ktorý riešia, ohnúť tak, aby dosiahli nejaké výsledky, ale vlastne sa neposunú někdy jako ďalej. Ale ta realita je taká, že realita prostě nepustí. A například komerčně, že buď ta hra bude úspěšná, alebo nebude. Že to se jako nedá obkecať nejak.

To je prostě buď je, alebo není. Alebo keď to v té hre funguje, tak to buď funguje, alebo nefunguje. Že není to tak, že si urobím nejaký jednoduchý vedecký experiment, nejaký tady task, kde povypínám hromadu veci, len aby som ukázal ten jeden scénar, v kterém mi to funguje, tak to vlastně si nemůžeš dovolit, keď robíš komerčný produkt. Takže to bola tá motivácia za tým robiť tú hru, že máť nejaký real world problém, komerčný, aj s tou možnosťou komerčného úspechu na konci a zároveň sme sa chceli pri výrobe toho agenta do tej hry naučiť ešte lepšie, čo to vlastne znamená, že čo potrebuješ, keď toho agenta chceš trénovať, a mu vysvetlovať veci, keď sleduješ, jak po tebe opakujete akcie a tak ďalej. A to si myslím, že vlastně bolo dosť užitočné.

Jednouko, nebolo to len tak, že robíme, nebo například vo vede je veľa lidí, kteří, keď jim povieš, že jaký mají cieľ, tak sa postavia na zadne, že jednoducho absolútne nechcú, aby si im hovorili, jaký majú mať cieľ. Že oni si robia tú research agendu, si určujú, čo sa im chce zrovna robí, čo ich napadne a tak ďalej. A on je to dobré ako na jednej strane, samozrejme, že tam musí byť tá kreativita a samozrejme aj ten passion, že keď má ten researcher zrovna passion pre nejaký smer, tak asi mu to bude lepšie, než keby si ho do toho nejak ako násilný vtlačil. A práve som si hovoril, že takýto prístup, že vôbec nemáš cieľa je podľa mňa fajn, ale mňa to nevyhovovalo. Ja som vždy mal ten cieľ, že na konci je agent, ktorý automatizuje inteligenciu.

A takže má niečo ešte konkrétnejšie medzi tým, že agent do hry, kde zase to nemusí byť až tak spolahlivé, jak v tom biznis svete, ale je to len hra, Tak som si ho řešil, že to je niečo veľmi konkrétne, na čom sa budeme vedieť ľahko dohodnúť aj v rámci týmu, že nebude sa to nejakým spôsobom obkecať alebo interpretovať nejak inak a tak. Takže to bol ďalší dôvod, prečo mi vyhovovalo ten nápad, že i zrobí to aj aj hru.

Hynek Walner (00:36:13): Môžeme klidne si blíže představiť tú hru, nebo ty vlastne spopisuješ, jaký sú cíle tých hry, ale konkrétne je to v podstate standardní hra, jej s cílem je vydelať a píť zábavnou. A teraz přislibujem, že se vlastne na tom může to jako víc naučit a trochu se posunú v tom výskumu nebo je to trochu jako něco mezi takové jako vlastne tohle mňa zajímá, že mi ještě není jasný, jak si to představí.

Marek Rosa (00:36:40): Tam vlastne boli asi tri ciele. Jeden bol ten research, že nás to, jak vyvíjeme tu hru, ako nejak nakopne v tom researche nejakým konkrétnejším cílom. Potom boli ale dva ciele, ktoré vyemergovali predsa len časom. Jeden bol ten, že sme si povedali, že musíme urobiť hru, ktorá vo výsledku bude komerčne úspešná, že zarobí peniaze, bude zaujímavá. K tomu smeroval jeden z tých dvoch cieľov a to bol ten, že urobiť hru, ktorá má nejaký unikátny gameplay.

že vlastně len urobiť nejakou hru, kterých je tu už hromada, jako to podle mě nemá zmysel, že to je fakt strata času, takže išlo o to, že urobiť hru, která prinesie hráčovi nejaký nový druh zážitku, který doteraz nemali, samozřejmě keď to člověk spojí s tým ajíčkou, tak si půžeš, no jasně, tak v hrách dneska jsou nejaké ajíčka, ale to jsou většinou nejaké skripty, takže tam chyba hromada veci, že ty agenti v hrách sa nevěděla naučit. Častokrát nevnímajú to prostredie v plnej škále, aké tam je. A hlavne, že sa nevedia učiť. Ich nejaká personalita a emócie sú emulované tým skriptom, ale nejak úplne strašne jednoduchá základne. Není to plná sandboxová emulácia emócií a personality toho agenta.

A takisto už duplno sa nevedia učiť, jak som spomínal. Takže toto začalo dominovať, tak je to, že hlavně u mňa, že urobiť hru, která je naozaj něčím unikátná, prinesí něčeho revolučené na trh a keď v tom uspejeme, čož ještě tá hra není vydaná, takže ještě stále je tam jako nejaký room for failure, ale že keď s tím uspejeme, tak hráči to budou koupovať právě proto, aby zažili ten nový pocit, že mám tu nějakých agentů, kteří myslí a mají vlastné emocie, můžu medzi sebou komunikovať, interagovať, můžu interagovať s prostředím, vznikají tam rozličné emergentné príbehy A toto, že ľudí pritiáhne, to bola tá pointa.

Jirka Vicherek (00:38:25): Westworld.

Marek Rosa (00:38:26): No, jak taký Westworld, presne tak. Tak nejak, to je jedna z tých vízy tam. No a teraz vlastne vám môžem vysvetliť trochu na tomto videu, ktoré bolšia ľudia nevidia.

Hynek Walner (00:38:38): Přiletíme do newsletteru.

Marek Rosa (00:38:40): A OK.

Jirka Vicherek (00:38:40): Jestli bude venku, tohle sú Marková telefón.

Marek Rosa (00:38:43): Ne, ne, ja som to dal na YouTube môj, takže je to vlastne verejné. Tak na toto videu je vlastne vidno tri postavičky, jedno je hráč a dve sú tí agenti, ako NPCčka. A to je manžela manželka. A vlastne teraz hráč povie tej manželke, že videl toho aj manžela Exa Boscava s Irinou. A vlastne od toho Kamihu je to kompletne emergentné celé, že tam je nič naskriptované, pripravené a tak.

a čo sa stane, je to, že ona teda, teraz sa naštvala, toto čo tu vidíte, ten text, tak to sú jej myšlienky a tam práve ako premyšľa, že čo urobí, že sa rozhodla, že zoberie panvicu do ruky a teraz je fakt naštvaná, no a teraz sa ona rozhodne konfrontova toho manžela, takže za ním ide a začnú sa rozprávať, a teraz ona sa ho pýta a ona jej odpoveda. On se snaží vysvetliť, že to bola chyba, že už sa nebude boskovať s Irinou a tak ďalej. No ja to trošku preskočím, lebo ten ich dialog je docela dlhý, A je nakonec už úplne rupnú nervy, príde za ním a to pán Vico ho vlastne udrie. A on utečie. No a čo je ešte zaujímavé je to, že keď vlastne túto scénku hrajeme druhýkrát, tak pretože tam istá náhodilosť v tom ajíčku, ako to, ak sa rozhodne tak alebo tak, tak sa stáva napríklad, že on ju presvedčí, tú manželku, že sa s Irenou neboskával.

Lebo například tomu aj verí sám, že to je generatívné ajičko, takže on si může vygenerovat rozličné časti toho príbehu. Tak ju přesvedčí, zároveň ju přesvedčí, že hráč si vymýšlá, že je to jako manipulátor a ona se naopak naštve na hráča a ide za hráčom a toho začne mlátiť opanvico. Takže sú tam takéto emergentné príbehy a to si myslím, že je tá síla tej hry, že vlastne v čo ja dúfam, že čo hráčom na tom zaujíma je to, že sú tam tí inteligentní agenti, čo je vlastne nejaký dynamický systém, ten hráč toto ho môže ako nejaký spôsob zasiahnuť a sledovať tie zmeny, ktoré spôsobol v tom dynamickom systému, teda v tých agentoch okolo neho. Keď povieme takúto vec, že vlastne hráči len povedali jednu informáciu, že videl som, že sa Šón boskával s Irinou a všetko ďalšie tam vzniklo vlastne emergentne, prirodzenie samého seba. Tak to si myslím, že sledovať tieto následky tých svojich akcií bude zaujímavé pre hráča a vo výsledku by to malo byť, ja by som chcel, aby ľudia s tom mať taký zážitý, keď si predstavíte, že pozeráte nejakú reality show, ale mali by ste možnosť do toho zasiahnuť, že proste povedať, že a teraz tento hrec alebo účastník nejaké té reality show povie takúto vec a sledovať, čo sa tam udeš, aké peklo tam proste nastane.

Takže vlastne to je tá vízia.

Hynek Walner (00:41:11): K tomu hlavně napadá, jakým stylem přemýšlíte nad nějakými omezení takhle dynamického systému, protože napadají mě všechny různý randovní GIFy ze Skyrimu, prostě NPCčka, co Mike Eable na hlavě nevidí a takhle. A nebo naopak nějaký trochu jako, nechci říct jako bezpečnostní omezení, ale že v takhle vlastně divokým systému asi může vzniknout hodně zajímavého pekla, který nemusí být třeba úplně v pohodě. Takže přemýšlíte nad tím nějak takhle?

Marek Rosa (00:41:41): Jo, tam sú dve veci. Jedna je tá, že niektoré veci si myslím, bude úplne v poriadku, keď vzniknú. Napríklad ten kybel na hlave, tak to si myslím, že je sranda, lebo ako aj tej hre to pomohlo marketingov a tak. Takže takéto veci by mi zrovna nevadilo, alebo veci, keď niečo nedomyslíme. A vlastne tá hra, ona je sandbox, že není to lineárna adventúra, tam není nejaký backstory, ktorý my sme pripravili, že sú vo vezeni tí ľudia.

Ale kam se to vyviněje, to už vlastně na tom, jaké akcie urobí, až sa rozhodnou urobiť ty agenti a ten hráč. Ale není tam nějaký koniec, že jako tam není nějaký, že já vlastně nevím, kde jak to skončí. A potom druhá možnost, ale druhá oblast takých nějakých obmedzení, tak to je to, aby tam nevznikaly nějaké veci, které jsou pověděme až nelegálné. Že například, aby tí hráči nějakým způsobem nevmanipulovali těch agentů, aby tam robili pověděme nějakou dětskou pornografii, alebo aby tam nějaké náci veci začali robiť a tak � Zatiaľ to tam nemáme, ale my sme tam pridali niečo jak parental, že jednoducho, ak my zdetekujeme, že tam dochádza k takýmto pár zakazaným témam, tak by sme to nejakým spôsobom do toho vstúpili a stopli to. No a na druhej strane, ale samozrejme, ja zase nie som úplne zastanca...

Jako sa snažím maximalizovať slobodu tých našich hráčov, že nech si oni rozhodnú, čo budú robiť a ja im nechcem, ako ideálne by som im ani takéto veci nezakázoval, ale na druhej strane zase tiež nechcem urobiť hru, ktorá budú ľudia robiť napríklad tú detskú pornografiu a ktorá by sa ešte stála tým známa, ako nejak nešťastne známa, tak to potom tužím jednoducho, takže preto určite budeme musieť tam dať nejaký parentalog.

Jirka Vicherek (00:43:16): Já bych to chtěl vrátit zpátky na zem, než se zeptám, jakou roli v tom hrajou velký jazykový modely a na tuhle vlnu naskočíme. Tak co se reálně děje ve vašich systémech a když já tam pošlu teda Boskal se s Irinou?

Marek Rosa (00:43:35): Tak vlastne dôležité povedať, že tí agenti sú emulovaní na large language modeloch na LLMK. V tejto dobe používame v podstate od OpenAI, lebo potrebujeme pušovať tú kvalitu. Takže časom plánujeme prejsť na nejaké open source modely, ideálne aj také, ktoré by bežali lokálne na klientovi u hráča, aby sme museli platiť za ten cloud. Ale jak to teda funguje tak, že tá hra vytvorí nejaké observations, ktoré musia být reprezentované v texte, lebo jazykový model rozumie len textu. To ide na prompt na ten jazykový model, plus k tomu bude ešte nejaký backstory toho agenta.

Z long-term memory sú vyťahnuté jeho spomienky, ktoré sú relevantné k tomu danému kontextu. Potom je tam popis toho, aké by apička tej hry, to znamená, aby ten agent, aby ten language model vedel, aké akcie ten agent v tom danom svete môže robiť. Lebo ten jazykový model on vlastne nepozná to fyziku toho sveta. On nevie, že napríklad kameň, ak vidí kameň, on nevie, čo s tým kameňom robiť, že môžem ho zdvihnúť, nemôžem ho rozbiť. To už závisí od toho, jak je tá hra urobená.

Iná hra môže mať úplne inú fyziku. Že toto potrebujeme vysvetliť. A ten language model potom vypredikuje nejakú akciu toho agenta. A my to potom naparsujeme a interpretujeme v tej hre. Tak toto znie jednoducho.

Tam je milión vecí, ktorým je to ťažké, aby to reálne fungovalo. A napríklad, aby aj ti agenti sa chovali zaujímavo, lebo predsa dneska ti language modeli sú cez RLHF trénované na nejakú slušnosť alebo nejakú etičnosť. Ale máme tam vezenie a je tam napríklad jeden strážca, ktorý je taký aký by sadista alebo zlý človek. A ti language modeli sa nebudú chovať zle defaultne, takže treba to napromptovať tak špeciálne, aby sa ten agent naozaj správal ako reálny zlý guard vo vezení. A čo tam ešte k tomu dodať?

O hľadu tej technológie, tam je toho veľmi veľa, čo by šlo povedať. Veľká vec bola pre nás ta long term memory, lebo jazykové modely majú obmedzený ten context size. Teraz je to zhruba 4000 text tokenov. No a čo je aj není veľa, ono pretože my tam už do toho promptu tak či tak dávame toho veľa ako v rámci tých observations a ďalších vecí, tak to ti ako vyčerpa veľkú časť toho promptu. Preto treba, keď chceš, aby ten agent si pamätal jednak čo videl, čo si myslel, čo urobil, čo počul a tak ďalej ako nejaký čas dozadu, tak treba veľmi ako kompresovať to, čo mu tam dáš.

A jedna z tých spôsobů kompresie je tá, že si Pamätáš v tej long-term memory, alebo on si pamätá v tej long-term memory všetky svoje spomienky, čo videl, čo urobil a tak ďalej. A potom podľa toho aktuálneho kontekstu to retriebuješ. Takže to možno aj teraz poznáte také... Ja to znám ze svojí hlavy. Ale mal by to fungovať podobne.

Práve že keď my sa inšpirujeme, tak aj ta long-term memory je tam vlastne len preto, aby sme dali tomu LLM-ku možnosť kontinuálneho učenia. A že dneska zaprave na tieto veci používajú tie vektorové databázy, to určite poznáte taký ten FICE, alebo jak sa to volá od Facebooku a podobné. Ale to vlastne funguje tak, že máš nejaký text, ktorý rozdeliš na nejaké takzvané čanky, na každý spočítaš nejaký embedding vektor, to dáš do tej vektorej databázy a potom máš nejakú query, to znamená ten aktuálny kontext, ktorý zase hodíš do nejakého vektoru a cez tú vektorov databázy nájdeš najbližší vektor alebo najbližšie vektory k tomu, čo hľadáš. Tak toto je tá naivna implementácia. Ale realita je tá, že ti to nebude vrácať veci, ktoré sú relevantné.

Alebo stačí len trošku inak naformulovať otázku alebo nejakú vetu a už sa ti to rozbije, že do jednej vety dáš napríklad dva fakty a on ti to zrazu nebude vedieť vyťahnuť tie správne spomienky, lebo tie dva fakty mu dopletú tie vektory. V tom LTM-ku robíme strašné množstvo preprocesingu a postprocesingu tých memorís a podľa mňa na tom ešte budeme robiť ako mesiace a roky, ako to naozaj vylepšiť, aby to LTM-ko umožnilo to kontinuálne učenie. Ale potom, čo sme sledovali, je to, že... V lete ješte nemali LTM a bolo to vidieť, že keď si sa bavil s tými agentami, tak oni za chluku zapomneli, o čom ste sa bavili. Že ako by som mu to vyšumil z hlavy.

Že sa ho pýtaš, jak sa bola tvoja sestra, on ti pôjde nejaké meno a potom chluku sa s ním bavíš, aby si mu ten kontext v window tak nejak... odlifroval ďalej. A potom sa ho znovu opýtaš, ak sa volá jeho sestra, on ti povie nejaké úplne iné meno. Lebo LLM vlastne je generatívny model, takže on vždycky vygeneruje nejakú novú odpovedň, je tam nejaká stochasticá, tak vždycky je trošku iné. Ale práve, že keď sme pridali LTM, tak on si tú vec, ktorú vymyslel, uloží do toho LTM.

A keď sa ho druhýkrát opýtaš na to, ak sa volá jeho sestra, tak on už sa to nesnaží generovať. On už to retrievne z tej long-term memory a vlastne tá odpovedň je plnou konzistentná. A to je super, že to zrazu začalo vytvárať ako keby konzistentné personality. A druhá vec je tá, a z iného hulú pohľadu sme skúsili taký experiment, že sme predného agenta napísali 16 stránkový backstory, že taký príbeh o ňom, čo bolo zhodovkonnosti, že jeden kolega píše nejaké vlastné príbehy a mal niečo, čo není verejné. My sme chceli niečo, aby to nebolo verejné, aby bola istota, že to není vo váhach toho modelu ten príbeh.

Takže sme zobrali tento príbeh, nahrali sme to do toho LTM-ka a vlastne keď sa s tým agentom bavíš, on si vyťahuje tie jednotlivé časti z tej svojej osobnosti z toho LTM-ka a zrazu tá jeho personality je oveľa viac hlbšia, než keď to tam není. Pretože to je práve, to napríklad sme si aj nevedomili ešte pred pár mesiacmi, ale... Keď máš len nejaké LLM, ktorému povieš, že emuluji nejaký charakter, ktorý je napríklad nejaký guard vo väznici, tak to LLM musí tých strašne veľa vecí, ktoré si nedefinoval, si musí vymyslieť a vlastne vždy robí nejaké assumptions, Ale na základ toho, čo si mu dal, že tie modely fungujú vždy tak, že vygeneruje ten ďalší text token, given, tie text tokeny, ktoré boli predtým. A keď je ich vlastne málo, že mu len povie, že je to guard a hotovo, tak on nemá šancu, jak byť konkrétny a teda ti dá tú najpriemernejšiu odpoď, ako môže byť, ktorá častokrát je nudná. Ale keď mu vlastne rozšíriš to jeho personality, že mu dáš tu long-term memory a on si vytiahuje rozličené časti svojej spomenky a napríklad tam bude niečo, že pred dvoma dňami zmlátil niekde nejakého väzňa a to všetko sa mu dostáva postupne do toho promptu, tak ten language model je oveľa viac konstrainovaný k tomu, čo má vygenerovať, vypredikovať.

a potom naozaj dostáváš ovejla zaujímavějšie, hlbšie, realistickějšie personality. Takže toto má tak až prekvapilo, jak zaujímavé funguje.

Hynek Walner (00:50:15): A předpokládám správně, že to LTMko vlastně i hráč olivňuje, protože třeba v tý ukázce, co jsme viděli, tak když Frančeska zmlátila Šona, tak bude to mít za důsledek, že v long term memory těch agentů se uloží, tak oni už asi spolu nechodí. Takže vlastně těch akce musí být konzistentní v určitýchto události.

Marek Rosa (00:50:34): Presně tak. To je právě ta pojímá. Že keby to tam toto nebolo, tak podľa mňa to není sandbox. Alebo podľa mňa takýto dynamický systém vždy musí fungovať tak, že ten systém má nejakú pamäť a vlastne reaguje na tú pamäť a generuje ten nový stav na základe tej pamäti. Takže keby tam nebola ta pamäť, tak ja ani neviem, či by sa dala nazvať dynamickým systémom, že to by si mal systém, ktorý sa ti môže furt točiť dokola.

Že nikde sa ti neposunie. A podľa mňa ty toto potrebuješ na sandboxovú úrovni. Sandboxová hra je podľa mňa o tom, že dochádza k nejakým zmenám v tom prostredí. V tomto prípade také sociálne zmeny. V prípade Space Engineering sú to tie fyzické zmeny, ak staviaš tie lode.

Tu je to na tej sociálnej úrovni alebo nejakej ľudskej úrovni. A keby tam nebola ta pamäť, tak sa točíš takto dookola a nemôžu ti tam vznikať nové, emergentné, komplexnejšie veci, ktoré tam nastali predtým. Takže ta pamäť bola veľmi dôležitá pre nás.

Jirka Vicherek (00:51:33): To je můj nejoblíbenější citát z podcastu Lexa Friedmana. Život je vesmír tvořící si paměť. Organický život. Organika je komplexnější a uchová víc dat. Kedy to bude ven?

Marek Rosa (00:51:50): No, ja mám taký plán, že tento rok ešte a ešte nechcem nejak úplne presne konkretizovať, ale tento rok by sme vydali nejakú alfa verziu, alebo takú verziu, ktorá bude mať to jadro, ale ktoré by malo fungovať dobre. Vlastne podobný model, jak sme robili zo Space Engineering, keď sme to v 2013 vydali, tak to mal len to jadro. To znamená, že si si mohol dať pár blokov dohromady, postaviť loď, lietať s ňou, keď si narazil, tak sa ti nejak zdeformovala, rozbila, to tam fungovalo, toto jadro fungovalo veľmi dobre, ale bolo tam dohromady možno ani 10 alebo 15 druhov blokov, akože armor, gravity generator, thruster, pár takýchto základných. V podstateľu na to, aby si mohol postaviť loďa lieta. Nič iné tam nebolo, že to bolo také úplne minimalistické, také MVPčko.

Ale bolo to veľmi dobre vypolišované a ukazovalo ten emergentný potenciál. Že vlastne, keď toto ľudia videli, tak oni si už domysleli, kam tá hra môže vyevolovať. A to si myslím, bola tá krása toho celého. Ale museli vidieť toto, že keby videli len polku toho, toho MVPčka, tak by si neurobili správnu predstavu, že by to proste zase jak ten language model by si možno dosadili tie neznáme, ktoré tam nevideli, ale nejakým zlým smerom, ktorý sme nechceli. A tak to isté potrebujeme dosiahnuť teraz aj z tohoto hrou, že To musí byť aj MVP, nech sa to len sústredí na korlúb, ale musí byť dobre urobený, zábavný, ideálne taký, aby sa hrači k tomu aj vracali, aby tam vždy nastavili nejaké nové zaujímavé situácie a potom máme plán, jak tam pridávať ďalšie featurey, jak to vylepšovať.

Hynek Walner (00:53:24): Ty jsi zmínil o cílech tohohle projektu, ještě tu akademickou část, tak já myslím si, že teďka asi jsme pochopili tu hrní nebo tu směrem té komerční sféře, ale na té akademické části, co vlastně z toho budete zkoumat naše zkoumání interakce lidí s agentama a jaký závěr z toho člověk může dostat?

Marek Rosa (00:53:46): Zhodokonosti zrovna to je tiež vec, ktorá sa dá študovať, že napríklad tam môžeš urobiť také experimenty, jak je ten Prisoner's Dilemma a podobne. Len to robíš s agentami a robíš to. Ty to teoreticky môžeš urobiť aj včet GPT, keby si chcel, ale tu to máš v nejakom 3D prostredí, vidíš, jak interagujú a tak ďalej. Takže aj takéto veci by šli, ale to není naša priorita. Tá priorita bola skôr to, že pochopiť, ako urobiť autonómneho agenta, ktorý má buď vlastné cieľe, alebo také, ktoré mu ty dáš.

funguje v nejakom lúpe, to znamená, ten lúpe je taký, že má nejaký observation z prostredia, potom nejaký reasoning, nejaká pamäť, zase vieme, prečo je pamäť dôležitá, a nejaké akcie do toho prostredia. Taký ten základný framework na agentu. A ten language model je tam vlastne taký ten reasoning systém, ktorý ti ako pomáha... ktorý pomáha tomu agentovi jednoducho v chápate súvislosti. Ale čo chýba LLM-ku je schopno sa učiť nové veci, lebo je to bezstavový neurónka, takže ona dostane nejaký vstup, vyprodukuje nejaký vystup, ale nemení ten svoj vnútorný stav, takže nič nové sa neučí.

A na to je tam práve ta long-term memory, aby si vedel ten agent, aby si vedel rozhodnúť, čo si zapamätá, aby si to potom vedel retrievovať a tak ďalej. Takže k čomu nám to pomohlo je práve to, že ten druhý projekt, ktorým robíme to s tí autonómni agenti, že vlastne sme si to ešte viac a viac uvedomili, to, že chceme robiť tých autonómnych agentov a ak teraz poznáte tí auto GPT, baby AGI, tak v princípe to je ten prístup, že máš nejaké LLM v lúpe. Akorát, že my to vlastne už robíme ako rok, takúto vec. Ale v tej hre, hej, nerobili sme to ako na web a tak ďalej. No a to nám vlastne ukazuje, že toto je momentálne pre mňa asi najviac feasible spôsob, jak dosiahnuť AGI.

Že mať LLM v nejakom lupe, k tomu nejakú long term memory. A ešte pár nejakých vecí dorobených vo vnútri, tak aby ten agent si vytváral tie plány správne, aby ich vedel followovať, aby sa v to nejak nestratil. Proste tie problémy, čo má auto GPT, tak to nejak vyriešiť. Prípadne, aby to bolo viac agentov v agentovi. To je ako taký veľmi zaujímavý smer.

Takže vlastne tímto sme sa spône dostali k tomu, ani nechcem povedať, že researcho, lebo ja myslím, že my v Gude aj už, ak keby nerobíme research, my vyslovne už robíme produkty, že ako buildujeme produkty, že to je jednak tá hra a jednak tie autonómne agenti, že ja už by som to, je to asi taký research, jak aj u tých hier sa robí, robíme research, že napríklad... do toho výrejču nášho, do toho engineu. Teraz robíme volumetrickú vodu. Takže máš ako simulovanú vodu na úrovni jednometrových kociek, ale na celej planéte. Takže to sú ako miliardy dát a samozrejme to nemôžeš všetko simulovať, takže tam je nejaký loading, ale na simuláciu je...

Je to strašne zaujímavé. A tiež si povieš, že je to research, alebo je to engineering? Vieš, ja by som úplne nepovedal, že teoreticky nejaký... Profesor na univerzite by to mohol brať ako research a určite by o tom robil nejaké paper a tak, ale my to robíme do hry, tak je to research, ale zároveň si myslím, že je to aj engineering jednoducho. Možno preto, že máš jasne definovaný cieľ, že research je možno aj vec, kde tie cieľe nemáš úplne jasné a tie ti až vyemergujú, ak sa tak postupne v tom posúvaš ďalej.

Takže... V Good Eye by som povedal, že robíme viac engineering research, pretože máme veľmi jasné cieľe, že robíme napríklad jedna hra a jedna autonómne agenti, že veľmi dobre vieme, čo chceme, aby ten agent bol schopný, čo s nima užívateľ robiť, jak s nima komunikovať, ovladať to, meniť to a jaké problémy biznisové to má riešiť.

Jirka Vicherek (00:57:28): No a když se podíváš na to, co všechno má Gudeja za sebou, na všechny investice do neúspěšných slepých cest a co jste se naučili a tak, tak spláchli to velké jazykové modely častečně jako pryč. Jo, jo, podle mě úplně.

Marek Rosa (00:57:48): Že já si myslím, právě ti jazykové modely to bylo to, čo jsme hledali celý čas. Akurát...

Jirka Vicherek (00:57:54): Ste nevedeli, že to sú one.

Marek Rosa (00:57:55): Tak, tak. A že keby napríklad teraz som začínal, tak by som už ani tie veci, čo sme robili predtým, nerobilo vôbec. A šiel by som po tom, čo robíme teraz, to znamená LLM-driven agenti. A takže by som z mysle aj veľká časť tých peňazí bola ako keby...

Jirka Vicherek (00:58:12): Školné. Školné, na druhou stranu všechny ty problémy, o kterých mluvíš, tak zase jazykový modely ti tu algoritmickou část, tu R&D ti řeší, ale celá ta implementační s tím, jak má fungovat long time memory a jak to celý má fungovat, tak to zůstalo a to jste si taky jako naučili na všem tomhle, ne?

Marek Rosa (00:58:38): Já myslím, že hej, já myslím, že vďaka tým rokom v QDI máme nějakou výhodu oproti druhým, Ale zároveň si myslím, že nemusí byť až taká veľká. Že si myslím, že někdo, kdo pridělá teraz a pochopí, že LLM v nějakom loupé plus nějaká long-term memory, tak si myslím, že... Není až také nevyhodné oproti nám. Takže, ale to je podľa cena toho. A ja som vlastne na začiatku toho s tým šiel, že ako je to riziko, že veľa tých peniazí bude kváziakej vyhodených dolu v tuhe, alebo že sa to vráti bez nejakej návratnosti.

Ale som si hovoril, že aj tak mi to stojí za to, lebo aspoň mám nejakú šancu dosiahnuť AGI. Že keby som len sedel na tých peniazoch, tak OK, mám peniaze, ale mám nulovú šancu dosiahnuť AGI. Tak to som mal aspoň nejakú šancu.

Hynek Walner (00:59:21): Mě k tomu vlastně napadá a možná teď jako nechci tady na záznam od tebe ta velká prohlášení, ale kde jsou ty další velký výzvy k cesti k AGI? Jestli, asi to vypadá, že jak z těchto modely, to už tady zůstane, to už jako možná nějaká integrální součást něčemu, čemu můžem říkat inteligence, ale jak já to vnímám, nebo taky možná trochu jako na jední pohled, tak Teďka jazykový modely už se dostaly do hodně dobrých oborů. Nevím, jestli už teďka nejsme v tom diminishing returns fázi, že všichni teďka doženou open source sama to, co umí GPT-4 a tam víceméně se to možná trochu zpomalí ten vývoj. Jak na tě přemešlíš ty?

Marek Rosa (01:00:06): Tak, on teraz napríklad, sam Altman, šéf, opäne aj hovoril práve, že oni tiež asi narazili na tie limity veľkosti tých jazykových modulo, že už to asi nebudú zväčšovať. Toto by som bral ako z rezervu, pretože je napríklad jeden taký paper, sa vola Chinchilla paper, a to je tiež large language model z DeepMindu, kde dokázovali to, že... dokážeš dostať rovnaké kapability s tým, že zväčšuješ množstvo trénovacích dát, neveľkosť toho modelu. Takže sú takéto rozličné, také tie scaling loss a tak ďalej okolo toho rozličné detaily, že nemusíš ani zväčšovať ten model, proste natrénuješ to na viac dátach. A teraz je otázka, jaké to sú dáta?

Sú to dáta, ktoré vytvorili ľudia, také tie veci poskrepované z internetu, Alebo napríklad 100 dát, ktoré nám vygenerujú tí auto GPT agenti. Tým, jak sa snažia riešiť nejaké úlohy, niektoré splňané, ktoré zlyhajú. Možno toto by sa dalo tiež použiť na natrenovanie nejakého ďalšieho modelu, ktorý ani nemusí byť veľmi veľký, ale bude mať tých dát 100 násobne viac, tisín násobne viac, než čo bolo použité pre GPT-4. A takže aj tak sa na to dá pozerať. Potom iný uhol pohľadu je ešte ten, že ti large language modely stále robia nejaké chyby.

Niečo naprogramuje a urobí vyslovene pár nejakých hlupých chýb. A tam je podľa mňa potrebna zmena uvažovania. v tom, že možno ten ďalší krok není už len v tom, že zlepšovať Large Language Modely, ale treba zlepšovať tých agentov, ktorí používajte Large Language Modely. Takže napríklad, aby neboli len tie LLMka trénované na Instruction Following, ako je Instruct GPT, alebo GPT 3.5 a 4 a tak, ale aby boli fine-tunovaní na takzvané, že Thinking in the Loop, že toho agenta potrebuješ, aby si naplánoval a potom nejak thinkoval v lúpe. Tak možno toto by pomohlo takáto vec.

A ja si myslím proste, že tí agenti, že to je ten smer, kde možno dojde k najväčším skokom teraz. A zároveň si ale myslím, že zlepšovanie ELLM dáva zmysel konkrétne urobiť ich multimodálne. To znamená, aby vedeli pracovať s obrázkami, čož GPT-4 oni to ešte nezverejnili, ale vie to robiť. Že ako vie mať image recognition. A v prípadne multimodál je také, že vedia vnímať nejaký 3D priestor.

Takže je natrenovaný na nejakej počítačovej hre a vníma ten 3D priestor ako prirodzene. Ne tak, že sa to naučilo cez text, ale prirodzene. Prípadne trénované na videodátach. Takže by to proste bolo učené na YouTube videách a TikTok videách a tak ďalej. Takže tam si myslím, že by mohlo dojsť tiež nejakým skokom len v tých LLM-kách, že ani netreba na to agentov, ale tie LLM-ká by ešte lepšie vedeli emulovať ten svet ale predikovať ten svet.

To si myslím, že je stále možné. Ďalšie možnosti sú tiež urobiť ich efektívnejšie. To znamená dosiahnuť rovnaké capabilities, ale s menšími modelmi, ktoré majú rýchlejšiu inferenciu, potrebujú menej pamäť a tak ďalej. No a potom samotná inferencia. To je ďalšia vec, že aby to vlastne to, keď pošleš nejaké dáta do už natrnovaného modelu a niečo z neho vyleze.

Tak aby táto bola zrýchlená. Viete, jak dnes pomaly GPT4 generuje tokeny, že to vyslovene je token za tokenom. A vidíš, jak to ide. A GPT-3,5 to už je hodne rýchlejšia, tam to už len vypluje hon. No ale si predstavte teraz, že keby sa podarilo tú Transformer architektúru zoptimalizovať ešte viac, ale možno nejak aj nahradiť nejakou inou a sú pokusy aj na to, že je nejaký iný druh neurónky, ktorá vlastne by sa učila podobne efektívne, jak Transformer.

Tak si predstavte, že by to dokonalo zgenerovať, povedzme, že 20 tokenov za minútu, ale keby to vedelo generovať 50 miliónov, tak to zmení podľa mňa v svet ako zásadne. Že už by sa používali LLMK ako CPUčka v podstate. Nemyslím, že by nahradili úplne CPUčka, ale že by si k tomu tak pristupoval. U CPUčka tiež neriešiš, či to tam zvládne. Miliardu alebo dve miliardy inštrukce, proste nejaké veľké čísla a hotovo.

Takže toto si myslím, že môže tiež veľmi zmeniť svet. A samozrejme, ale keď sa vrátim späť tým agentom, ono sa to zidia u tých agentov, pretože keby som mal nejakého agenta, ktorý má vo vnútri milióny subagentov, ktorí každý má v sebe to LLM a nejakú long-term memory a medzi sebou komunikujú a riešia problémy, delegujú s tom medzi sebou atď. Môžem zrazu riešiť problémy, ktoré dneska jedno LLM nezvládne, pretože ten kontext je stavno obmedzený. A vlastne to mi pripomína ďalšia vec, tá veľkosť toho kontextu, že je to 4 tisíc, teraz u tých väčšinou sú aj niektoré 8 tisícové, a ta GPT-4, ale tiež to ešte není úplne verejné, majú to len niektorí ľudia, tak má 32 tisíc tokenov ako veľkosť kontextu. A to je super, samozrejme je to pomalé, ako vo výsledku, a je to aj drahé.

Že ono, sme to počítali a myslím, jeden ten prom si ťa vidie na 3 doláre, keď tam dáš ako tých 32 tisíc tokenov pri tej cene za token, jaké má GPT-4. Takže, keď si potom predstavíš, že mu dáš ako... Keď sa na ty zamyslíš tak, že platíš vlastne za spracovanie myšlienok, tak tu ako zaplatíš 3 doláre za spracovanie myšlienky. Na druhej strane, koľko platíme ľuďom za spracovanie myšlienok? To sú oveľa viac peniazy.

To sú v podstate smiešné peniaze, čo sa platí tým LLM-kám. Takže, no a potom ja si napríklad myslím, že hardware, že keby sa začal robiť hardware, ktorý je customizovaný na už predtrenované LLM, ktoré je tam nejaké vyslovene vypálené aj s tými váhami na ten hardware, takže tam nepotrebuješ mať dynamickú pamäť a proste ten hardware je optimalizovaný pre tú konkrétnu architekturu, tak si myslím, že by to mohlo byť energeticky oveľa efektívnejšie a rýchlosť zase ako rádovo vyššia. Pretože keď už máš ten model pretrenovaný a už vieš, že ho nepotrebuješ meniť, tak to treba využiť. Tento stav.

Marek Rosa (01:05:54): Tak, no a v čom mám obavu, že by napríklad tí agenti nemuseli stačiť, ale by si to môže zaseknúť, je napríklad jedna taká vec, na ktoré my narážame tých našich agentov, je, že ak LLM-ko už má vo váhach naučenú nejakú znalosť, nejaký fakt a ty mu ho v prompte chceš zmeniť, tak teoreticky by si mal mať tú možnosť, lebo oni už majú tú in-context learning, ale sú prípady, kedy to proste nefunguje, vieš, že Taký príklad, ktorý my sme našli, je, že je taká tá, taká tá detský puzzle, že máš zely, kozu a vlka a chceš ich dostať na druhú stranu rieky. A ti ako treba ehtandať tak, aby sa tie dve veci vždycky nezožrali nejak. No a tak toto, keď dáš štvrke, tak on ti dá tu správnu odpovieť, je to vybavené. Ale keď mu trošku zmeníš tie pravidlá, že napríklad povieš, že zely a vlk nemôžu ísť dohromady, lebo by sa nejak zožrali, alebo ten vlk to zeli, alebo tak. tak on stále ti odpovie podľa tých pôvodných pravidel, že jednoducho není schopný sa nejak poučiť z toho, čo si mu dal do promptu.

A toto môže byť problém. Druhý problém, ktorý podľa mňa je tiež dosť seriózny, je ten, že aj keď tam máme tú long-term memory, A tú long-term memory ty vlastne môžeš používať na to, aby si ten agent učil zo skúseností. Že on urobi nejakú akciu, teraz si spustí nejakú self-kritiku na tou akciou a to, čo sa naučí si odložiť long-term memory. A keď nájde nejakú podobnú situáciu, tak si zase vyťahne z tej long-term memory tú kontextuálne relevantnú vec, dáš to do promptu a už by potom tú chybu nemal spraviť. Ale problém je ten, že...

Keby si bol v situácii, kde potrebuješ retrievnúť 100, 200, 300 skúsenosti z minulosti a sa ti to už ani nezmesti do toho promptu. Predstav si, že teraz máš ty ako vo svojej hlave working memory, ktorá dokáže udržať 7 mentálnych itemov. A na to, aby si vyriešil nejakú úlohu, ktorá je pre ťa, by si potreboval 50. A tá úloha je neriešiteľná. Bez povedzme toho, že si zapisuješ tie veci, že si ako keby offloaduješ na nejaký papierík alebo tak, je neriešiteľná.

Tak z tohto mám ešte docela odbahu, že toto by mohla byť také ako taká stopka, že tento prístup nebude hneď smerovať k AGI. Ale na keď si myslím, že si to vyrieši, lebo aj sú transformery, ktoré majú teoreticky infinite memory, teraz neviem, či to bol transformery, ale nejaká sieť, ktorá máš milión tokenov, ale zase má iné nevýhody, že to pomale strašne a stráca tie relácie v tom kontekste, že síce zvládne to obrovský prompt, ale sa v tom stráti, že tie veci na začiatku toho promptu majú menší vplyv než tie, ktoré sú bližšie k tomu koncu a tak. Takže... Jako, keby som mal povedať, že či LLMK plus agenti plus LTM povedia GGI, tak sám za seba za to hlasujeme, že áno a hlasujeme za to aj svojimi peniazmi, že do toho investujeme a ideme do toho. Stále je tam nejaká šanca, že sa to na niečo zasekne, ale aj keby sa to zaseklo, tak si myslím, že sa posuneme tak ďaleko a tak zaujímavé veci to zautomatizuje, že to vlastne stojí za to.

Jirka Vicherek (01:08:58): Přestože nemáš rád kecání o kecání, tak ať si definujeme, a na druhou stranu máš rád měření, tak jak poznáš, že jste vy nebo někdo jiný vytvořili AGI? Co jsou pro tebe ta kritéria tím pádem? To je dobrá otázka.

Marek Rosa (01:09:14): A pre mňa by to bolo to, že je to schopné vriešiť akýkoľvek problém ako iný človek. Ako úprimne toto by mi stačilo. Že má to rovnakú schopnosť generalizovať a adaptovať sa ako človek. A že nemá to nejaké kognitívne chyby, ktoré bežne ľudia nemajú. Jak som napríklad s tou kozou popísal ten príklad, tak to je vyslovene taký nejaký kognitívny eror, ktorý...

Ktorý by znemožnil, napríklad keby to mal nejaký človek, tak mu to znemožní ako normálne fungovanie, že by si to bral vyslovene ako nejaká mentálna porucha, povedzme. Takže keď ten agent bude schopný riešiť podobné úlohy, programátorské alebo nejaký personal assistant, čokoľvek ďalší, čo bežne ako ľudia robíme, Tak je to AGI. To je možno ešte dôležité poznamenať, že furt sa bavíme v tej domene tých textov, ale potom ešte obrovská domena, to je robotika. Že vlastne ovláda nejakého robotického tela kontrolera. A to je iný problém.

Možno v tom pomôžu práve Telenk Beach Moduli tiež. Zdá sa, že keď sa učíš aj jazyk a ten robotik kontrolér súčasne, tak sa dosahujú lepšie výsledky. Že je tam nejaký transfer medzi tým. Ale... Je možné, že teraz bol obrovský skok do prdu v tých language modeloch a ešte je ten Image Generation a nebol až taký veľký v robotike, takže ona zaostáva.

Takže čo sa môže stať, že by sa urobilo AGI, čiže by bol nejaký taký auto GPT agent, ktorý by sa učil, Videl by programovať, vedel by rozmýšľať, ale stále to nevie ovládať ten fyzický svet, že to potrebuje ľudí, aby im to vysvetlilo. A prípadne by možno v horšom prípade ani nerozumelo tomu fyzickému svetu tak, jak my, lebo vlastne nikdy ho nezažilo, jak my, a vždycky ho malo sprostredkovať len skrz text. A zdá sa, že z toho textu sa body language modeli schopne učiť strašne veľa veci, ktoré, napríklad spatial reasoning, že oni vedia ako premýšľať nad priestorovými súvislostiami. Neviem, či ale niekto testoval ako do jakej hĺbky a porovnávať to s ľuďmi, že tam nesú nejaké nedokonalosti. Ale možno vám proste chýba pri tom tréningu.

Takže ten ďalší veľký krok potom práve ešte môže byť prepojenie language modelov a robotiky. Ale keby to už zvládla aj robotiku, to znamená nejaký multimodálny language model by vedel ovládať aj robotické telo a zároveň riešiť rovnaké problémy ako ľudia, alebo tak adaptívne ako sme my ľudia, tak si myslím, že to je AGI, že to by sa nazvalo AGI. Tam by potom možno mohli len niektorí ľudia taký hnidopichovať, a by hovorili, že nevím, či poznáte taký termín, že no freelance teórem. A vlastne ten hovorí o tom, že jeden systém, ktorý je general, nemôže mať takú performance na všetkých táskoch, ako nejaký systém, ktorý je optimalizovaný len pre ten konkrétny smer. Ale to je po nám také trochu nepochopenie toho, čo...

Jak je myslné to general, lebo mňa zaujíma systém, ktorý je general, ale ktorý sa vie doadaptovať na tú konkrétnu oblast, keď je treba. A to si myslím, že takéto AGI bude dosť general. Asi nebude stoprecentne general, vždy sa dá nájsť v tom priestore možných inteligencií nejaká časť priestoru, do ktorej sa on nevie adaptovať, lebo začína s nejakými biasmi. Takže tam vlastne není schopné skonvergovať, lebo ho to tam nepustí. Ale bavme sa o praktických problémoch, že nemusíme to úplne preháňať.

Takže Abo aj napríklad ľudia si zoberte, že tá fitness funkcia, ktorá nás optimalizovala posledné 100 000 rokov, bolo to, že spredovať svoje gény. To je ako keby tá fitness funkcia. Ale samozrejme tam bolo hromada ďalších fitness funkcií, ktoré vznikli. Že vedie dobre komunikovať s druhými ľuďmi, lebo to ti proste pomôže. Ale byť silný a odvážny a takéto všetko všetko pomáhalo.

Ale na konci dňa je tam taká tá, že sprejduj svoje geny. No a vďaka takéto fitness funkcií vzniklo niečo, čo ako keby to fitness funkciou vôbec není definované, že vzniklo ľudia s tou našou univerzálnou inteligenciou, spoločnosťou, tam vznikla kultúrna evolúcia, čo ešte urychlil vlastne ten evolučný proces, lebo už ide len výmenu myšlienok a iné ide o to, jak sa nám zlepšujú geny. No a vznikol človek, ktorý dokáže vymyslieť matematiku, počítače, language modeli, vyletieť do vesmíru a tak ďalej. A Takže vlastne my sme podľa mňa ako dosť generál, že síce sme boli optimalizovaní len na to, aby sme sa množili na tejto planéte, ale v skutočnosti sme vymysleli veci, ktoré sú úplne mimo tej fitness funkcie. A ja si myslím, že to je bod, od ktorého potom môžeš divergovať do ľubovolných smerov.

Ak máš niečo, ak je ľudská inteligencia, tak v podstate neexistuje nič, do čoho by si sa nevedel dostať, ak sa rozhodneš, že sa do toho dostaneš.

Jirka Vicherek (01:13:52): No a typ na závěr, kdy tady budeme mít takhle popsanou AGI?

Marek Rosa (01:13:59): Jo jo, tak ja by som to čekal každým rokom, tak nejak by som povedal, že ak to bude za rok, tak ma to neprekvapí, ak to bude za 5 rokov, tak ma prekvapí, že to trvalo príliš dlho. Ale takéto sú asi nejaké timeliny, ktoré ja vidím. A samozrejme, berte zase do uvahy, že som optimista už tak nejak z princípu, že inak by som do toho neinvestoval tie peniaze všetky a tak ďalej, takže sa môže míliť. Ale teraz tam ten potenciál je. A je to jednoducho, teraz je viac tangible, že pred tými siedmymi, osmymi rokmi, ktorým začínalo Good Day High, tak tam ani neexistovali veci, s ktorými by sa dalo zobrať a urobiť AGI.

To tam chýbalo. Asi neboli v takom stave, jak sme dnes s teleportom. Ani keby si chcel urobiť teleport, že urobiš startup na teleporty, tak podľa mňa ani nevieš, jak začať. Čo je ten smer, ako si myslím. Možno vieš, ale

Jirka Vicherek (01:14:54): Ne, ne, takhle jsem si představoval GoodAI v roce 2015, právě kde bych začal.

Hynek Walner (01:15:00): Učebnicí fyziky.

Jirka Vicherek (01:15:01): Teleport do

Marek Rosa (01:15:03): Google. Ale čo se týka AI a CGI, tak tam ta situace je úplně jiná. Prostě ti language modeli a ďalšie AI, plus celá ta infraštruktura kolo toho, že teda jsou na světě možno už aj miliony ľudí, kteří se tomu venují profesně. Hardware je na to hromada všetkých frameworkov a tak ďalej, takže ta situácia je úplne niekde inde, než bola s AI, alebo teda teleportami. Takže teraz stále samozrejme sa nám predikovať, kedy taká vec nastane a napríklad či agenti vôbec, či tam tiež to nie je nejaký dead end, že nejakou okamžstvo zasekňa a ani tým smerom to nepôjde.

Ale takto by som čakal, že rok, dva vidím ako veľký potenciál na niečo jak AGI. Niečo, čo je... Tak toto ešte stále nemusí byť superinteligencia. Takže toho, z čoho sa ľudia boja, že niečo, čo bude miliónkrát inteligentnejší než človek a bude premyšľať tak rýchlo, že tam nie dokážeme sledovať a tak ďalej. To sú to ako keby ďalší krok.

Ale AGI je pre mňa naozaj niečo, čo je, čo dokáže riešiť podobne. Že napríklad, keby som mal auto GPT, ktorému môžem dávať problémy a úlohy podobne ako človeku, A vlastne nezistím nejaký rozdiel, prípadne ešte to auto GPT bude plniť odhodlanejšie tie moje inštrukcie než človek, ktorý môže mať nejaké ego, alebo proste už samozrejme nechce rovit 24 hodín denne a tak ďalej. Tak to by bolo pre mňa AGI. A to aby napríklad ten auto GPT myslel tisíckrát rýchlejšie než človek, takže to čo človek bude trvať deň, on to vyrieši za dve sekundy, tak to už považujem za superinteligenciu. Tak možno ďalšia taká zaujímavá otázka, že čo si predstaviť pod superinteligenciou, že či je to proste len viac inteligencie, akože kvantitatívne, alebo či je tam aj nejaký kvalitatívny, že niečo, keď nemáš inteligentný organizmus versus keď máš inteligentný organizmus, že tam je kvalitatívny skok.

Tak to je možno tiež na zamyslenie. Ale no, já si myslím, že teraz to otázka len pár rokov a ti dopady na společnost budou úplně velmi, velmi zaujímavé.

Jirka Vicherek (01:17:05): Zaujímavé je dobré slovo. Co ty sleduješ, kde čekáš, že se jako něco stane? Je to Boston Dynamics, je to opravdu Microsoft a Google v tuhle chvíli, jsou tam nějaké další velké prvky, typické regulace nebo jiné jakoby Co ty sleduješ, abys věděl, jak blízko to je?

Marek Rosa (01:17:34): Keďže já se v té technologii pohybujem, tak si můžem ten názor urobiť presnějšie. A podľa mňa sú to veci, ktoré sú založené na language moduloch alebo transformeroch a na veľkom množstve dát tiež. Zdá sa, že ta cesta proste funguje. Keď sme si my napríklad mysleli, že to není dobrá cesta, ale zdá sa, že to je ta správna cesta. Potom, jak hovorím, tá long-term memory, to je taký chybojúci článok, ktorý long-term memory kontinálne učenia, ale nám to funguje v tej hre, takže to zase by neval byť až tak veľký problém, ale uvidíme, lebo to treba poriadne otestovať, že na nejakých veľkých jako množství příkladov, nelem tak, že člověk se to skúša v té hře.

A vlastně on se dosť blbo testuje, to kontinuálné učení, lebo na to vlastně nejsou benchmarky, jako nikdo to nikdy nerobí, to je taká sranda. A takže, no a regulácie, to může byť ďalšia věc, která do toho může hodit vidle. A snad ne, zrovna to bolo včera, ale predvčerom, bo schválený ten AI Act, neviem, či ste to už sledovali, ako v Bruseli, schválený ten AI Act, respektíve nejaký draft, teraz to pôjde do nejakého ďalšieho kola a ďalšieho, ja sa úplne nevyznám v tých procesoch. Mám v pláne ešte si ho nejak poriadne prečítať, že či tam nie je nejaké prekvapko pre nás všetkých, ale viem, že tieto generatívne modely ako ChatGPT boli zaradené do tej najrizikovejšej kategórie, takže sa na ní vzťahujte podmienky. A ak to dobre chápem teraz, ale nechcem hovoriť nejakú nepravdu takto poslucháčom, tak to znamená ani ne to, že ten systém je zakazaný, ale že musia urobiť nejaký self-assessment tí výrobcovia toho systému a fakt ho otestovať a dokázať, že to otestovali etické, bezpečné a tak ďalej.

No a na jednej strane, ja s tým súhlasím, je to v poriadku, lebo napríklad aj ja by som tiež nechcel, aby tí naši agenti spôsobili nejaký problém. Jednak z takého hľadiska, že nechcem spôsobať problémy, ale aj z hľadiska, že tam môže byť nejaká škoda, napríklad obrovská, hej, alebo potom aj kvôli tej škode môže vznikný nejaký veľký backlash na tu AI-komunitu a nechcem napríklad, aby sme dopadli jak nukleárna energetika v tých nejakých 70-80 rokoch, hej, keď to proste tak nejak zastavili všetko. a namiesto to začal používať uhlie a ďalšie veci. A tak to by som nechcel, aby nejak takto dopadlo. Ale to riziko tam podľa stále je.

Sú ľudia, ktorí strašia tým, jak nás Ajčko zabije a podobne. Takže ako čiastočne v tom všetkom... Je nejaké opodstatné, že treba byť opatrný, lebo napríklad urobí nejaký auto GPT vírus, ktorý sa automaticky nachádza chyby v systémoch, učí sa ich nachádzať a replikuje sa. Dnes to je nemožné, lebo tie systémy nemajú kapabilitu, že nesú schopné zaseknú v cykloch a tak ďalej. Ale možno za ten rok, alebo za pol roka to možno bude možné.

A takýto systém by naozaj potom mohol byť nebezpečný. Neaž tak, že to ovládne ľudstvo a všetkých nás to vyhraždí, lebo stále to bude bežať len na nejakom počítači, nejakou rýchlosťou. A keby sa je začal kopírovať a tak ďalej, stále závislí na tom apičku k open AI. A to tiež má nejakú obmedzenú kapacitu a nefunguje častokrát a tak ďalej. Takže...

Takže úplne by to EGIA nemalo vyhrané, keby takto veci rozhodlo urobiť, ak by vôbec chcelo. A na to, aby dokonvergovalo do toho presvedčenia, že chce vyhľadiť ľudstvo, tak tam je toľko medzikrokov, kde sa môže ten systém rozhodnúť s úplne iným smerom, že to, že nás vyhľadím, ja považím ako jedná k tisíce, milióne, nejaké malé číslo pravdepodobnosť, A dá sa to pod náme riešiť inkrementálne tým, že sa urobia systémy, ktoré sú viac a viac schopné, sa otestujú, naučí sa na nich pracovať, pochopíme ich silné slabé stránky a potom sa ide na silnejší systém a takto sa pokračuje ďalej. Ale takže k tej regulácii na jednej strane s tím súhlasím a my sme to vlastne ako Gude aj dlhý čas podporovali a sme pracovali na tých projektoch a tak. Ale ten cieľ bol aj ten jeden, že ja som chcel, aby sa do toho vniesol nejaký common sense a aby sa to neoverregulovalo. Že toho som sa bál, že na to naskočí nejaký ako regulačný šialanec a myslím, že v Európe ako tá tendencia je ako regulovať úplne všetko.

A to som nechcel, pretože konečne tu máme niečo, čo môže škálovať v podstate rýchlosťou svetla pomaly a nakoniec to nejakými reguláciami ubrzdiť. Ale ako reálne si myslím, že čo sa nastane to, že budú ako keby dva svety. Že bude svet, kde sa bude používať ajíčko a tam to bude všetko regulované. Štátne inštitúcie, medicína atď. A potom bude druhý svet, ktorý nebude regulovaný.

... Napríklad aj tie počítačové hry si myslím, že už len preto, že tam nehrozí nejaké riziko, takže vlastne tam sa dá inovovať bez regulácií. A ten podľa mňa bude akcelerovať takým tempom, že ten prvý svet, ktorý by je regulovaný, to proste ani nebude chápať, čo sa deje. Takže to si myslím, že sa stane.

Hynek Walner (01:22:38): Tak to je zaujímavá budoucnosť, jak si to popsal.

Jirka Vicherek (01:22:42): Já bych chtěl, ať mluvíš dál. Trochu to není rozhovor, protože se tě na moc věcí neptáme, protože je říkáš sám a jsou fascinující. Jelikož nám už ale dochází čas, tak zaprvé budeme velmi moc rádi, když co nejdřív přijdeš znova a můžeme udělat pokračování, update, ať už vývoje vaší hry nebo stavu

Jirka Vicherek (01:23:14): A myslím, že se otevřelo hrozně moc témat, do kterých bych chtěl jít hloub, ale nejde to. Co tebe teď v následujících měsících Čecha v té hře, chcete to letos dávat do Alfy, co jsou pro tebe nějaké mylníky, co teď jsou pro tebe důležitý?

Marek Rosa (01:23:33): Ta hra, to je ten najdůležitější věc momentálně, jinak z design hladiska, takového toho herného? které s Ajíčkom vlastně ani moc nesouvisí, a jednak z toho Ajíčkového, aby nám to Ajíčko tam dobře fungovalo, aby jsme to vydali, aby okolo toho bolo nejaké dobré PR a tak, takže to je pre mňa hlavná priorita na tento rok. A druhá hlavná je ten, jsou tí autonómní agenti, aby sa nám začali učiť, aby ich mohli ľudia používať v nejakých aspoň jednoduchých scénároch, aby... My lubíme, už nepoviem moc do hlubky, ale v podstate chceme, aby ten agent zlepšoval sa na seba. Čiže jedna z rovných najnebezpečnejších vecí, ktorú strašia takí tí AI-firmongery, ale je to zároveň zaujímavé, pretože ty môžeš zautomatizovať, že proste postavíš ajíčko ajíčkom, alebo použíš ajíčko na vybudovanie napšieho ajíčka, čo mi príde ako super, že tým znásobíš svoje sily exponenciálne.

tak ono to funguje v nejakých jednoduchých prototypoch a teraz ide o toto naškalovať, aby to fungovalo aj v tých väčších a to je druhá vec, ktorá je strašne dôležitá, lebo

Marek Rosa (01:24:42): A myslím, že na tom robí ako aj ďalší ľudia, že nemôžeme byť jediní, ktorých to napadlo. Ale chcel by som, aby my sme vydali nejakú super vec prvý v tomto smere. Takže to je ďalšia oblast, ktoré sa venujem. A samozrejme okrem to sa ešte venuje Space Engineers a ešte máme taký projekt s dronami, ale to sú také, by som byla, že normálne veci. A tá hra a tie agenti, to je vyslovene taká tá hladná priorita.

Jirka Vicherek (01:25:11): Super, moc držíme palce a děkujem za návštěvu.

Hynek Walner (01:25:17): Moc chrát díky Marku.

Jirka Vicherek (01:25:19): Ahoj.

Jirka Vicherek (01:25:23): A to je všechno. Díky, že jste doposlouchali další díl DataTalku. Díky taky našim partnerům BigHubu Deepnoteu Mantě Notinu Ataccamě GymBeamu Seznam.cz a Mews Pokud vás zajímá víc informací ze světa datových technologií a z československé datové scény, navštivte naše stránky datatalk.cz Necht vás provází data.