Newsletter

#110 Věříte srovnání modelů od Chatbot Arena?

Ahoj,

na Chatbot Arenu (LMArena) se sype kritika, Google představil špičkový model, OpenAI ruší plány na přechodu na for-profit strukturu, Deepnote chystá hackathon a taky pro vás máme s daty a AI absolutně nesouvisející triviu, která fakt stojí za to.

Je tady další Data Talk Newsletter!

Newsletter nyní odebírá 1689lidí, které zajímají datové technologie, AI a česko-slovenská datová scéna.

Deepnote pořádá příští týden AI & data hackathon!

Deepnote patří mezi nejnašlapanější české startupy, vyvíjí nejlepší data notebooky na světě a nyní pořádají v Praze svůj první public hackathon! Příští pátek a sobotu můžete strávit v jejich cool kancelářích na Můstku a za 24 hodin vytvořit projekt spadající do jedno ze těchto témat:

  1. Deep dive analytics: Create advanced analytics dashboards for business forecasting
  2. Neuro forge: Fine-tune LLMs for specialized industry applications
  3. Pipeline pro: Integrate Deepnote into your data workflow
  4. Vertical vision: Develop solutions for fintech, gaming, or biotech industries

Začátek v pátek večer, konec v sobotu v noci, neděle na dospání. První tři místa si odnesou cash (2k/1,5k/1k USD), všichni si odnesou kredity, hlavní lákadlo je však samotná akce, možnost potkat se super chytrými lidmi jako Jakub Jurových nebo Petr Burian, a nebo s lidmi jako je Jirka Vicherek.
Registrace zde.

Máte memes nebo vtipné obrázky, o které se chcete podělit? Pošlete nám je na michal@fenekpr.cz

📅 Kalendář datových akcí

Příští týden:

Později:

📰 Novinky, linky a drby

Nová studie kritizuje praktiky Chatbot Areny (LMArena)

Podle studie, kterou vydali Cohere Labs ve spolupráci s několika věhlasnými americkými univerzitami, nehraje LMArena (známá taky jako Chatbot Arena nebo LMSYS) úplně čistou hru.

Studie jim vytýká, že zvýhodňují AI giganty jako je OpenAI, Meta nebo Google tím, že je nechávají testovat v aréně různé varianty modelů (v případě Llama-4 dokonce 27), aby vybrali tu, která se lidem líbí nejvíc. LMArena se tomuto nařčením brání s tím, že možnost testovat různé verze modelů nabízí všem tvůrcům.

Dále studie poukazuje na to, že se modely velkých společností dostávají do duelů častěji - v 19,2 % případů je model od Google, v 20,4 % odOpenAI. Pravděpodobně to je ale způsobeno tím, že algoritmus prostě častěji vybírá modely na špičce žebříčku, aby bylo jejich srovnání přesnější - konec konců většinu lidí zajímá, jak si proti sobě stojí ty nejlepší modely, ne který model obsadí čestnou 157.pozici.

Studie také kritizuje netransparentní odstraňování starých modelů. Zmizet jich mělo celkem 205, z toho je pouze 47 uvedených na seznamu stažených modelů. Zároveň většina z nich byly open-source modely malých tvůrců. To má však jednoduché vysvětlení - LMArena maže primárně nezajímavé, nekonkurenceschopné modely. Větší transparentnost ohledně toho, které modely smazali, by ale samozřejmě byla na místě.

Pro LMArenu je to především reputační problém, který může odradit část uživatelů, na jejichž hodnoceních duely stojí. Doufejme, že jejich odliv nebude nijak výrazný - ipřes tyhle drobné nedostatky je to pořád nejlepší benchmark praktické využitelnosti jednotlivých modelů běžným uživatelem, který máme.

Další novinky:

Data gossip:

Podcasty, videa, přednášky:

Random trivia

Věděli jste, že v roce 1965 se stal králem majálesu americký básník Allen Ginsberg?

Jak se ale tenhle přední představitel Beat Generation vůbec ocitl v Praze? V lednu roku 1965 navštívil na pozvánku tamějšího ministra kultury Kubu, aby se zúčastnil spisovatelské konference. Během několika málo dní po příletu však poznal místní poměry a vůbec se mu nezamlouvaly.

Jak už měl ve své povaze, začal místní režim otevřeně  kritizovat, zejména kvůli jeho pronásledování homosexuálů, boji proti marihuaně a potlačování svobody slova. Netrvalo dlouho a na dveře jeho hotelového pokoje zaklepali vojáci. Bylo rozhodnuto o jeho vyhoštění, ale protože kvůli studené válce nemohl být odeslán přímo do Spojených států, obdržel 18. února jednosměrnou letenku do Československa.

Tam se rozhodl nějaký čas pobýt. Josef Škvorecký, se kterým si v minulosti dopisoval, zařídil, že se stal oficiálním hostem Svazu spisovatelů. Ten mu navíc vyplatil pracovní stipendium převyšující průměrnou měsíční mzdu a když se k tomu přidaly honoráře za jeho knihy, které byly v Československu vydány, Ginsberg si mohl vPraze žít opravdu nad poměry.

Ubytoval se v luxusním hotelu Ambassador naVáclavském náměstí, pravidelně trávil čas s podobně laděnými intelektuály v kavárně Viola a díky Svazu spisovatelů se také zúčastnil řady besed, recitací a přednášek. Stihl si i zaletět na pár týdnů na návštěvu za svými kolegy spisovateli do Moskvy a Varšavy. Odtud se vrátil 29. dubna zpátky do Prahy a začal plánovat návrat do své domoviny.

Ještě se však ve svém hotelovém pokoji ani pořádně neohřál a na jeho dveře zaklepala delegace studentů ze strojní fakulty, jestli by se nechtěl stát jejich kandidátem na krále majálesu. Původně měli domluvenou Jiřinu Bohdalovou, která ale svoji účast na poslední chvíli zrušila kvůli natáčení. Narychlo tak sháněli náhradu. Oslovili řadu osobností, kromě jiných například Jana Wericha nebo právě Josefa Škvoreckého, který jim poradil, ať zkusí Allena Ginsberga. AGinsberg souhlasil. Jenže to už ho přímo na pokyn prezidenta Novotného sledovala StB.

Majáles v roce 1965 byl prvním povoleným po devíti letech. Začal studentským průvodem přes město plným dvojsmyslných transparentů a alegorických vozů, který mířil do Parku kultury a oddechu Julia Fučíka (dnešní Holešovické výstaviště). Kritické narážky a provolávaná hesla sice režim dráždila, silové složky se ale proti stopadesátitisícovému davu zasáhnout neodvážily a situaci pouze monitorovaly.

Na místě měl každý z kandidátů pronést projev. Protože Ginsberg ale neuměl ani slovo česky, vyřešil to několikaminutovým zpěvem buddhistické mantry a cinkáním na malé tibetské činely. O králi majálesu mělo rozhodnout to, kdo bude mít nejhlasitější odezvu davu. Tu měli studenti měřit přístrojem zvaným kraválmetr. Celé to ale bylo zfixlované. Přístroj nic neměřil, ovládali ho dva studenti pomocí páky podle přání pořadatelů. Ginsbergovi „naměřili“ nejvíc a tak se stal králem majálesu.

Režim ale nemohl překousnout, že se králem oficiální studentské slavnosti stal zarostlý Američan. StB dostala povel Ginsberga z Parku kultury a oddechu odvézt, ten jim ale zmizel na dvoudenní večírek do Hlávkových kolejí, kde svoji korunovaci oslavoval. Paradoxem je, že na oslavu jej odvezli dva agenti StB, kteří na něj byli nasazení, ale rozkaz k jeho okamžitému zadržení k nim nestihl doputovat. Tím to ale zdaleka nekončilo.

3. května byl zatčen hlídkou Veřejné bezpečnosti, když kráčel opilý po Národní třídě, prozpěvoval si a cinkal na svoje činely. Jen co jej naložili do auta, přiskočil k němu „náhodný kolemjdoucí“ - pracovník Ministerstva vnitra, který hlídce řekl, že mají Ginsberga odvézt na záchytku a nechat ho tam do rána. Jenže když ho tam dovezli, ukázalo se, že král Majáles, jak se na místě představil, není pro hospitalizaci dost opilý, a museli jej zase propustit.

Tou dobou už StB několik dní odposlouchávala telefon v jeho hotelovém pokoji a snažila se získat záznam z majálesu, který si studenti pořídili. V následujících dnech byli k výslechu předvedeni všichni, kdo přišli s Ginsbergem do styku. StB se také podařilo ukrást Ginsbergův deník, kam si podrobně zaznamenával všechny svoje zážitky a myšlenky už od cesty na Kubu.

5. května byl na ulici Ginsberg napaden agentem provokatérem, který naopak projíždějící hlídce Veřejné bezpečnosti tvrdil, že Ginsberg napadl jeho. Ta ho odvezla na stanici k výslechu. Sice byl propuštěn, ale hned druhý byl znovu předveden stanici, tentokrát ohledně obsahu jeho zápisníku. A následujícího dne znovu. To už mu bylo sděleno rozhodnutí o jeho vyhoštění. Ještě toho dne odletěl ze země pryč.

Nakonec z toho vyšel ještě docela dobře. Většina lidí v tomhle marasmu musela strávit dalších 24 let. 

⚒️ DATA JOBS

Jestli vaše firma hledá někoho na pozici spojenou s daty, pošlete nám odkaz na inzerát na michal@fenekpr.cz a my ho rádi zveřejníme.

Data jobs taky taháme ze stránek partnerů, Startupjobs, Cocumy, z newsletteru prg.aia vlastě odkudkoliv se dá.

Chcete si přečíst naše starší newslettery? 

Někdo vám newsletter přeposlal a vy jej chcete taky dostávat?

Data Talk není pay to play! Pokud chcete sdílet svoje know-how či obsah od vaší firmy, napište nám!

A pokud vás naše práce baví a poskytuje vám hodnotu,

můžete nám poslat finanční podporuna kafe!