Newsletter

#149 AI model vypálený do křemíku?

Ahoj,

máme tu naprosto revoluční AI čipy, konflikt Pentagonu a Anthropicu se ještě víc vyhrotil, ani IBM nemůže tvůrcům Claude přijít na jméno a ValkaAI dostali rekordní pre-seed investici.

Je tady další Data Talk newsletter.

Ten nyní odebírá 1940lidí, které zajímají datové technologie, AI a česko-slovenská datová scéna.

 Máte memes nebo vtipné obrázky, o které se chcete podělit? Pošlete nám je na michal@fenekpr.cz.

📅 Kalendář datových akcí

Tento týden:

Pak:

Víte o datové akci, která tady chybí, nebo ji dokonce pořádáte?

Pošlete nám ji na michal@fenekpr.cz.

📰 Novinky, linky a drby

Kanadský startup přišel s naprosto revolučními AI čipy 

Rychlost dnešní AI infrastruktury neurčuje jen samotný výpočetní výkon čipu, ale především propustnost paměti. Procesory v grafických kartách tráví většinu času tím, že čekají na přesun obrovského množství dat mezi čipem a externí pamětí, na které je uložený samotný model. Torontský startup Taalas ale přišel s řešením, jak se tohohle bottlenecku zbavit.

AI modely se rozhodli integrovat na hardwarové úrovni přímo do svých extrémně specializovaných AI čipů. Díky tomu, že jsou váhy modelu uloženy přímo v křemíku, odpadá nutnost přesouvat data mezi externí pamětí a výpočetní jednotkou, což šetří spoustu času a energie.

Právě tyto přesuny dat generují během provozu standardní AI infrastruktury nejvíce tepla – čipy od Taalas díky tomu nepotřebují složité vodní chlazení, vystačí si s obyčejným chlazením vzduchem.

Jejich první čip HC1 s integrovaným modelem Llama 3.1 8B dokáže vygenerovat závratných 17000 tokenů za sekundu. Pro srovnání: Nejbližší konkurencí jsou čipy od Cerebras specializované čistě na inferenci, které dokážou vygenerovat 2000 tokenů zasekundu, univerzální NVIDIA H200, které umí modely i trénovat, se pohybují jen okolo 230 tokenů za sekundu. Zároveň při stejném úkolu spotřebuje čip od Taalas přibližně 10x méně energie.

Díky tomu, že jsou čipy od Taalas přesně nadesignované pro potřeby daného modelu a nepotřebují drahou HBM paměť, sběrnice s vysokou propustností a komplikované chlazení, je jejich výrobní cena přibližně 20x nižší než u NVIDIA H200.

Navrhnout čip pro konkrétní model trvá tomuto malému startupu o 24 lidech okolo dvou měsíců, což může být lehce limitující – na univerzálním AI čipu model spustíte hned. A samozřejmě – cenou za tohle všechno je naprostá ztráta flexibility. Jakmile je čip jednou vyroben, model v něm za novější verzi nevyměníte.

Rychlost jejich prvního čipu si můžete sami vyzkoušet prostřednictvím jejich webové aplikace. Jen pamatujte na to, že se jedná o demo, které používá ne zrovna oslnivý model Llama 3.1 8B.

Drama mezi Pentagonem a Anthropicem graduje

Pentagon dal Anthropicu ultimátum– buď do konce týdne dovolí americkému ministerstvu obrany využívat Claude bez jakýchkoliv omezení, nebo s ním rozváže spolupráci, případně jej donutí na základě zákona oobranné výrobě spolupracovat proti jeho vůli.

Anthropic na své pozici trvá, zároveň poprvé naprosto otevřeně uvedl, co konkrétně je mu proti srsti: plošné sledování vlastních občanů a plně autonomní zbraňové systémy – přesně, jak jsme minulý týden odhadovali.

Zároveň dodává, že s využitím Claude kezpravodajské činnosti obecně problém nemá, odmítá čistě plošné sledování amerických občanů. Stejně tak nemá problém s částečně autonomními zbraňovými systémy, které operují pod lidským dozorem, a počítá s tím, že až bude jeho umělá inteligence dostatečně vyspělá, nebude plně autonomnímu nasazení – tedy žádné radikální pozice, spíš takové nutné minimum ktomu, aby se na sebe člověk dokázal podívat do zrcadla.

V xAI si s takovými zbytečnostmi, jako je bazální morálka, ovšem hlavu nelámou – tento týden s americkým ministerstvem obrany ochotně uzavřeli smlouvu, která Pentagonu umožňuje využívat Grok k těmto účelům bez jakýchkoliv omezení.

Jen doufejme, že se v Grokovi ovládajícím zbraňové systémy neprobudí MechaHitler.

Claude kazí IBM byznys

Anthropic oznámil, že naučil Claude Code pracovat s prastarým programovacím jazykem COBOL vytvořeným v roce 1959, na kterém běží mimo jiné 95 % bankomatových transakcí v USA a spousta legacy systémů ve finančnictví, aerolinkách a státních úřadech – většinou na mainframech od IBM. 

Claude navíc dokáže zmapovat závislosti v kódu, zdokumentovat workflows a identifikovat rizika migrace – tedy to, co při modernizaci systémů napsaných vCOBOLu trvá nejdéle (a stojí nejvíc peněz). Kód v COBOLu totiž není zrovna dvakrát přehledný, dokumentace obvykle neexistuje a původních autorů se zeptat nemůžete – jsou totiž obvykle už dávno v důchodu nebo v Pánu.

Akcie IBM ten den spadly o 13 % – nejvíc za posledních 25 let. Tenhle technologický gigant totiž vydělává pořádné peníze jednak na prodeji svých mainframů a ekosystému pro provoz systémů v COBOLu a jednak na konzultační činnosti spočívající v jejich mapování, dokumentování a modernizování.

Claude ohrožuje obě větve tohohle byznysu. Nejen že dokáže zastat práci konzultantů, ale zároveň usnadňuje opuštění celého ekosystému – dobře zmapované a zdokumentované systémy je totiž mnohem jednodušší přemigrovat na modernější technologie a pryč z mainframů IBM.

💰 Investice, akvizice a business:

📄 Články, papery a newslettery:

☕ Data gossip:

🎙️ Podcasty, videa, přednášky:

📚 Random trivia

Věděli jste, žese na pozici firmy s největším ročním obratem v USA od roku 1955 střídaly jen tři firmy?

Od roku 1955 do roku 1974 žebříčku Fortune 500 kralovala automobilka General Motors. Největší obrat z amerických firem měla pravděpodobně už mnoho let předtím, každoroční žebříček ale začal sestavovat časopis Fortune až v roce 1955 a data zpředchozích let nejsou úplně snadno dostupná.

V letech 1973 a 1979 nastaly v důsledku divoké geopolitické situace na Blízkém východě dva ropné šoky, které vystřelily spolu s cenou za barel i těžařskou společnost ExxonMobil, která v obou případech na pár let sesadila General Motors ztrůnu. Automobilka se od roku 1986 opět vrátila na vrchol žebříčku a ani výkyv ceny ropy během Války v Zálivu neohrozil její dominanci. Ta skončila až v roce 2001, kdy se v důsledku úpadku amerického automobilového průmyslu a další ropné krize vrátil do vedení ExxonMobil.

To ale nemělo dlouhého trvání – jen rok nato díky masivnímu škálování vyhoupl první příčku Walmart, kde se s přestávkami v letech 2006, 2009 a 2012 držel až do minulého roku. Levné hypermarkety holt lidé milují a Walmart jich má po celé Americe v dnešní době více než 4600.

Jenže víte, co lidé milují ještě víc? Nechat si zboží doručit až domů, a ideálně ještě ten samý den! A taky... cloud computing?

Pouze obrat z e-commerce by sice Amazonu nestačil, v kombinaci s příjmy z AWS ale vuplynulém účetním roce Walmart poprvé těsně – o 3,7 miliard dolarů – překonal. 

⚒️ DATA JOBS

Hledá vaše firma někoho na pozici spojenou s daty?

Pošlete nám odkaz nainzerát na michal@fenekpr.cz a my ho rádi zveřejníme.

Chcete si přečíst naše starší newslettery? 

Někdo vám newsletter přeposlal a vy jej chcete taky dostávat?

Data Talk není pay to play! Pokud chcete sdílet svoje know-how či obsah od vaší firmy, napište nám!

A pokud vás naše práce baví a poskytuje vám hodnotu,

můžete nám poslat finanční podporuna kafe!