#57 Mixture-of-Depths: za málo FLOPů hodně muziky
Ahoj,
v Googlu vymysleli, jak provozovat tranformery levněji, ChatGPT nově umí JSON, vyšlo pár nových modelů a taky se dozvíte, proč je ChatGPT jako geniální, ale zkouřený programátor. Je tady Data Talk newsletter.
Data Talk newsletter nyní odebírá 1050lidí, které zajímají datové technologie, AI a česko-slovenská datová scéna.(Nechcete jej dostávat? Omlouváme se! Nechceme spamovat, chceme dělat boží obsah, TADY se můžete odhlásit! )
Machine Learning Prague je už za rohem
Už za necelé dva týdny, od 22. do 24. dubna, proběhne konference Machine Learning Prague.
Těšit se můžete na 40 světových osobností ML/AI/DL světa, mezi než patří například Murray Campbell (výzkumník z IBM, tvůrce Deep Blue), Amey Dharwadker (ML engineering manager Meta), Hamed Valizadegan (ML lead NASA) nebo Alexander Del Toro Barba (ML & quantum computing lead Google).
A co je hlavní - slevový kupón na 15% slevu datatalk15 pořád platí!
📅 Kalendář datových akcí
Příští týden:
- (čtvrtek 18. dubna v Pardubicích)
- Czech Tech Executive Plzeň (čtvrtek 18. dubna v Plzni)
Pak:
- Machine Learning Prague 2024 (pondělí až středa 22.-24. dubna)
- Machine Learning Meetup Košice: DAM - Data in Maritime Domain (středa 24. dubna v Košicích)
- mDevCamp 2024 + AppParade (úterý 23. dubna)
- Data Punkers 11: Jak Češi mění datový svět (čtvrtek 25. dubna)
- Prague Gen AI Meetup #4 (čtvrtek 25. dubna)
- AI transformace financí (středa 29. dubna)
- AI & ML Unconference 2024 (úterý 14. května v Brně)
- Czech Republic Snowflake Data Cloud Group Meetup #2 (čtvrtek 16. května)
- AI for body & soul (čtvrtek 23. května)
- WebExpo (středa až pátek 29.-31. května 2024)
- DATA mesh #19 by MEWS (čtvrtek 6. června)
Díky Ivetě Kuncové za zaslání!
Memes nebo vtipné obrázky posílejte na michal@fenekpr.cz
📰 Novinky, linky a drby
Novinky:
- ChatGPT umí nově formátovat odpovědi v JSON a volat funkce
- Cohere představili Command R+, nový LLM optimalizovaný pomocí RAG, které podporuje 10 různých jazyků, má kontextové okno 128K tokenů a je dostupný přes Azure za $3.00/$15.00 za milion tokenů inputu/outputu
- Elon Musk oznámil, že 8. srpna odhalí Tesla Robotaxi
- Mistral AI vydali nový open-source model Mixtral 8×22B s kontextovým oknem 65K tokenů, 176B parametrů a architekturou sparse mixture of experts
- Na Aljašce začnou používat roboty Boston Dynamics k plašení zvěře pryč z letištních runwayí
- Meta vydala novou generaci čipů Meta Training and Inference Accelerator
- OpenAI přidali další funkce do jejich fine-tuningového nástroje
- Google plánuje vydat placené AI vyhledávání
- DEPO Ventures vydali průzkum startupových investorů v Česku
- Chystá se novela zákona o zaměstnaneckých akciích (ESOP), reaguje na kritiku startupové scény
Články a papery:
- Mixture-of-Depths: Dynamically allocating compute in transformer-based language models
- Google DeepMind představili architekturu Mixture-of-Depths, která obohacuje klasické transformery o dynamickou alokaci výpočetních kapacit. Oproti tradičním trasformerům, které rozdělují výpočetní zdroje mezi vstupy rovnoměrně, Mixture-of-Depths přiděluje více zdrojů důležitějším částem textu, zatím co méně důležité části můžou být zpracováný do menší hloubky. Díky to lze ušetřit značný výpočetní výkon a zvýšit rychlost modelu až o 50 % při zachování stejné kvality výstupů.
- Working with a Stoned Developer: My Coding Adventure with ChatGPT
- Cedric Maloux (CEO StartupYard Accelerator) využil ChatGPT k vytvoření rozšíření do Chromu na management záložek, na které vydalo přes 30 000 řádků kódu. Napsal k tomu několik postřehů, které se vám můžou hodit, pokud ChatGPT také využíváte jako pomocnou sílu při programování.
Data gossip:
- BigHub se stali Microsoft Managed Partnerem
- e2b.dev sdílí svoji databázi obsahující okolo 200 AI agentů
- CzechInvest zve startupy na konferenci na Taiwan, poslední šance se přihlásit a odprezentovat, co vaše firma může nabídnout
- Evropská startupová databáze Seedtable jmenovala elv.ai třetím nejnadějnějším startupem na Slovensku
- Tomáš Čupr (Rohlík.cz) říká, že díky AI se jim zkazí potraviny pouze v hodnotě 0,5 % obratu, což je značně méně než u konkurence
- P. Vašek nám koupil kafe. Už po několikáté! Děkujeme!
Podcasty, videa, přednášky:
- Data Talk #82 s Vojtou Kopalem (Mews) o růstu, jednorožcích, embeddingu datových rolí do produktových týmů, maticové organzaci, ale taky nevyhnutelně o LLMs a o tom, jak Gen AI změní svět engineeringu
- Oblakadabra #2: Datová analýza webové a obsahové analytiky s BigQuery
- Radiožurnál: Když se AI učí, spotřebuje tolik energie jako město. Vědci už teď přemýšlejí, co s tím
- Beyond AI #3: The Reality of Deepfake and Disinformation
- Jedničky a Nuly: Nevěřte všemu, co vidiíte - aneb co to znamená vizualizace dat?
- SCRIPTease 080: Eldar Iosip (Head of SW Engineering Passengera)
- intecs insider #15: A. Profantová - Jak intecs pracuje se seniorními konzultanty
❓Random trivia
Věděli jste, že lidskému vědomí trvá okolo 80 milisekund, než přenese a zpracuje obrazový vjem? Aby se toto zpoždění, mozek predikuje, kde budou se budou pohybující se objekty nacházet a promítá to do obrazu, který vnímáte. Pokud však obraz problikává, mozek předvídat jeho pohyb neumí. Pokud se v jedné linii pohybují dva objekty, jednen plynule se pohybující a druhý problikávající, vede to k optickému jevu, kdy zdá se, že problikávající objekt zaostává za tím plynule se pohybujícím. V tomhle nástroji si můžete tento jev vizualizovat a nastavit parametry pohybu objektů.
DATA JOBS
(taháme ze stránek partnerů, Startupjobs, od Elišky z Kebooly, z newsletteru prg.aiaj.)
- Sazka
- Revolt.BI
- Colours of Data
- Keboola
- intecs
- Emark
- GoodData
- Recombee
- Apify
AI Product Marketing Manager
- Dodo
- Lundegaard
- Sharry
Starší, ale pořád aktuální, najdete na našem webu.
(Hledá vaše firma někoho na pozici spojenou s daty? Pošlete nám odkaz na inzerát na michal@fenekpr.cz a my ho rádi zveřejníme)
Ještě náš newsletter ještě neodebíráte?
Data Talk není pay to play!
Pokud chcete sdílet svoje know-how, obsah od vás z firmy, napište nám!
A pokud vás naše práce opravdu baví, a náš obsah vám dává opravdovou hodnotu, pošlete nám opravdové peníze, na kafe!