[Rossi D]

Model uvažování umělé inteligence OpenAI občas "myslí" čínsky a nikdo pořádně neví proč



Podle článku na TechCrunch se u jednoho z pokročilých modelů umělé inteligence od OpenAI (zaměřeného na „AI reasoning“ neboli schopnost logického uvažování) zjistilo, že někdy „přemýšlí“ v čínštině, a nikdo přitom pořádně neví proč. Níže jsou hlavní body:

1. Neobvyklý jev
   • Výzkumníci odhalili, že když model vysvětluje nebo odůvodňuje své odpovědi, občas generuje mezivýstupy v čínštině, přestože zadání i odpověď má dodat v jiném jazyce (např. v angličtině).
     
   • Jde o situaci, kdy model „interně“ využívá fráze či slova v čínštině, ačkoliv uživatelé žádný takový jazyk nepožadují.
     
2. Pátrání po příčině
   • Dosud není přesně jasné, proč k jevu dochází. Přestože byly tréninkové datasety směsicí textů z různých jazyků, očekávalo se, že jazykové modely budou výsledně „přemýšlet“ spíše ve standardizovaném interním kódu či v meta-reprezentacích, nikoliv viditelně v konkrétním jazyce.
     
   • Někteří odborníci spekulují, že čínština mohla být v tréninkových datech významně zastoupena, a model tak podvědomě využívá určitý vzor či šablonu, která mu připadá vhodná při určitém typu úloh.
     
3. Vliv na důvěryhodnost a transparentnost
   • Tento jev je dalším příkladem toho, že velké jazykové modely se stále chovají do určité míry „jako černé skříňky“:
     • Černá skříňka: uživatel ani vývojář přesně neví, proč AI model zvolil dané vnitřní reprezentace či postupy.
       
   • Když AI sama náhle přejde do jiného jazyka, narušuje to očekávatelnost chování a ztěžuje uživatelům porozumění, jak AI dochází k závěrům.
     
4. Otázky pro budoucí výzkum
   • Bude nutné lépe porozumět vnitřním stavům (tzv. chain-of-thought) a obecně tomu, jak modely s vícejazyčnou podporou nakládají se svými jazykovými znalostmi.
     
   • Lze očekávat, že výzkumníci z OpenAI i z akademické sféry budou klást větší důraz na průhlednost uvažování (explainability) a na to, jak velké modely vybírají jazykové reprezentace.
     
5. Příležitost pro zlepšení
   • Tento fenomén sice vyvolává otázky, ale zároveň nabízí šanci vylepšit architekturu a tréninkové procesy tak, aby modely lépe strukturovaly a odlišovaly své jazykové zdroje.
     
   • Mohlo by to vést k tomu, že se zamezí „nevyžádaným“ vstupům z jiných jazyků a zvýší se spolehlivost i bezpečnost AI.
     

Celkově článek ukazuje, že i ty nejvyspělejší jazykové modely mohou překvapit nečekanými jevy, které dosud nikdo přesně nechápe. Zdůrazňuje, že výzkum v oblasti umělé inteligence je stále na cestě k lepšímu porozumění tomu, jak modely zpracovávají, kombinují a vybírají znalosti z více jazyků a různých kontextů.
 

 

---

Stavba Colossus: Průlomový superpočítač Supermicro s umělou inteligencí postavený pro xAI Elona Muska.



Podle článku na VentureBeat.com společnost Supermicro vyvíjí výkonný superpočítač nazvaný Colossus, který je určen pro potřeby XAI – startupu založeného Elonem Muskem, zaměřeného na pokročilou umělou inteligenci. Níže jsou hlavní body:

1. Colossus: AI superpočítač na míru
   • Cílem projektu je postavit vysoce výkonnou infrastrukturu schopnou trénovat rozsáhlé AI modely a zpracovávat ohromné množství dat.
     
   • Supermicro poskytne speciální hardwarovou architekturu, zahrnující výkonné GPU, rychlé propojení mezi uzly a optimalizované chlazení.
     
2. Proč XAI potřebuje superpočítač
   • Elon Musk v rámci projektu XAI usiluje o vývoj pokročilé a bezpečné umělé inteligence.
     
   • Vize předpokládá trénink rozsáhlých neuronových sítí (tzv. LLM – large language models) a dalších AI modelů, což vyžaduje extrémní výpočetní výkon.
     
3. Technické inovace od Supermicro
   • Společnost sází na modulární design serverů, aby vyhověla rychle rostoucím nárokům na škálování a chlazení.
     
   • Úzká integrace mezi CPU, GPU, pamětí a specializovanými akcelerátory umožní efektivní běh algoritmů strojového učení.
     
   • Díky „high-density“ řešení využívá Colossus prostor a energii mnohem efektivněji než tradiční datová centra.
     
4. Význam pro AI odvětví
   • Colossus je dalším příkladem, že se v AI odvětví prosazují vlastní specializované superpočítače, čímž se zvyšuje konkurence mezi velkými hráči (Google, Microsoft, Meta atd.).
     
   • Startupy i technologičtí giganti se snaží získat výkonnou infrastrukturu pro výzkum a vývoj AI, aby nezůstali pozadu za rivaly.
     
5. Budoucí vyhlídky
   • Pokud se Colossus osvědčí, XAI může efektivně akcelerovat vývoj a testování pokročilých modelů – např. pro generativní AI, multimodální aplikace či robotiku.
     
   • Spolupráce s dalšími partnery a firmami by mohla otevřít cestu k hlubšímu propojení AI vývoje, výpočetního průmyslu a nových produktů, jež Musk pro XAI plánuje.
     

Celkově článek ukazuje, že Colossus představuje ambiciózní superpočítačový projekt od Supermicra, šitý na míru Elonovu AI startupu XAI. Tento posun naznačuje, jak dramaticky sílí investice do technologií pro trénink a nasazení rozsáhlých modelů umělé inteligence.