Voor het gebruik van AI worden de zogenaamde Large Language Models (LLM’s) ingezet: erg grote collecties aan data die om erg veel geheugen-capaciteit vragen. En van dat laatste is juist op mobiele devices, zoals bijvoorbeeld een iPhone, niet erg veel beschikbaar.

Onderzoekers bij Apple hebben nu een grote stap gezet om dit wel voor elkaar te krijgen, waarbij twee oplossingen cruciaal blijken te zijn.



Windowing

Bij Windowing wordt in plaats van telkens nieuwe gegevens te laden, data juist hergebruikt. Zodat het  AI-model het deel van de gegevens dat het al verwerkt heeft niet opnieuw hoeft te verwerken. Dit vermindert de noodzaak om constant geheugen op te halen, waardoor het proces sneller en soepeler verloopt.

Row-Column Bundling

Deze techniek is vergelijkbaar met het lezen van een boek in grotere stukken, in plaats van één woord per keer. Door gegevens efficiënter te groeperen, kunnen ze sneller uit het flashgeheugen worden gelezen, waardoor AI niet alleen sneller taal kan begrijpen, maar dat ook sneller kan genereren.

Het combineren van deze twee methoden zorgt ervoor dat AI-modellen tot twee keer zoveel data kunnen draaien dan het beschikbare geheugen van de iPhone. Dit vertaalt zich in een 4-5 keer hogere snelheid op standaard processors (CPU's) en een indrukwekkende 20-25 keer hogere snelheid op grafische processors (GPU's).

Dit is te lezen in de paper LLM in a flash: Efficient Large Language Model Inference with Limited Memory, hieronder een zin daaruit:

“Deze doorbraak is met name cruciaal voor het inzetten van geavanceerde LLM's in omgevingen met beperkte middelen, waardoor hun toepasbaarheid en toegankelijkheid wordt vergroot.”

Meer mogelijkheden op een iPhone

Deze doorbraak in de efficiëntie  van AI opent nieuwe mogelijkheden voor toekomstige iPhones, zoals meer en geavanceerdere mogelijkheden voor Siri, realtime taalvertaling en geavanceerde AI-functies voor fotografie en augmented reality. De technologie maakt het ook mogelijk om op iPhones complexe AI-assistenten en chatbots te laten werken, iets waar bij Apple al aan gewerkt zou worden.

Apple's werk aan generatieve AI zou uiteindelijk kunnen worden verwerkt in zijn spraakassistent Siri. Apple hield in februari 2023 een AI-top en informeerde werknemers over zijn werk aan grote taalmodellen. Het streven zou zijn om een slimmere versie van Siri te maken die diep geïntegreerd is met AI.

Apple zou ook van plan zijn om de manier waarop Siri communiceert met de Berichten-app te updaten, zodat gebruikers complexe vragen kunnen beantwoorden en zinnen beter automatisch kunnen aanvullen. Verder zou Apple van plan zijn om AI toe te voegen aan zoveel mogelijk Apple apps.

Ajax

Als de informatie die gelekt wordt klopt dan wordt er binnen Apple een eigen generatief AI-model ontwikkeld met de codenaam Ajax. Ajax is ontworpen om de concurrentie aan te gaan met OpenAI's GPT-3 en GPT-4 en werkt met 200 miljard parameters, het gaat dus om een model met een hoge mate van complexiteit en capaciteit op het gebied van taalbegrip en -generatie.

Ajax staat intern bekend als ‘Apple GPT’ en heeft als doel de ontwikkeling van machine learning binnen Apple te verenigen, het gaat dus ook om een bredere strategie om AI dieper te integreren in het hele ecosysteem van Apple.

Volgens de laatste berichten zou Ajax capabeler zijn dan de eerdere generatie ChatGPT 3.5. Er wordt echter ook gesuggereerd dat de nieuwere modellen van OpenAI van september 2023 verder zijn gevorderd dan de mogelijkheden van Ajax, maar beide blijven zich natuurlijk doorontwikkelen.



 #Siri #KunstmatigeIntelligentie

Mooi filmpje. Helder en overzichtelijk.

Zo dacht Apple er in 1987 over.

Inderdaad een prima filmpje (maar ik ben niet objectief, want het sluit naadloos aan bij wat ik er al over denk en weet).