Vorig jaar kon je op MacFreak al lezen dat ze bij Apple grote stappen aan het zetten zijn in het onderzoek om AI helemaal op het apparaat zelf te laten draaien. Grote voordelen zijn de privacy (je data hoeft niet over het internet) en de snelheid (er hoeft niet gewacht te worden op data via het internet).

Als laatste is het natuurlijk ook veel betrouwbaarder, want het zal ook blijven werken als je ergens bent waar je geen bereik hebt.



Inmiddels is Apple een stap verder gegaan, het heeft nu een aantal open source grote taalmodellen (Large Language Models of LLM's) als open source vrijgegeven. Dit is gebeurd op Hugging Face onder de noemer OpenELM (Open-source Efficient Language Models).

In het bijbehorende white paper (Pdf, 406 KB), is te lezen dat het om in totaal acht OpenELM modellen gaat, waarvan er vier getraind zijn met behulp van de CoreNet-library, en vier met instructies afgestemde modellen. Apple gebruikt daarbij een laag-voor-laag schaalstrategie die gericht is op het verbeteren van de nauwkeurigheid en efficiëntie.

Hieronder de samenvatting van het team erachter zelf:

OpenELM, a state-of-the-art open language model. OpenELM uses a layer-wise scaling strategy to efficiently allocate parameters within each layer of the transformer model, leading to enhanced accuracy. For example, with a parameter budget of approximately one billion parameters, OpenELM exhibits a 2.36% improvement in accuracy compared to OLMo while requiring 2x fewer pre-training tokens.

Diverging from prior practices that only provide model weights and inference code, and pre-train on private datasets, our release includes the complete framework for training and evaluation of the language model on publicly available datasets, including training logs, multiple checkpoints, and pre-training configurations.

 #KunstmatigeIntelligentie

Dat klinkt veelbelovend. Ik ben nog wat sceptisch. Ik weet wel dat ik de specificaties van mijn toekomstige Mac mini zo aan ga passen dat het goed werkt met deze modellen.