Er zijn gratis mogelijkheden om AI lokaal op een Mac of meerdere Macs gecombineerd te draaien. Met Exo kan je bijvoorbeeld al de rekenkracht van meerdere Macs tegelijkertijd gebruiken, terwijl een app als LM Studio gericht is op AI op één Mac te draaien.

Apple’s Claris, nu vooral bekend door FileMaker, werkt aan de app Harbor (Haven) die op een eenvoudige manier beide opties zou bieden.



Hieronder de vertaling van de tekst van Claris zelf:

Draai AI-modellen lokaal op je Mac.

Vroegtijdige toegang tot een nieuwe privé-AI-server van Claris, een Apple-bedrijf.

Claris Harbor verandert je Apple Silicon-computers in een eigen AI-server. Draai open-weight-modellen zonder cloudkosten, zonder facturering per token en met de zekerheid dat je gegevens je omgeving nooit verlaten.

Stel binnen enkele minuten een eindpunt (endpoint ) in op één Mac. Als je grotere modellen wilt draaien, sluit dan meerdere computers aan via Thunderbolt 5 om het centrale geheugen te bundelen op hardware waarover jij de controle hebt.

De Harbor-app heeft al even in de App Store gestaan, maar is op dit moment daar niet meer beschikbaar. Wil je op de hoogte blijven van de ontwikkelingen rond Harbor, op deze pagina kan je je daarvoor inschrijven.


met dank aan forumlid ‘boiing’, die dit als eerste meldde

Benieuwd wat Alex Ziskind er straks over gaat zeggen.



https://news.ycombinator.com/item?id=50446520

Ik doe momenteel bar weinig met AI, maar lokaal een AI draaien vind ik ergens wel interessant. Tegelijkertijd heb ik weinig zin om me erin te verdiepen. Daarnaast heb ik er ook geen doel voor, dus het zal nog wel een tijdje duren voordat ik er iets mee doe...