Zelf lokaal een chatgpt draaien op je Mac. Alex legt het uit.

(Waarschuwing: niet bang zijn van de Terminal...)



https://github.com/ollama/ollama
https://ollama.com/download


https://github.com/open-webui/open-webui

Toevallig deze week mee zitten spelen. Op mijn werk MBP 2017 met 8GB is het niet vooruit te schoppen, antwoorden komen tergend traag binnen.

Op mijn eigen iMac 2017 16GB gaat het wel een stuk sneller.

Misschien ga ik ook eens spelen met de Docker versie want daar zou ik de AMD GPU moeten kunnen inschakelen en zou/kan het misschien nog sneller worden.

Als je wel bang bent van Terminal zijn er alternatieven die een vriendelijke GUI geven - van Jan.ai tot MSTY en Anything LLM tot LM Studio (in oplopende mate van complexiteit)

Op mijn MacBook M3 werkt Gemma 27B QAT 4bit uitstekend. Geeft goede resultaten in hele redelijke snelheid.
https://huggingface.co/mlx-community/gemma-3-27b-it-qat-4bit

En wat kan je dan? allen Q&A of ook afbeeldingen genereren en/of foto's veranderen?

De opties die ik hier noemde kunnen tekst en afbeeldingen “lezen” en zelfs kan je eigen documenten toevoegen in een soort persoonlijke data bibliotheek die je dan weer kan bevragen.
Ze reageren alleen met tekst (en code).

Er zijn wel goede beeld generatie opties zoals Draw Things (op Mac, iPhone & iPad) - deze blog doet een aardige overview: https://basontech.com/blog/comparing-the-best-ai-image-generation-apps-on-macos/