Zelf lokaal een chatgpt draaien op je Mac. Alex legt het uit.

(Waarschuwing: niet bang zijn van de Terminal...)



https://github.com/ollama/ollama
https://ollama.com/download


https://github.com/open-webui/open-webui

Toevallig deze week mee zitten spelen. Op mijn werk MBP 2017 met 8GB is het niet vooruit te schoppen, antwoorden komen tergend traag binnen.

Op mijn eigen iMac 2017 16GB gaat het wel een stuk sneller.

Misschien ga ik ook eens spelen met de Docker versie want daar zou ik de AMD GPU moeten kunnen inschakelen en zou/kan het misschien nog sneller worden.