geplaatst door: puk1980
Zelf lokaal een chatgpt draaien op je Mac. Alex legt het uit.

(Waarschuwing: niet bang zijn van de Terminal...)



https://github.com/ollama/ollama
https://ollama.com/download


https://github.com/open-webui/open-webui
"The number of people that predict the end of Moore's law doubles every two years."
Zelf lokaal een chatgpt draaien op je Mac
11 mei 2024 - 12:53    reactie #1
geplaatst door: TLM
Toevallig deze week mee zitten spelen. Op mijn werk MBP 2017 met 8GB is het niet vooruit te schoppen, antwoorden komen tergend traag binnen.

Op mijn eigen iMac 2017 16GB gaat het wel een stuk sneller.

Misschien ga ik ook eens spelen met de Docker versie want daar zou ik de AMD GPU moeten kunnen inschakelen en zou/kan het misschien nog sneller worden.