Het lijkt er op dat Topaz Video AI op Apple Silicon Macs
Core ML gebruikt. Core ML analyseert de aangeleverde modellen en compileert een 'optimaal' executie plan in functie van de beschikbare hardware (CPU, GPU, Neural Engine). Door in de Topaz instellingen voor 'low power mode' te kiezen zou Core ML eerder de voorkeur geven aan CPU en Neural Engine. Volgens sommige discussies zou dit in heel bepaalde scenario's zelfs tot een performantie verbetering leiden. Ietwat vervelend is dat de activiteitsweergave in macOS de belasting van de Neural Engine niet toont. Apps als
asitop schatten die belasting wel, zij het met wat omwegen.
Het is een wat warrig verhaal waar Apple uiteraard een belangrijke rol in speelt, zoals blijkt uit deze technische paper:
On Device Llama 3.1 with Core ML. In dit artikel analyseert Apple uitdagingen om inferentie door een populair ('open source') LLM gevoelig te versnellen dankzij o.m. verbeteringen aan de Core ML API en de Core ML compiler. Deze verbeteringen zijn opgenomen in macOS Sequoia. Met een context (± de maximale lengte van conversatie waar de LLM rekening mee houdt) van 2048 tokens stijgt de performantie van 1 gegenereerd token per 5 seconden naar 33 tokens per seconde. Uiteraard gaat het hier om andere modellen dan in Topaz (die je trouwens kan benchmarken vanuit de applicatie zelf).
Gast
