De samenwerking tussen Apple en Google voor Siri AI zorgde in het begin wel voor heel wat opgetrokken wenkbrauwen en hier en daar zelfs voor wat zorgen: Apple heeft privacy hoog in het vaandel, terwijl Google’s doel juist is om zoveel mogelijk van ons te weten te komen.

In een tech-talk na de keynote van de WWDC legde Apple’s senior vice president of Software Engineering Craig Federighi uit hoe het nu werkt.



Dat deed hij trouwens niet alleen, ook Amar Subramanya (vice president of AI), Mike Rockwell (Siri lead) en Sebastien Marineau-Mes (software VP) waren daarbij aanwezig. Hieronder de uitleg van Craig Federighi:

Of course, we don’t have the Gemini app as our app. In fact, none of that client code is part of how we run on iOS. For these models, we use none of the models that Google deploys to their customers, nor do we use the infrastructure and means by which they deploy models to their customers. And then, when it comes to the knowledge base, we of course don’t use Google Search or anything like that as the foundation of our system. So I hope that’s clear. The amount of the Google Assistant we use is none.

So let’s talk about what we do use, or how our system is built.

It starts, of course, with our Assistant experience. And as you saw earlier today, this Assistant experience is deeply integrated into the system, into iOS, into iPadOS, into macOS. You saw on the iPhone how the assistant emerges, I think really beautifully, in Liquid Glass out of the Dynamic Island, how you can summon it from the side button or by speaking to Siri by name. But more than that, it’s integrated across all sorts of places in the system. So whether you’re writing with Writing Tools, clicking with the context menu, all of this is deeply integrated into the system experience.

Now, plugged into that is the Siri app. The Siri app is a great way to get back to a conversation that you previously started, to either look at what you’ve previously been doing, maybe extend that conversation, or start a new one. But this app isn’t just reaching out to some model in the cloud. It’s built on top of powerful system software in Apple Intelligence.

This includes the System Orchestrator, which is key to the privacy architecture of our entire system. It’s what coordinates requests against things like the App Toolbox that provides access to actions within your apps, the Spotlight Semantic Index to access personal content to help fulfill your request, and even things like on-screen context to understand what you might be looking at at the moment you’re making a request.

This, in turn, is built on a set of powerful on-device models. These handle everything from understanding speech to synthesizing the voice that speaks back to you, to understanding visually the environment and the on-screen context, understanding if there’s something relevant there, understanding text that might be on the screen, as well as a whole set of other models.

And for some requests, models are capable of processing your Siri requests entirely locally on the device. But sometimes the System Orchestrator realizes that it’s a more sophisticated question, and then it wants to draw on greater intelligence. It does that by contacting our models running in Private Cloud Compute.

The goal of Private Cloud Compute is to extend the same privacy promise of the iPhone up into the cloud, such that your requests are completely private to you. They’re never stored, they’re never accessible to anyone, including Apple, they’re only processed as part of the request, and nothing can access them. All of those properties are not only built architecturally deep into the system, but are also something that third-party researchers can continuously verify.

Now, in that deployment model, we have a family—our third generation—of Apple Foundation Models, from our AFM Cloud and AFM Cloud Pro models to our AFM Fusion model and image model. These are the models that are the product of our collaboration with Google, and you’ll hear more about that when we continue. But those are architected to run on our deployment architecture. These are models designed specifically for our Apple Intelligence experiences. They’re what powered everything you saw in the keynote presentation earlier today.

Finally, when you make a request involving current events or other elements of world knowledge, those responses are grounded by accessing Apple’s World Knowledge Service. This is something that we’ve built over many years and provides a great source of information to satisfy your request.

De vertaling:

Natuurlijk is de Gemini-app niet onze app. Sterker nog, geen enkel deel van die clientcode maakt deel uit van de manier waarop wij op iOS werken. Voor deze modellen maken we geen gebruik van de modellen die Google aan zijn klanten aanbiedt, noch van de infrastructuur en middelen waarmee zij modellen aan hun klanten aanbieden. En wat de kennisbank betreft: we gebruiken natuurlijk geen Google Search of iets dergelijks als basis voor ons systeem. Ik hoop dat dit duidelijk is. We maken geen enkel gebruik van Google Assistant.

Laten we het dus hebben over wat we wel gebruiken, of hoe ons systeem in elkaar zit.

Het begint natuurlijk met onze Assistent. En zoals je eerder vandaag hebt gezien, is deze Assistent diep geïntegreerd in het systeem, in iOS, in iPadOS en in macOS. Je hebt op de iPhone gezien hoe de Assistent tevoorschijn komt – ik vind het echt prachtig – in Liquid Glass vanuit het Dynamic Island, hoe je hem kunt oproepen via de zijknop of door Siri bij naam aan te spreken. Maar meer nog: hij is op allerlei plekken in het systeem geïntegreerd. Dus of je nu schrijft met Writing Tools of klikt via het contextmenu, dit alles is diep geïntegreerd in de systeemervaring.

Daaraan is nu de Siri-app gekoppeld. De Siri-app is een geweldige manier om terug te keren naar een gesprek dat je eerder bent begonnen, om te kijken wat je eerder hebt gedaan, dat gesprek misschien voort te zetten of een nieuw gesprek te beginnen. Maar deze app maakt niet alleen verbinding met een of ander model in de cloud. Hij is gebouwd op basis van krachtige systeemsoftware in Apple Intelligence.

Hieronder valt ook de System Orchestrator, die een cruciale rol speelt in de privacyarchitectuur van ons hele systeem. Deze coördineert verzoeken met onder meer de App Toolbox, die toegang biedt tot acties binnen je apps, de Spotlight Semantic Index, waarmee persoonlijke inhoud wordt geraadpleegd om je verzoek te kunnen vervullen, en zelfs zaken als de context op het scherm, om te begrijpen waar je op dat moment naar kijkt terwijl je een verzoek indient.

Dit is op zijn beurt gebaseerd op een reeks krachtige modellen die op het apparaat zelf draaien. Deze modellen zorgen voor alles: van het begrijpen van spraak tot het genereren van de stem waarmee het apparaat tegen je spreekt, tot het visueel in kaart brengen van de omgeving en de context op het scherm, het herkennen van relevante informatie, het begrijpen van tekst die op het scherm staat, en nog een hele reeks andere modellen.

Bij sommige verzoeken kunnen modellen je Siri-verzoeken volledig lokaal op het apparaat verwerken. Maar soms merkt de System Orchestrator dat het om een complexere vraag gaat, en dan wil hij een beroep doen op meer intelligentie. Dat doet hij door contact op te nemen met onze modellen die in Private Cloud Compute draaien.

Het doel van Private Cloud Compute is om dezelfde privacygarantie die de iPhone biedt, uit te breiden naar de cloud, zodat je verzoeken volledig privé blijven. Ze worden nooit opgeslagen, zijn voor niemand toegankelijk – ook niet voor Apple –, worden alleen verwerkt in het kader van het verzoek zelf en zijn voor niemand toegankelijk. Al deze eigenschappen zijn niet alleen diep in de architectuur van het systeem verankerd, maar kunnen ook voortdurend door onafhankelijke onderzoekers worden gecontroleerd.

In dat implementatiemodel beschikken we nu over een reeks – onze derde generatie – Apple Foundation Models, variërend van onze AFM Cloud- en AFM Cloud Pro-modellen tot ons AFM Fusion-model en beeldmodel. Deze modellen zijn het resultaat van onze samenwerking met Google, en daarover zul je later meer horen. Maar deze zijn ontworpen om op onze implementatiearchitectuur te draaien. Dit zijn modellen die specifiek zijn ontworpen voor onze Apple Intelligence-ervaringen. Zij vormen de drijvende kracht achter alles wat je eerder vandaag in de keynote-presentatie hebt gezien.

Tot slot: wanneer je een vraag stelt over actuele gebeurtenissen of andere aspecten van algemene kennis, worden die antwoorden onderbouwd door gebruik te maken van de World Knowledge Service van Apple. Dit is een systeem dat we in de loop van vele jaren hebben opgebouwd en dat een uitstekende bron van informatie vormt om aan je vraag te voldoen.

Er volgende nog meer, onder andere een nog meer gedetailleerde uitleg van Amar Subramanya. Wil je die ook lezen, daarvoor kan je hier terecht.