Bij Apple wordt niet alleen gewerkt aan het Photoshoppen met je stem, er is nog veel meer nieuws uit Cupertino te melden op het gebied van AI. Bijvoorbeeld een nieuwe mogelijkheid die daar ontwikkeld wordt om animaties te maken gebaseerd op alleen een beschrijving.

Dit weten we omdat Apple een paper heeft gepubliceerd met de titel Keyframer: Empowering Animation Design using Large Language Models (Pdf, 3,1 MB).


De essentie van wat Apple hier presenteert is te vinden in de tekst hieronder:

While one-shot prompting interfaces are common in commercial text-to-image systems like Dall·E and Midjourney, we argue that animations require a more complex set of user considerations, such as timing and coordination, that are difficult to fully specify in a single prompt—thus, alternative approaches that enable users to iteratively construct and refine generated designs may be needed especially for animations.

We combined emerging design principles for language-based prompting of design artifacts with code-generation capabilities of LLMs to build a new AI-powered animation tool called Keyframer. With Keyframer, users can create animated illustrations from static 2D images via natural language prompting. Using GPT-4 3, Keyframer generates CSS animation code to animate an input Scalable Vector Graphic (SVG).

De vrije vertaling hiervan:

Hoewel eenmalige prompting interfaces (red: dus interfaces waarbij complexe opdrachten niet mogelijk zijn) gebruikelijk zijn in commerciële tekst-naar-beeld systemen zoals Dall-E en Midjourney, stellen wij dat animaties een complexere set van gebruikersoverwegingen vereisen, zoals timing en coördinatie, die moeilijk volledig te specificeren zijn in een enkele prompt. Daarom zijn er alternatieve benaderingen nodig die gebruikers in staat stellen om iteratief gegenereerde ontwerpen te construeren en te verfijnen, vooral voor animaties.

We hebben nieuwe ontwerpprincipes voor taalgebaseerde aanwijzingen voor ontwerpartefacten gecombineerd met de codegeneratiemogelijkheden van LLM’s om een nieuw AI-gebaseerd animatiehulpmiddel te bouwen dat Keyframer heet. Met Keyframer kunnen gebruikers geanimeerde illustraties maken van statische 2D-afbeeldingen via natuurlijke taalaanwijzingen. Met behulp van GPT-4 3 genereert Keyframer CSS-animatiecode om een Scalable Vector Graphic (SVG) te animeren.

Met andere woorden, met Keyframer kan je veel uitgebreidere opdrachten geven, zodat je veel meer controle hebt over het resultaat. Daarbij zullen de animaties die je op basis van een SVG kan maken waarschijnlijk een stuk geavanceerder zijn dan de tekeningetjes die je hierboven kan zien.

Extra AI gereedschap voor ontwikkelaars

Ondertussen wordt volgens Bloomberg bij Apple ook gewerkt aan een tool die in Xcode verwerkt zal worden waarmee het ontwikkelaars zo makkelijk mogelijk gemaakt zal worden om AI in hun apps te verwerken. Dit hulpmiddel zal in staat zijn om te voorspellen welke volgende code nodig is om iets af te maken, en kan dit dan natuurlijk ook automatisch invoegen.

Apple’s senior vice president of Software Engineering Craig Federighi zou de ontwikkelaars bij Apple hebben gevraagd om zoveel mogelijk nieuwe AI-functies te maken voor iOS 18, iPadOS 18 en macOS 15. Ongetwijfeld ook de reden de verwachting is dat de M4 en A18 veel krachtiger Neural Engines zullen krijgen.

Sommige van deze AI-functies zullen dus ook naar macOS komen, maar Apple is van plan om de ontwikkeling van AI geleidelijk aan te benaderen, sommige functies zullen dan ook pas in de komende jaren beschikbaar komen.



 #iOS #iPadOS #macOS #KunstmatigeIntelligentie

Ze zijn niet de enigen:
https://openai.com/sora/

Discussie op HN over Sora.