I ricercatori Apple hanno rilasciato un nuovo modello di intelligenza artificiale open source in grado di modificare le immagini in base alle istruzioni del linguaggio naturale dell’utente.
Chiamato “MGIE”, che sta per MLLM-Guided Image Editing, il sistema utilizza modelli multimodali di linguaggio di grandi dimensioni (MLLM) per interpretare le richieste degli utenti ed eseguire manipolazioni a livello di pixel.
Il modello è in grado di modificare vari aspetti delle immagini. I miglioramenti delle foto possono includere luminosità, contrasto o nitidezza oppure l’applicazione di effetti artistici come il disegno. L’editing locale può modificare la forma, la dimensione, il colore o la trama di regioni o oggetti specifici in un’immagine, mentre le modifiche in stile Photoshop possono includere il ritaglio, il ridimensionamento, la rotazione e l’aggiunta di filtri o persino la modifica degli sfondi e la fusione delle immagini.
Un input dell’utente per la foto di una pizza potrebbe essere quello di “farla sembrare più sana”. A questo puntoo, il modello può aggiungere condimenti vegetali, come pomodori ed erbe aromatiche.
Una richiesta di input di ottimizzazione della foto potrebbe aggiungere contrasto per simulare più luce, mentre una modifica in stile Photoshop potrebbe essere effettuata chiedendo al modello di rimuovere le persone dallo sfondo di una foto.
Apple ha collaborato con i ricercatori dell’Università della California per creare MGIE, che è stato presentato in un documento alla International Conference on Learning Representations (ICLR) 2024. Il modello è disponibile su GitHub e include codice, dati e modelli pre-addestrati.
Con lo sviluppo di un Apple GPT, l’azienda si sta affacciando sempre di più nel mondo dell’IA.