La nuova funzionalità di FaceTime introdotta nella beta 3 di iOS 13 corregge lo sguardo durante una videochiamata, in modo tale che i nostri occhi sembrino guardare l’interlocutore e fissare perfettamente la fotocamera frontale, anche quando in realtà siamo concentrati sullo schermo. Questa “magia” è stata sviluppata in maniera incrementale nel corso degli anni, grazie a una lunga evoluzione sia hardware che software da parte di Apple.
Anche se al momento la FaceTime Attention Correction è ancora acerba, con le prossime beta Apple perfezionerà quella che in tanti hanno giù definito qualcosa di “folle, un salto nel futuro!“. Dello stesso parere siamo anche noi dopo aver provato questa “magica” funzione.
Quella implementata nella beta 3 di iOS 13 non è nata in maniera rivoluzionaria da un giorno all’altro, ma è frutto di una lenta evoluzione sia software che hardware sviluppatasi in seno ad Apple negli ultimi anni.
Non è un caso se la FaceTime Attention Correction è attiva solo sui modelli A12 Bionic, come iPhone XS o gli ultimi iPad Pro. Questo perché la regolazione dell’immagine è gestita dall’hardware del telefono, che permette al nostro sguardo di apparire naturale e focalizzato sulla fotocamera anche se stiamo guardando da un’altra parte. Ovviamente, l’interlocutore vedrà questo risultato a prescindere dal modello di iPhone, iPad o Mac in suo possesso.
Qualcuno si sta già chiedendo se la concorrenza riuscirà ad emulare una funzione simile, ma almeno per il momento crediamo che la risposta sia un secco no. Gran parte delle novità più avanzate che presenta Apple soprattutto nel campo dell’imaging non sono funzionalità una tantum, ma sono sempre frutto di una serie di framework, tecnologie e sviluppi software che hanno alle spalle anni di lavoro.
Ad esempio, durante la WWDC 17 Apple ha presentato la “Image Editing with Depth“, che spiegava nel dettaglio agli sviluppatori come l’iPhone 7 Plus rilasciato un anno prima sfruttasse la modalità Portrait acquisendo dati di profondità differenziale tramite la doppia fotocamera posteriore. A partire da iOS 11, Apple ha consentito agli sviluppatori di terze parti di accedere a questi stessi dati per creare i propri strumenti di imaging sfruttando le API Depth di Apple.
Nello stesso momento, Apple ha anche introdotto altre tecnologie tra cui i framework Vision, CoreML e ARKit per la gestione delle funzioni di Realtà Aumentata. In quel periodo non era del tutto chiaro come tutti quei pezzi sarebbero stati uniti tra di loro, ma dopo qualche mese Apple ha introdotto iPhone 8 Plus con una migliore profondità di acquisizione nella modalità Portrait Lighting.
Portrait Lighting è l’evoluzione del concetto di acquisizione dei dati di profondità che sfrutta la tecnologie AR sul viso: questa funzione crea una sovrapposizione grafica e realistica che simula l’illuminazione fotografica da studio o da palcoscenico, ad esempio isolando il soggetto dallo sfondo.
Questa funzionalità è stata poi migliorata ulteriormente su iPhone X, che oltre a una doppia fotocamera posteriore si presentava con un nuovo tipo di imaging di profondità utilizzando la fotocamera TrueDepth frontale. Invece di scattare due immagini, questa fotocamera utilizza un sensore per acquisire separatamente mappa di profondità e immagini a colori.
Inutile dire che l’hardware TrueDepth ha consentito e consente tutt’ora agli utenti e agli sviluppatori di sfruttate tutta una serie di nuove funzionalità. Basti pensare ai selfie con Portrait Lightning, al Face ID o alle Animoji, che sfruttano il face tracking di ARKit per sovrapporre un avatar animato sul nostro viso. Tali tecnologie sono state utilizzate anche da diverse app di terze parti.
Apple ha poi continuato a migliorare le sua capacità di elaborazione introducendo ulteriori novità, come la possibilità di regolare la profondità di campo su iPhone XS anche dopo lo scatto. E alla WWDC 19, l’azienda ha mostrato i progressi del software Vision e CoreML, comprese le funzionalità di riconoscimento avanzate e gli strumenti ML intelligenti per analizzare immagini, testo e altri dati.
Apple ha inoltre sviluppato un nuovo tipo di Machine Learning, grazie al quale il telefono può apprendere e adattarsi in modo sicuro ai comportamenti dell’utente. Apple aveva già sfruttato questa funzione nel Face ID, per consentire alla fotocamera di riconoscere l’utente anche in caso di cambiamenti (taglio dei capelli, occhiali, ecc…), ma ora questa tecnologia è stata aperta anche agli sviluppatori di terze parti. Tra l’altro, l’elaborazione avviene localmente sfruttando la potenza di calcolo degli iPhone, senza che vengano inviati dati personali su server di vario tipo.
Apple ora sfrutta il TrueDepth anche per rilevare l’attenzione e sapere quando stai o non stai guardando il telefono. Tutto questo serve a oscurare e bloccare il telefono più velocemente quando non viene utilizzato, ma anche per lasciare lo schermo attivo quando stai leggendo un lungo articolo o guardando un video, senza la necessità di dover toccare il display se è stato impostato lo spegnimento automatico dopo tot minuti. Tutti questi framework sono condivisi anche con gli sviluppatori di terze parti.
Queste funzionalità poco conosciute, perché spesso nascoste dietro le quinte, sono quelle che fanno la differenza rispetto ad altre piattaforme. Ad esempio, le funzioni avanzate di riconoscimento dei nuovi Pixel di Google sono proprietarie e sono chiuse all’interno della piattaforma, senza possibilità di utilizzo da parte degli sviluppatori. Molti produttori Android, inoltre, non sono riusciti (o non hanno voluto…) creare sensori avanzati come il TrueDepth, ma nemmeno potenti processori capaci di gestire funzioni di imaging avanzato e calcoli neurali. Questo perché è impossibile offrire tali funzioni a prezzi inferiori ai 3-400 dollari.
Tutta questa evoluzione ha reso quasi semplice per Apple offrire una funzione così particolare come quella presente nella beta 3 di iOS 13. Una funzione che probabilmente altre aziende avrebbero presentato in pompa magna, ed invece Apple non ne ha fatto mai cenno e si è limitata ad integrarla in una beta di iOS 13.
Lenta evoluzione.