Sbarco sulla luna: grazie all’IA i video delle missioni Apollo adesso sono visibili a 60 FPS

Per quanto eccitante ed emozionante sia guardare tutti i filmati storici degli sbarchi sulla luna di Apollo, bisogna ammetterlo, la qualità a volte non è poi così eccezionale. Anche se la NASA ha lavorato per ripristinare e migliorare alcuni dei filmati Apollo più popolari, alcuni sono ancora sgranati o sfocati.

Ma ora, i nuovi sviluppi nell’intelligenza artificiale sono venuti in soccorso, fornendo agli spettatori un’esperienza quasi nuova nel guardare lo storico video di Apollo.

Uno specialista di restauro di foto e film che si chiama DutchSteamMachine ha lavorato con la magia dell’IA per migliorare il film originale Apollo, creando video e immagini sorprendentemente chiari e vivaci.

“Volevo davvero offrire un’esperienza su questo vecchio filmato che non era mai stato visto prima”, ha detto a Zed News.

Dai un’occhiata a questo filmato potenziato di una traversata lunare di Apollo 16 con Charlie Duke e John Young, in cui il filmato originariamente girato a 12 fotogrammi al secondo (fps) è stato aumentato a 60 fps:

Stupendo, vero? E sono rimasto stupito dalla vista nitida della superficie della luna in questa visione migliorata del sito di atterraggio dell’Apollo 15 a Hadley Rille:

O dai un’occhiata a quanto nitido sia Neil Armstrong in questa versione migliorata del video “primo passo”, visto da Apollo 11, ripreso da una videocamera da 16 mm all’interno del modulo lunare:

L’intelligenza artificiale utilizzata da DutchSteamMachine è denominata Interpolazione di fotogrammi video Depth-Aware o, in breve, DAIN. Questa IA è open source, gratuita e costantemente sviluppata e migliorata. L’interpolazione del movimento o l’interpolazione dei fotogrammi compensata dal movimento è una forma di elaborazione video in cui vengono generati fotogrammi di animazione intermedi tra quelli esistenti nel tentativo di rendere il video più fluido, compensare la sfocatura, ecc.

“Le persone hanno utilizzato gli stessi programmi di intelligenza artificiale per riportare in vita le vecchie registrazioni dei film del 1900, in alta definizione e colore”, ha detto. “Questa tecnica sembrava un’ottima cosa da applicare a filmati molto più recenti.”

Ma potresti non essere in grado di farlo a casa. Ci vuole una GPU potente e di fascia alta con speciali ventole di raffreddamento. DutchSteamMachine ha affermato che il completamento di un video di soli cinque minuti può richiedere dalle sei alle 20 ore. Ma i risultati parlano da soli.

Ha spiegato come funziona: “Per prima cosa ho deciso di trovare video sorgente di altissima qualità, che fortunatamente ho trovato come file video 720p ad alta velocità”, ha affermato. “Quindi il problema di qualità è stato risolto. È importante iniziare con la massima fonte possibile e modificare da lì. Tuttavia, la maggior parte delle sequenze girate era ancora molto instabile. Questo perché per risparmiare film e registrare per lunghi periodi di tempo, la maggior parte del filmato rover è stato girato a 12, sei o anche uno o più fotogrammi al secondo. Mentre le persone hanno precedentemente cercato di applicare la stabilizzazione e / o i tipi di fusione dei fotogrammi per attenuare questo effetto, non sono mai stato veramente soddisfatto. ”

DutchSteamMachine cerca di determinare il framerate del filmato originale, che di solito si trova nei documenti della NASA o, come nel caso del filmato Apollo 16 sopra, gli astronauti lo annunciano quando accendono la fotocamera.

“Purtroppo, a volte, il framerate sembra essere spento o fluttuante, non sempre funzionando come previsto”, ha detto. “Quindi il modo migliore per trovare il framerate è ascoltare i punti di riferimento di cui parlano gli astronauti e abbinare il filmato a quello. Ho diviso il file sorgente in singoli frame PNG, li ho immessi nell’intelligenza artificiale insieme al framerate di input (uno, sei, 12 o 24) e il framerate di output desiderato in base alla velocità di interpolazione (2x, 4x, 8x). L’intelligenza artificiale inizia a utilizzare la mia GPU e osserva due fotogrammi consecutivi reali. Utilizzando algoritmi, analizza i movimenti degli oggetti nei due fotogrammi e ne rende completamente nuovi. Con un tasso di interpolazione, ad esempio, 5x, è in grado di eseguire il rendering di cinque fotogrammi “falsi” da solo due fotogrammi reali. Se il filmato è stato registrato a 12 fps e il tasso di interpolazione è impostato su 5x, il il framerate finale sarà 60, il che significa che con solo 12 fotogrammi reali, ha creato 48 fotogrammi “falsi”. Entrambi vengono quindi esportati in un video e riprodotti a 60 fps sia con i fotogrammi reali che falsi. Infine, applico la correzione del colore , come spesso i file sorgente hanno una sfumatura blu o arancione. Sincronizzo il filmato con audio e, se possibile, anche la televisione e le foto scattate contemporaneamente. A volte, due telecamere da 16 mm erano in esecuzione contemporaneamente, quindi posso riprodurle una accanto all’altra. ”

Ecco un video che ha condiviso del suo studio e delle sue attrezzature specializzate:

DutchSteamMachine fa questo lavoro nel suo tempo libero e lo pubblica gratuitamente sulla sua pagina YouTube. Il suo slogan è “Preservare il passato per il futuro” e usa anche le stesse tecniche per migliorare i vecchi video domestici, immagini e diapositive.

“È fantastico leggere le reazioni della gente sul mio filmato”, ha detto. “Quindi quando le persone pubblicano cose del tipo:” Wow! È incredibile! Non l’ho mai visto prima! “, Questo mi fa andare avanti.”

Se desideri supportare l’incredibile lavoro di restauro / miglioramento che DutchSteamMachine sta realizzando per le riprese di Apollo, ecco la sua pagina Patreon. Supportando il suo lavoro, otterrai extra, accesso anticipato e anteprime del lavoro imminente e la possibilità di porre domande sul processo.

“Ho intenzione di migliorare tonnellate di filmati Apollo in questo modo”, ha detto. “Molto più spazio e filmati relativi alla storia verranno pubblicati continuamente sul mio canale YT.” Ha anche una pagina Flickr con immagini più avanzate.