in

Nvidia trasforma le foto in una scena 3D in pochi secondi • Il registro

Nvidia ha sviluppato un nuovo approccio alla tecnologia Neural Radiance Field (NeRF) che genera una scena 3D completamente renderizzata da pochi fotogrammi, il tutto in pochi secondi, compreso il tempo di addestramento del modello.

Gli stessi NeRF sono stati creati nel 2020 come metodo “per sintetizzare nuove viste di scene complesse” sulla base di poche immagini fisse etichettate con coordinate 5D, inclusa la posizione spaziale e la linea di vista.

Instant NeRF di Nvidia non cambia gli algoritmi NeRF sottostanti; Piuttosto, prende quel concetto esistente e lo accelera tramite un nuovo metodo di input del modello, con incrementi drastici sia nell’allenamento che nell’inferenza quando viene pompato attraverso una delle GPU top di gamma dell’azienda.

Nvidia descrive NeRF come un processo di rendering inverso che utilizza l’intelligenza artificiale per modellare il comportamento della luce nel mondo reale, quindi utilizza quei modelli per creare il resto della scena 3D con immagini catturate da diverse angolazioni.

I NeRF funzionano meglio con immagini fisse catturate in rapida successione e senza elementi in movimento, che i NeRF rendono ancora sfocati. “Un NeRF riempie essenzialmente le lacune e allena una piccola rete neurale per ricostruire la scena prevedendo il colore della luce che si irradia in ogni direzione e da ogni punto dello spazio 3D”, ha detto Nvidia, osservando che funziona anche se gli oggetti sono coperti da colonne o altri oggetti.

Nvidia min-max NeRF

Il primo rendering NeRF era già relativamente veloce con tempi di generazione 3D in minuti (contro secondi), ma era solo per la fase di inferenza. Il vero ritardo è venuto dall’allenamento della rete neurale NeRF, che secondo Nvidia potrebbe richiedere giorni. Ora Nvidia afferma che i tempi di allenamento sono stati ridotti a pochi secondi per alcune dozzine di fotogrammi, con solo decimi di millisecondo per la conclusione del rendering della scena.

La grande svolta NeRF di Nvidia è arrivata con lo sviluppo di quella che chiama codifica hash grid multi-risoluzione, un nuovo metodo di input ottimizzato per le GPU Nvidia. Nvidia ha costruito il modello utilizzando la sua piattaforma proprietaria CUDA, che viene utilizzata per il GPU Computing, e afferma che è così leggera da poter funzionare su una singola GPU Nvidia, sebbene funzioni al meglio con le sue GPU di fascia alta, inclusi Ampere e, più recentemente, Hopper dispositivi.

video Youtube

Nvidia vede molti potenziali usi per Instant NeRF, molti dei quali sono chiariti nel video dimostrativo (sopra) che Nvidia ha mostrato al GTC. Applicazioni relativamente semplici potrebbero includere l’utilizzo di NeRF istantaneo per progettare scene di videogiochi, rendering rapido di progetti architettonici e gemellaggio digitale quasi istantaneo. Inoltre, Nvidia ha affermato che Instant NeRF potrebbe essere utilizzato per addestrare robot e auto a guida autonoma per comprendere meglio le dimensioni e la forma degli oggetti sulla base di immagini o video 2D.

Nvidia va oltre i NeRF e afferma che la sua tecnica di codifica della griglia hash multi-risoluzione può essere utilizzata per accelerare una varietà di sfide dell’IA, come l’apprendimento per rinforzo, la traduzione linguistica e l’apprendimento profondo generale. Il suo utilizzo principale potrebbe essere il rendering 3D, ma Nvidia ha affermato che la stima della profondità e dell’aspetto in generale è un compito impegnativo per l’IA.

“Instant NeRF potrebbe essere importante per il 3D quanto le fotocamere digitali e la compressione JPEG lo è per la fotografia 2D: aumenta notevolmente la velocità, la facilità e la gamma di acquisizione e condivisione 3D”, ha affermato David Luebke, Nvidia VP of Graphics Research. ®

Martin Lewis si scusa per aver dato a milioni di inglesi consigli sbagliati sulle bollette energetiche

“Sembra un aiuto dal vivo”: il concerto All-Star per l’Ucraina si unisce agli sforzi per gli aiuti di guerra | musica