Într-un nou articol Point-E: Un sistem pentru generarea de nori de puncte 3D din semnale complexe, echipa de cercetare OpenAI introduce Point E, un sistem de sinteză condiționată a textului în nori de puncte 3D care utilizează modele de difuzie pentru a crea forme 3D variate și complexe conduse de text complex. indicii.în câteva minute pe un singur GPU.
Performanța uimitoare a modelelor de generare de imagini de ultimă generație a stimulat cercetarea în generarea de obiecte text 3D.Cu toate acestea, spre deosebire de modelele 2D, care pot genera rezultate în minute sau chiar secunde, modelele generative de obiecte necesită de obicei câteva ore de lucru GPU pentru a genera o singură mostră.
Într-un nou articol Point-E: Un sistem pentru generarea de nori de puncte 3D din semnale complexe, echipa de cercetare OpenAI prezintă Point·E, un sistem de sinteză condiționată textuală pentru nori de puncte 3D.Această nouă abordare folosește un model de propagare pentru a crea forme 3D variate și complexe din semnale de text complexe în doar un minut sau două pe un singur GPU.
Echipa se concentrează pe provocarea conversiei textului în 3D, care este esențială pentru democratizarea creării de conținut 3D pentru aplicații din lumea reală, de la realitate virtuală și jocuri până la design industrial.Metodele existente de conversie a textului în 3D se încadrează în două categorii, fiecare având dezavantajele sale: 1) modelele generative pot fi folosite pentru a genera mostre în mod eficient, dar nu pot scala eficient pentru semnale text diverse și complexe;2) un model text-imagine pre-antrenat pentru a gestiona indicii de text complexe și variate, dar această abordare este intensivă din punct de vedere computațional și modelul se poate bloca cu ușurință în minime locale care nu corespund obiectelor 3D semnificative sau coerente.
Prin urmare, echipa a explorat o abordare alternativă care urmărește să combine punctele forte ale celor două abordări de mai sus, folosind un model de difuzare text-imagine antrenat pe un set mare de perechi text-imagine (permițându-i să gestioneze semnale diverse și complexe) și un model de difuzare a imaginii 3D antrenat pe un set mai mic de perechi text-imagine.set de date imagine-pereche 3D.Modelul text-to-image eșantionează mai întâi imaginea de intrare pentru a crea o singură reprezentare sintetică, iar modelul imagine-to-3D creează un nor de puncte 3D pe baza imaginii selectate.
Stiva generativă a comenzii se bazează pe cadrele generative propuse recent pentru generarea condiționată a imaginilor din text (Sohl-Dickstein și colab., 2015; Song & Ermon, 2020b; Ho și colab., 2020).Ei folosesc un model GLIDE cu 3 miliarde de parametri GLIDE (Nichol et al., 2021), reglați fin pe modele 3D redate, ca model de transformare text-în-imagine, și un set de modele de difuzie care generează nori de puncte RGB ca lor. model de transformare.imagini la imagine.Modele 3D.
În timp ce lucrările anterioare au folosit arhitecturi 3D pentru a procesa nori de puncte, cercetătorii au folosit un model simplu bazat pe traductoare (Vaswani et al., 2017) pentru a îmbunătăți eficiența.În arhitectura modelului lor de difuzie, imaginile norilor de puncte sunt introduse mai întâi într-un model ViT-L/14 CLIP pre-antrenat și apoi rețelele de ieșire sunt introduse în convertor ca markeri.
În studiul lor empiric, echipa a comparat metoda propusă Point·E cu alte modele 3D generative privind semnalele de scor de la detectarea obiectelor COCO, segmentarea și seturile de date de semnătură.Rezultatele confirmă faptul că Point·E este capabil să genereze forme 3D diverse și complexe din semnale de text complexe și să accelereze timpul de inferență cu unul până la două ordine de mărime.Echipa speră că munca lor va inspira cercetări suplimentare în sinteza textului 3D.
Un model de propagare a norului de puncte preantrenat și un cod de evaluare sunt disponibile pe GitHub al proiectului.Document Point-E: Un sistem pentru crearea de nori de puncte 3D din indicii complexe este pe arXiv.
Știm că nu vrei să ratezi nicio știre sau descoperire științifică.Abonați-vă la popularul nostru buletin informativ Synced Global AI Weekly pentru a primi actualizări săptămânale despre AI.
Ora postării: 28-12-2022