Dalam artikel baru Point-E: Sistem untuk menghasilkan awan titik 3D dari sinyal kompleks, tim peneliti OpenAI memperkenalkan Titik E, sistem sintesis bersyarat teks awan titik 3D yang menggunakan model difusi untuk membuat bentuk 3D yang bervariasi dan kompleks yang didorong oleh teks kompleks isyarat.dalam beberapa menit pada satu GPU.
Performa luar biasa dari model pembuatan gambar canggih saat ini telah mendorong penelitian dalam pembuatan objek teks 3D.Namun, tidak seperti model 2D, yang dapat menghasilkan output dalam hitungan menit atau bahkan detik, model generatif objek biasanya memerlukan beberapa jam kerja GPU untuk menghasilkan satu sampel.
Dalam artikel baru Point-E: Sistem untuk menghasilkan awan titik 3D dari sinyal kompleks, tim peneliti OpenAI menghadirkan Point·E, sistem sintesis bersyarat tekstual untuk awan titik 3D.Pendekatan baru ini menggunakan model propagasi untuk membuat bentuk 3D yang bervariasi dan kompleks dari sinyal teks kompleks hanya dalam satu atau dua menit pada satu GPU.
Tim berfokus pada tantangan mengubah teks menjadi 3D, yang sangat penting untuk mendemokratisasi pembuatan konten 3D untuk aplikasi dunia nyata mulai dari realitas virtual dan game hingga desain industri.Metode yang ada untuk mengonversi teks ke 3D terbagi dalam dua kategori, yang masing-masing memiliki kekurangannya: 1) model generatif dapat digunakan untuk menghasilkan sampel secara efisien, tetapi tidak dapat menskalakan secara efisien untuk sinyal teks yang beragam dan kompleks;2) model teks-gambar terlatih untuk menangani isyarat teks yang kompleks dan beragam, tetapi pendekatan ini intensif secara komputasi dan model dapat dengan mudah terjebak dalam minima lokal yang tidak sesuai dengan objek 3D yang bermakna atau koheren.
Oleh karena itu, tim mengeksplorasi pendekatan alternatif yang bertujuan untuk menggabungkan kekuatan dari dua pendekatan di atas, menggunakan model difusi teks-ke-gambar yang dilatih pada sekumpulan besar pasangan teks-gambar (memungkinkannya menangani sinyal yang beragam dan kompleks) dan model difusi gambar 3D yang dilatih pada kumpulan pasangan teks-gambar yang lebih kecil.kumpulan data pasangan image-3D.Model teks-ke-gambar pertama-tama mengambil sampel gambar input untuk membuat representasi sintetik tunggal, dan model gambar-ke-3D membuat awan titik 3D berdasarkan gambar yang dipilih.
Tumpukan generatif perintah didasarkan pada kerangka kerja generatif yang baru-baru ini diusulkan untuk menghasilkan gambar secara kondisional dari teks (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Mereka menggunakan model GLIDE dengan 3 miliar parameter GLIDE (Nichol et al., 2021), yang disesuaikan dengan model 3D yang dirender, sebagai model transformasi teks-ke-gambar, dan serangkaian model difusi yang menghasilkan awan titik RGB sebagai model transformasi.gambar ke gambar.model 3D.
Sementara pekerjaan sebelumnya menggunakan arsitektur 3D untuk memproses awan titik, para peneliti menggunakan model berbasis transduser sederhana (Vaswani et al., 2017) untuk meningkatkan efisiensi.Dalam arsitektur model difusi mereka, gambar point cloud pertama-tama dimasukkan ke dalam model ViT-L/14 CLIP yang telah dilatih sebelumnya dan kemudian jaring keluaran dimasukkan ke dalam konverter sebagai penanda.
Dalam studi empiris mereka, tim membandingkan metode Point·E yang diusulkan dengan model 3D generatif lainnya pada sinyal penilaian dari deteksi objek COCO, segmentasi, dan kumpulan data tanda tangan.Hasilnya mengkonfirmasi bahwa Point·E mampu menghasilkan bentuk 3D yang beragam dan kompleks dari sinyal teks yang kompleks dan mempercepat waktu inferensi satu hingga dua kali lipat.Tim berharap karya mereka akan menginspirasi penelitian lebih lanjut tentang sintesis teks 3D.
Model propagasi cloud titik yang telah dilatih sebelumnya dan kode evaluasi tersedia di GitHub proyek.Document Point-E: Sistem untuk membuat awan titik 3D dari petunjuk kompleks ada di arXiv.
Kami tahu Anda tidak ingin ketinggalan berita atau penemuan ilmiah apa pun.Berlangganan buletin Synced Global AI Weekly kami yang populer untuk menerima pembaruan AI mingguan.
Waktu posting: 28-Des-2022