蘋果機器學(xué)習(xí)研究團隊展示全新生成式 AI 技術(shù) HUGS

蘋果機器學(xué)習(xí)研究團隊近日發(fā)布博文，展示了全新的生成式 AI 技術(shù)——HUGS（Human Gaussian Splats）。這項技術(shù)能夠在 30 分鐘內(nèi)分析短視頻，然后映射并創(chuàng)建新的動作和角度，以逼真的人像元素呈現(xiàn)。

蘋果研究員 Anurag Ranjan 在推文中表示，HUGS 使用機器學(xué)習(xí)和計算機視覺技術(shù)，在原始輸入數(shù)據(jù)較少的情況下，能夠創(chuàng)建出逼真的人像元素。這一技術(shù)采用了 3D Gaussian Splatting 的方法，能夠在場景中創(chuàng)建可移動的人類形象。

蘋果官方介紹中提到，雖然神經(jīng)渲染技術(shù)在靜態(tài)場景的攝影測量方面已經(jīng)有了長足的進(jìn)步，但目前還無法推廣到環(huán)境中自由移動的人類。而 HUGS 技術(shù)則填補了這一空白，為創(chuàng)建逼真的人像元素提供了新的解決方案。

該方法本身需要少量的主體視頻，通常在場景中運動，并顯示盡可能多的表面供系統(tǒng)工作。在某些情況下，該技術(shù)對源輸入數(shù)據(jù)的要求很低，最少可以低至 50 到 100 幀的單目視頻，相當(dāng)于 2 到 4 秒的 24fps 視頻。

蘋果聲稱，該系統(tǒng)已經(jīng)過訓(xùn)練，可以“在 30 分鐘內(nèi)解開靜態(tài)場景和完全可動畫化的人類化身”。此外，蘋果表示 SMPL 體模型雖然用于初始化人類高斯模型，但無法捕獲每個細(xì)節(jié)。對于未建模的元素（如布料和頭發(fā)），該過程可以偏離 SMPL 模型，來填補模型捕獲中的空白。

蘋果官方表示從訓(xùn)練視頻到以 60fps 的渲染速度輸出，能夠在半小時完成人體建模和“最先進(jìn)的渲染質(zhì)量”動畫，這比 NeuMan 和 Vid2Avatar 等其他方法快 100 倍。

總的來說，蘋果發(fā)布的全新生成式 AI 技術(shù) HUGS 為人像元素的創(chuàng)建提供了新的解決方案。這項技術(shù)能夠在短時間內(nèi)分析短視頻并創(chuàng)建逼真的人像元素，具有廣泛的應(yīng)用前景。