為什麼 MiniMax H3 會把 previz 留在畫面上,Seedance 2.5 大多不會 的文章封面

為什麼 MiniMax H3 會把 previz 留在畫面上,Seedance 2.5 大多不會

Seedance 2.5 比 H3 更貼我們的 Blender previz,畫面上卻幾乎沒有 previz 殘留。H3 越貼 previz,越容易把它的外觀一起搬進來。

發布
更新

屋頂側門上方的警示燈沒有參考圖。在 Blender previz 裡,它是黏在 previz 牆面上的一顆低面數紅色球體。三個 H3 版本用同一份提示詞,畫出來的都是那顆球:發紅光、表面加了燈罩紋理,其中兩個還看得出 Blender 網格的多邊形輪廓。Seedance 2.5 畫的是一盞工業警示燈:有環紋燈罩、金屬燈座,斑駁的水泥牆上還沿著一條管線。

兩個模型的差別,這盞燈幾乎全講完了。Seedance 把那顆球讀成「這裡有一盞警示燈」,H3 把它讀成「這顆紅球,上好材質」。

沒給參考圖的燈:H3 交出一顆紅球,Seedance 交出一盞燈。同一個鏡頭的第 9 秒;三個 H3 用同一份 V1 提示詞。

跟著 previz 走,又不照抄它

每支成片我量了兩件事:輪廓在同一時間點和 previz 有多像,以及畫面裡有多少面積還是 previz 的樣子:沒有材質、幾乎無色,就像沒算圖的 Blender 表面。比較用兩個模型都有成片的 32 個單元。

  • Seedance 比 H3 更貼 previz 構圖。 它的輪廓相似度在 58–75% 的單元裡贏過各個 H3 條件。
  • Seedance 幾乎沒有 previz 殘留。 32 個單元只有 2 個超過畫面 3% 的門檻。H3 依版本和提示詞不同,39 個單元裡有 1 到 13 個留下 previz。
  • 在 H3 裡,這兩件事一起變動。 所有有效的 H3 成片中,輪廓相似度和 previz 殘留比例的相關係數是 0.52。最貼 previz 的那些 H3 成片,也最容易把 previz 的牆面一起交回來。

所以 Seedance 能只拿 previz 的結構,不拿表面;H3 大多是兩樣一起拿,或兩樣都不拿。有一個機制能解釋:H3 會把保留的每一幀 previz 都經過 VAE 編進條件,previz 的樣子從第一步就在裡面,採樣必須把它蓋掉。這點我沒有直接驗證,上面的量測結果不依賴它。

H3 畫對了什麼

H3 對參考素材並不差。有專屬參考圖的東西,大多畫得對。角色幾乎每支都完成了;我看到的例外都很短,例如 Kijai 有一段開場短暫留著彩色代理人形。那只木盒有自己的道具圖,六種 H3 條件全都畫出了木紋、淡金弧線,還有刻著「token reset」的那行字。

原始木盒道具圖與六支 H3 成片的盒蓋近景:木紋、淡金弧線和「token reset」刻字都在。

留下 previz 的都是攝影機看得到、卻沒有自己參考圖的東西:牆面、樓梯、屋頂、一盞燈。每個場景都有一張環境圖,畫的是那個地點的定場。這張圖不足以在每一鏡裡蓋過 previz 的幾何。最嚴重的是下樓那段:有一支 H3 成片從第 6 秒起直接變成 Blender 場景,畫好的角色走在 previz 的牆面之間。

Seedance 也會照搬

有一段屋頂 previz 把雲做成扁平的橢圓。Seedance 在天空裡留了幾個橢圓,旁邊是正常的雲;同一段時間,有兩個 H3 V1 版本的天空是乾淨的。

屋頂 previz 用扁平橢圓當雲;Seedance 留下了幾個橢圓,兩個 H3 V1 版本的天空是乾淨的。

燈和雲失敗的方向相反,原因卻一樣。門框上的紅球夠像一盞燈,Seedance 可以重新詮釋它;天空裡飄著的扁平橢圓看不出是什麼,Seedance 就留著。代理物件不像它代表的東西時,兩個模型都只能自己猜。

我現在怎麼準備 previz

  1. 用 H3 時,每個入鏡的物件都要有參考圖或具體描述。 攝影機看得到、又沒有圖的東西,就在那一鏡寫出它真實的材質,例如「金屬燈座裡的紅色環紋警示燈」。不寫,它就把你的網格還給你。
  2. H3 提示詞裡不要描述 previz 的外觀。 previz 殘留較多的那版提示詞,提到 gray、proxy、blockout 這類字的次數是另一版的 2.3 倍,否定句是 5.5 倍。這是在許多改動同時發生下的相關性,但我已經不寫「previz 只是佔位」這類句子,改成直接描述完成後的表面。細節在 H3 模板。
  3. 代理物件要像它代表的東西。 這條兩個模型都適用:雲至少要長得像雲,不要是圓盤。我們怎麼在 Blender 裡搭 previz,見這篇實測。
  4. 依 previz 的粗糙程度選模型。 previz 完全沒上材質、場景又必須完整時,我用 Seedance。用 H3 就選 previz 殘留最少的 Kijai 版(見量化篇)。

我下一個想做的測試,是在 previz 的牆面上粗略上色和貼材質,再跑一次同樣的 H3 版本。如果 previz 殘留明顯下降,要修的地方就在 Blender,而不在提示詞。

比較條件

完整的實驗設定見系列開場。這篇特有的量法:previz 殘留比例是 16 像素方塊中飽和度低於 0.10、亮度中段、幾乎沒有紋理的佔比,門檻用 previz 畫面和完成畫面校準;取樣畫面面積超過 3% 就算留下 previz。輪廓相似度是相同時間點邊緣圖的相關係數。Kijai 只產出雜訊的兩個單元排除,剩 39 個。

系列文章 SERIESMiniMax H3 對上 Seedance 2.54 篇
  1. 01MiniMax H3 對上 Seedance 2.5:同一支 previz,我們餵了 274 次
  2. 02Seedance 2.5 照 previz 切鏡,MiniMax H3 照文字切鏡
  3. 03為什麼 MiniMax H3 會把 previz 留在畫面上,Seedance 2.5 大多不會你在這裡
  4. 04量化版 MiniMax H3 犧牲了什麼?QuantFunc、Kijai、NVFP4 的 246 支實測
推薦閱讀 RECOMMENDED
概念為什麼這支 AI 短片,最後由我親自剪輯概念做一支 3 分鐘 AI 動畫,生成費用約 US$196

Cookie 偏好

這個選擇只適用於此瀏覽器的 Alchemint Article,您隨時可以在這裡變更。