換 MiniMax H3 權重之前,先改提示詞 的文章封面

換 MiniMax H3 權重之前,先改提示詞

246 支 H3 成片裡,改提示詞對畫面的影響比換量化版本大。有些失敗每個版本都一樣,那種問題該在剪輯裡處理,不必再生成一次。

發布
更新

H3 的鏡頭出錯時,在自己機器上最順手的做法是換一個版本再跑。我手上剛好有 QuantFunc、Kijai、lilcheaty 三個,所以量了一下:換版本到底能改變多少,和改寫提示詞比起來又差多少。

每個 previz 單元我都有六支成片:三個版本,各跑兩版提示詞。我把同一單元的成片兩兩配對,逐幀比較構圖,用同一時間點模糊灰階畫面的相關係數衡量。每個 job 都用自己的隨機 seed,所以任何一對至少差一個 seed。

兩支成片之間不同的是 構圖相似度中位數
提示詞相同,版本不同 0.35
版本相同,提示詞不同 0.23
兩者都不同 0.24

換提示詞,畫面變動的幅度跟全部都換差不多;提示詞不動、只換版本,兩支片還相當接近。在這批素材上,鏡頭長什麼樣由提示詞決定,版本主要決定速度、previz 會留下多少、壞掉時怎麼壞,這些寫在量化篇。

換權重像換衣服,換提示詞像換演員。同一個 previz 單元兩支成片的構圖相似度中位數(越高越像)。

改寫提示詞實際改了什麼

兩版提示詞來自兩條路:V1 是 MiniMax 付費提示詞優化器的輸出,V2 是 agent 依 MiniMax 官方提示詞 skill 寫的。previz、參考圖、版本都一樣。在同一個版本裡比較 V2 和 V1:

  • 成片更貼 previz。 輪廓和 previz 的相似度上升的單元,依版本佔 61–71%。
  • 更多 previz 留在畫面上。 留下 previz 的單元,QuantFunc 從 3 個變 13 個,lilcheaty 從 1 個變 9 個,Kijai 從 1 個變 6 個。
  • 更多切點照切。 對照 previz 的攝影機資料,V1 在文字裡悄悄漏掉了 53 個切點中的 10 個,另外改了 5 個的時間。V2 的切點寫齊了,照切的比例從 54–56% 升到 58–75%。

所以兩版都不是單純比較好。V2 的剪輯比較常對,表面比較常錯,而這兩種影響都比換版本大。H3 提示詞模板保留了 V2 寫齊切點的做法,拿掉了我認為讓 previz 留在畫面上的寫法。

哪些問題換版本、換提示詞都修不好

有些技法在六種條件下結果都一樣。那是 H3 處理這類輸入的極限,也告訴我哪裡該停止重跑。

六種條件的結果 技法
全部做到 升降鏡、水平橫搖、分割畫面、溶接、crash zoom、插入再切回、圈入收尾、插入鏡頭、直搖、側面跟拍、穩定器跟拍、固定機位縮時
只做到一部分 360 度環繞(只有弧段,沒有繞滿一圈)、慢動作、快轉接正常速度、手持跟拍、轉角跟拍
全部失敗 dolly zoom、三秒全畫面定格、無人的固定空鏡

失敗的這幾種有共通點。H3 處理攝影機位置很好:升高、橫移、傾斜、快速推近都行。它處理不了對時間的操作,也處理不了複合的鏡頭光學效果。定格時頭、手、燈光都還在動;dolly zoom 變成一般構圖加一個角色走進來;快轉接正常速度,看起來像一段追逐然後放慢,推車常常乾脆停下來,播放速度本身沒有變化。

這幾種我不會再嘗試用生成做。定格是剪輯裡的停格;變速等動作本身對了,在剪輯裡調速;dolly zoom 我會拿掉,或改成一段推軌加後製變焦重做,最後這個方法我還沒試過。

無人空鏡的失敗方式不一樣。previz 是四秒固定的高角度巷道,畫面裡沒有任何主角。六支成片不是從別處開始(地道門內或平視街道),就是中途切到另一個高度,沒有一支守住那個高處空景。需要乾淨的定場空鏡時,我會把它拆成獨立單元,參考裡完全不放角色。這也是還沒驗證的做法。

跳接卡在中間。同一個角色在固定背景前連跳三個位置,六種條件裡有兩種做到,兩種都是 V2。V2 寫了每次跳接之後發生什麼:「After the jump, show him lean forward, extend his free hand, and actually touch the button.」V1 只寫了位置。這個例子裡,決定成敗的是提示詞,跟版本無關。

現在我排查 H3 壞鏡頭的順序

  1. 它在全部失敗的那一列嗎? 那就在剪輯裡處理,別再花一次生成。
  2. 每個切點都以時間寫進文字了嗎? H3 照文字切鏡,沒寫的切點很少發生:我的測試裡是 6–19%,有寫的是 43–56%。
  3. 每一鏡都描述了攝影機看得到的完成表面嗎? 鏡頭留下 previz,先改那一鏡的描述,再考慮換版本。
  4. 同一個單元在兩版提示詞下都變成彩色雜訊嗎? 到這一步才是版本問題,把那個單元換到別的版本跑。

這個順序把版本放在最後。用同一份寫得不好的提示詞把三個版本都跑一遍,比較的多半是提示詞早就決定好的結果。

怎麼量的

完整的實驗設定見系列開場。這篇特有的量法:

  • 構圖相似度是同一單元兩支成片在 4 fps 取樣下,模糊灰階畫面相關係數的中位數。它衡量構圖與位置,不衡量品質。Kijai 兩個整片雜訊的單元不納入。
  • 技法結果來自 previz 每項技法對照每支成片的 438 個人工判定。previz 殘留與切點數字的量法見量化篇。
系列文章 SERIESMiniMax H3 對上 Seedance 2.54 篇
  1. 01MiniMax H3 對上 Seedance 2.5:同一支 previz,我們餵了 274 次
  2. 02Seedance 2.5 照 previz 切鏡,MiniMax H3 照文字切鏡
  3. 03為什麼 MiniMax H3 會把 previz 留在畫面上,Seedance 2.5 大多不會
  4. 04量化版 MiniMax H3 犧牲了什麼?QuantFunc、Kijai、NVFP4 的 246 支實測
推薦閱讀 RECOMMENDED
概念為什麼這支 AI 短片,最後由我親自剪輯概念做一支 3 分鐘 AI 動畫,生成費用約 US$196

Cookie 偏好

這個選擇只適用於此瀏覽器的 Alchemint Article,您隨時可以在這裡變更。