以圖照生成影片

出自福留子孫
在2024年7月19日 (五) 14:19由譚翰駿對話 | 貢獻所做的修訂版本

跳轉到: 導覽搜尋

統一角色生成影片

  1. 以TensorArt生成圖片TensorArt
    • 設定好角色外觀生成想要的角色
    • 鎖定seed以產生同一角色不同面向,增加樣本數
    • TensorArt為完全免費,每日可生成100點(免費帳戶生成最高限制為四點左右,一日約可生成25張以上)
  2. 以PixVerse生成該角色片段
    • 以"Character To Video"的功能生成角色樣本
    • 點選Character To Video - 點選「+」符號 - 上傳以TensorArt生成之角色照片 - 為該角色命名
    • 輸入Prompts, negative prompts(不希望出現的元素&錯誤)
    • PixVerse可完全免費使用(有浮水印),初使用者150點,每日補充50點,一隻影片消耗10點。
  3. 以InVideo AI生成角色之外的影片內容
    • 單次可生成約1分鐘之影片,能選擇旁白及語音種類
    • 可在生成網站中以自己的影片素材置換InVideo生成的影片片段,調整成使用者需要的影像。
    • 免費使用者每週可生成總共10次影片,輸出4次
    • 可共同協作
  4. 利用Haiper、Luma等網站增加角色之外的影片素材
  5. 利用Suno製作需要的配樂

補遺

  • Luma可依生成影片逐次增加影片內容(每次五秒)
    • 優點:Prompts利用得當能持續生成同一角色的內容
    • 缺點:較難控制,轉換場景角色容易不同人,沒有seed或如PixVerse能設定角色之功能
    • 免費版一個月只能生30次影片(一次5秒)

給課主的建議

  • 在多鏡頭角色統一外觀的連戲處理中,有幾個要點需要注意。
  • 影片部分:
    1. 推薦使用Luma進行嘗試。這個工具在動作改變較大時效果更好。
    2. Runway Gen-3內含的相機鏡位參數也能調整,值得一試,不過技術門檻稍高。
    3. 單純使用Haiper生成統一角色在不同場景或動作中會比較困難。
  • 此外,可以使用一些其他工具來輔助生圖,使用這些工具生成圖片後,可以置入上述軟體中多方面編輯,不過須注意圖生影片的自由度低於文字生影片。。
    1. TensorArt完全免費(亦可付費升級使用權限),可以固定使用seed並逐步調整生成所需的圖片。
    2. MidJourney則需付費,與DALL-E同為目前大眾主流生成網站。
  • 在配樂方面,推薦使用Suno生成音樂。

簡易分類如下

  1. 圖片、文字生成影片:
    1. Pika Labs
    2. Haiper
    3. Luma
    4. Gen-3
    • 目前Luma在技術門檻和成果表現的CP值上較高,優於Haiper和Pika。
  2. 虛擬主播開口講話:
    1. D-ID
    2. Hedra
    3. heygen
  3. 動畫補幀:
    1. ToonCrafter

多鏡頭角色統一外觀的要領(連戲)

  1. 推薦用luma 嘗試,動作會改變得比較大(Runway Gen-3內含相機鏡位參數供調整,可嘗試看看)
  2. 單一以Haiper生成統一角色/不同場景or動作較為困難
  3. 可使用TensorArt(可完全免費使用), MidJourney(需付費),使用固定的seed並逐漸調整prompt以生成所需圖片,再置入上述軟體多方面編輯(圖生影片較文字生影片自由度低)
  4. 配樂可使用Suno生成

簡易分類

  1. 圖片、文字生影片
    1. Pika Labs
    2. Haiper
    3. Luma
    4. Gen-3
    • 目前體感 Luma>Haiper>Pika
  2. 虛擬主播開口講話
    1. D-ID
    2. Hedra
    3. heygen
  3. 動畫補幀
    1. ToonCrafter

Pika Labs

  • 免費&付費會員:2~5秒

免費

  • 250 初始點數
  1. 初始點數用完後,每天可補充 30 點
  2. Lip Sync 音訊產生每個需要 2 點
  3. 可下載影片

標準

  1. $8/月(美金) 按年計費
  2. 每月更新 700 個積分
  3. 免費唇形同步音訊生成
  4. 高檔解析度
  5. 無浮水印
  6. 延長影片長度
  7. 以折扣價購買更多積分

無限

  1. 無限chill generation
  2. $28/月(美金) 按年計費
  3. 每月更新 2000 個積分
  4. 延長影片長度

專業

  1. $58/月(美金) 按年計費
  2. 無限lightening generation
  3. 無限積分
  4. 搶先體驗新功能
  5. 商業條款
  6. 延長影片長度

缺點(免費版):

  • 影片長度短,無法短時間內「客製」太多細節
  • 風格限制:Pica Labs目前提供的風格選項有限,可能無法滿足所有用戶的需求。

優點(免費版):

  • 可使用純文字prompt、圖片加上prmopt的方式生成影像(免費版可產出2秒)
  • 可多參考其他使用者的promopt再加以修正及刪減,免費版也能有相當品質
  • 免費會員即可精準控制影像類型(有多項參數可調整)

Haiper (李良猷 推荐)

Haiper 會員資格 年付(八折優惠)

  • 免費會員:2~4秒
  • 付費會員:8秒

免費(測試版)

  1. 永久免費
  2. 每天10次創作
  3. 3個同時創作

探索者(測試版)

  1. $8/月(美金) 按年計費
  2. 無限次創作(測試版)
  3. 5個同時創作
  4. 優先使用新功能(有限免費)

專業(測試版)

  1. $24/月(美金) 按年計費
  2. 無限次創作(測試版)
  3. 10個同時創作
  4. 優先使用新功能(更多功能即將推出)
  5. 創建無浮水印影片
  6. 商業使用
  7. 私密創作

缺點(免費版):

  • 影片長度短,無法短時間內「客製」太多細節
  • 影像生成時間相對較長
  • 圖片及影像加文字重新生成的功能較難精確控制

優點(免費版):

  • 可使用純文字prompt、圖片加上prmopt的方式生成影像(免費版可產出2秒以及4秒影片)
  • 可多參考網站中其他使用者的promopt再加以修正及刪減,免費版也能有相當品質
  • 免費會員即可精準控制影像類型(動畫anime, cartoon類別、擬真realistic, photo等)
  • 影像整體品質相對高


Hedra

Hedra 是一款能讓圖片動起來的AI工具,用來讓人像說話,適合當旁白配音。

缺點

  • 只能生成512×512的影片,很模糊。
  • 動作的頻率太高,幅度太大,顯得誇張,令人物有點像在搞笑。
  • 有30秒限制。

優點

  • 能讓人像圖片動起來說話,沒有圖片也可以自動生成。

D-ID

讓AI會說話講中文!真人影片

D-ID 教學-讓照片開始動起來!

  1. 優點:
    • 創建具有會說話的頭像的影片,讓您的AI 影片在幾秒鐘內變得栩栩如生。
  2. 限制:
    • 目前試用免費約可製作6支影片,超過就會需要收費才能解鎖功能及去除浮水印

heygen

  1. 優點 優點
    1. 簡單易用、提供豐富的語音效果、節省時間和資源
  2. 缺點
    1. 積分限制
    2. 無可用的影片預覽選項
    3. 部分功能需要付費、語音效果可能不夠逼真

Luma (Dream Machine)

Luma 是一款圖像生成影片的 AI 工具。

缺點

  • 從範例看起來比 Sora 差,給定圖片人臉會換臉的問題還是很嚴重。
  • 限額:1天20次,1個月30次,每次大約五秒。

優點

  • 看起來效果不錯。試了一下遠勝過之前的圖生影片相關 AI (e.g. runway gen2, Pika)

付費?

示例

  1. 最新 AI 影片生成工具!秒殺 OpenAI Sora?直接免費用,Dream Machine 到底有多強? | 零度解說

ToonCrafter

ToonCrafter 是一款由香港大學開發的工具,可以幫助省下畫中間幀的時間。

缺點

  • 秒數少(2秒)。
  • 需要關鍵幀。
  • 需要強大硬體。
  • 香港大學開發,可能有疑慮。
  • 若是兩幀差太多,轉場會很硬。

優點

  • 可以省下時間畫中間的幀。
  • 可以幫草圖著色。

示例

  1. 這個免費的AI工具徹底改變了AI動畫 | 100%免費