以圖照生成影片

出自福留子孫
在2024年7月22日 (一) 15:42由丁志仁（對話 | 貢獻）所做的修訂版本

跳轉到： 導覽、 搜尋

統一角色生成影片

  1. 以TensorArt生成圖片
    • 設定好角色外觀生成想要的角色
    • 鎖定seed以產生同一角色不同面向，增加樣本數
    • TensorArt為完全免費，每日可生成100點(免費帳戶生成最高限制為四點左右，一日約可生成25張以上)
  2. 以PixVerse生成該角色片段
    • 以"Character To Video"的功能生成角色樣本
    • 點選Character To Video - 點選「＋」符號 - 上傳以TensorArt生成之角色照片 - 為該角色命名
    • 輸入Prompts, negative prompts(不希望出現的元素＆錯誤)
    • PixVerse可完全免費使用(有浮水印)，初使用者150點，每日補充50點，一隻影片消耗10點。
  3. 以InvideoAI生成角色之外的影片內容
    • 單次可生成約1~2分鐘之影片(依照文本)，能選擇旁白及語音種類
    • 可在生成網站中以自己的影片素材置換InVideo生成的影片片段，調整成使用者需要的影像。
    • 免費使用者每週可生成總共10次影片，輸出4次
    • 可共同協作
  4. 利用Haiper、Luma、Runway Gen-2等網站增加角色之外的影片素材
  5. 利用Suno製作需要的配樂

給課主的建議

  • 在多鏡頭角色統一外觀的連戲處理中，有幾個要點需要注意。
  • 影片部分：
    1. 推薦使用Luma進行嘗試。這個工具在動作改變較大時效果更好。
    2. Runway Gen-3內含的相機鏡位參數也能調整，值得一試，不過技術門檻稍高。
    3. 單純使用Haiper生成統一角色在不同場景或動作中會比較困難。
  • 此外，可以使用一些其他工具來輔助生圖，使用這些工具生成圖片後，可以置入上述軟體中多方面編輯，不過須注意圖生影片的自由度低於文字生影片。。
    1. TensorArt完全免費（亦可付費升級使用權限），可以固定使用seed並逐步調整生成所需的圖片。
    2. MidJourney則需付費，與DALL-E同為目前大眾主流生成網站。
  • 在配樂方面，推薦使用Suno生成音樂。

簡易分類如下

  1. 圖片、文字生成影片：
    1. Pika Labs
    2. Haiper
    3. Luma
    4. Gen-3
    • 目前Luma在技術門檻和成果表現的CP值上較高，優於Haiper和Pika。
  2. 虛擬主播開口講話：
    1. D-ID
    2. Hedra
    3. heygen
  3. 動畫補幀：
    1. ToonCrafter

多鏡頭角色統一外觀的要領(連戲)

  1. 推薦用luma 嘗試，動作會改變得比較大(Runway Gen-3內含相機鏡位參數供調整，可嘗試看看)
  2. 單一以Haiper生成統一角色/不同場景or動作較為困難
  3. 可使用TensorArt(可完全免費使用), MidJourney(需付費)，使用固定的seed並逐漸調整prompt以生成所需圖片，再置入上述軟體多方面編輯(圖生影片較文字生影片自由度低)
  4. 配樂可使用Suno生成

簡易分類

  1. 圖片、文字生影片
    1. Pika Labs
    2. Haiper
    3. Luma
    4. Gen-3
    • 目前體感 Luma>Haiper>Pika
  2. 虛擬主播開口講話
    1. D-ID
    2. Hedra
    3. heygen
  3. 動畫補幀
    1. ToonCrafter

Pika Labs

  • 免費&付費會員：2~5秒

免費

  • 250 初始點數
  1. 初始點數用完後，每天可補充 30 點
  2. Lip Sync 音訊產生每個需要 2 點
  3. 可下載影片

標準

  1. $8/月(美金) 按年計費
  2. 每月更新 700 個積分
  3. 免費唇形同步音訊生成
  4. 高檔解析度
  5. 無浮水印
  6. 延長影片長度
  7. 以折扣價購買更多積分

無限

  1. 無限chill generation
  2. $28/月(美金) 按年計費
  3. 每月更新 2000 個積分
  4. 延長影片長度

專業

  1. $58/月(美金) 按年計費
  2. 無限lightening generation
  3. 無限積分
  4. 搶先體驗新功能
  5. 商業條款
  6. 延長影片長度

缺點(免費版)：

  • 影片長度短，無法短時間內「客製」太多細節
  • 風格限制：Pica Labs目前提供的風格選項有限，可能無法滿足所有用戶的需求。

優點(免費版)：

  • 可使用純文字prompt、圖片加上prmopt的方式生成影像（免費版可產出2秒）
  • 可多參考其他使用者的promopt再加以修正及刪減，免費版也能有相當品質
  • 免費會員即可精準控制影像類型（有多項參數可調整）

Haiper (李良猷 推荐)

Haiper 會員資格 年付（八折優惠）

  • 免費會員：2~4秒
  • 付費會員：8秒

免費（測試版）

  1. 永久免費
  2. 每天10次創作
  3. 3個同時創作

探索者（測試版）

  1. $8/月(美金) 按年計費
  2. 無限次創作（測試版）
  3. 5個同時創作
  4. 優先使用新功能（有限免費）

專業（測試版）

  1. $24/月(美金) 按年計費
  2. 無限次創作（測試版）
  3. 10個同時創作
  4. 優先使用新功能（更多功能即將推出）
  5. 創建無浮水印影片
  6. 商業使用
  7. 私密創作

缺點(免費版)：

  • 影片長度短，無法短時間內「客製」太多細節
  • 影像生成時間相對較長
  • 圖片及影像加文字重新生成的功能較難精確控制

優點(免費版)：

  • 可使用純文字prompt、圖片加上prmopt的方式生成影像（免費版可產出2秒以及4秒影片）
  • 可多參考網站中其他使用者的promopt再加以修正及刪減，免費版也能有相當品質
  • 免費會員即可精準控制影像類型（動畫anime, cartoon類別、擬真realistic, photo等）
  • 影像整體品質相對高


Hedra

Hedra 是一款能讓圖片動起來的AI工具，用來讓人像說話，適合當旁白配音。

缺點

  • 只能生成512×512的影片，很模糊。
  • 動作的頻率太高，幅度太大，顯得誇張，令人物有點像在搞笑。
  • 有30秒限制。

優點

  • 能讓人像圖片動起來說話，沒有圖片也可以自動生成。

D-ID

讓AI會說話講中文！真人影片

D-ID 教學－讓照片開始動起來！

  1. 優點：
    • 創建具有會說話的頭像的影片，讓您的AI 影片在幾秒鐘內變得栩栩如生。
  2. 限制：
    • 目前試用免費約可製作6支影片，超過就會需要收費才能解鎖功能及去除浮水印

heygen

  1. 優點 優點
    1. 簡單易用、提供豐富的語音效果、節省時間和資源
  2. 缺點
    1. 積分限制
    2. 無可用的影片預覽選項
    3. 部分功能需要付費、語音效果可能不夠逼真

Luma (Dream Machine)

Luma 是一款圖像生成影片的 AI 工具。

缺點

  • 從範例看起來比 Sora 差，給定圖片人臉會換臉的問題還是很嚴重。
  • 限額：1天20次，1個月30次，每次大約五秒。

優點

  • 看起來效果不錯。試了一下遠勝過之前的圖生影片相關 AI (e.g. runway gen2, Pika)

付費？

免費：每天 30 段影片

示例

  1. 最新 AI 影片生成工具！秒殺 OpenAI Sora？直接免費用，Dream Machine 到底有多強？ | 零度解說

ToonCrafter

ToonCrafter 是一款由香港大學開發的工具，可以幫助省下畫中間幀的時間。

缺點

  • 秒數少(2秒)。
  • 需要關鍵幀。
  • 需要強大硬體。
  • 香港大學開發，可能有疑慮。
  • 若是兩幀差太多，轉場會很硬。

優點

  • 可以省下時間畫中間的幀。
  • 可以幫草圖著色。

示例

  1. 這個免費的AI工具徹底改變了AI動畫 | 100%免費
取自「http://jendo.org/wellBeingNg/index.php?title=以圖照生成影片&oldid=20407」