Comfy-Org/ComfyUI
最強的節點式擴散模型工作流介面,把生圖流程拆成可視化的節點圖自由串接。
語音、影像與多模態
這個主題底下的 78 個 repo。
78 筆結果
harry0703/MoneyPrinterTurbo
輸入一個主題或關鍵字,自動用 AI 生成高畫質短影片(腳本、配音、字幕、素材一條龍)。
RVC-Boss/GPT-SoVITS
只要 1 分鐘語音資料就能訓練出好用的 TTS 模型,少樣本語音克隆的代表作。
remotion-dev/remotion
用 React 寫程式來產生影片,把影片當成可版控、可參數化的元件。
microsoft/VibeVoice
微軟開源的前沿語音 AI 模型,主打長篇、多說話者的自然語音生成。
suno-ai/bark
文字驅動的生成式音訊模型,除了說話還能生笑聲、歌聲與環境音。
OpenBMB/VoxCPM
免 tokenizer 的多語言 TTS,支援創意音色設計與高擬真語音克隆。
Zackriya-Solutions/meetily
隱私優先的 AI 會議助理:本機即時轉錄、分辨說話者、用 Ollama 摘要,完全不上雲。
hpcaitech/Open-Sora
開源版 Sora,讓一般人也能用得起的高效率影片生成模型與訓練流程。
ATH-MaaS/Pixelle-Video
全自動短影片生成引擎,串起 ComfyUI 生圖、TTS 配音與影片合成。
resemble-ai/chatterbox
目前效果最好的開源 TTS 之一,支援情緒誇張度控制。
SYSTRAN/faster-whisper
用 CTranslate2 重寫的 Whisper,速度快數倍、記憶體省很多,是本機轉錄的首選。
QwenLM/Qwen3-VL
通義千問團隊的 Qwen3-VL 多模態大模型系列,看得懂圖片與影片。
facebookresearch/sam2
Meta 的 Segment Anything 2,影像與影片都能一鍵切割任意物件。
nari-labs/dia
一次生成超擬真對話的 TTS 模型,適合做多角色的口語內容。
KlingAIResearch/LivePortrait
讓靜態人像動起來:高效率的表情與頭部動作驅動,可用來做數位人。
BradyFU/Awesome-Multimodal-Large-Language-Models
多模態大模型的最新進展彙整,論文、榜單、資源持續更新。
deepseek-ai/Janus
DeepSeek 的統一多模態模型,理解與生成用同一套架構處理。
Wan-Video/Wan2.1
阿里的開源大規模影片生成模型,消費級顯示卡也跑得動。
datawhalechina/leedl-tutorial
李宏毅深度學習課程的完整中文筆記(蘋果書),華語圈最受歡迎的深度學習入門教材之一。
SWivid/F5-TTS
用 Flow Matching 做的高擬真 TTS,合成速度與自然度都很突出。
duixcom/Duix-Avatar
真正開源的數位人工具包,可離線生成影片與克隆數位分身。
microsoft/TRELLIS
微軟的 3D 生成模型,從文字或圖片產生高品質 3D 資產。
Vaibhavs10/insanely-fast-whisper
把 Whisper 榨到極快的推論腳本,幾分鐘轉完數小時音檔。
ace-step/ACE-Step-1.5
本機跑的音樂生成模型,效果勝過多數商用方案,Mac、AMD、Intel、CUDA 都支援。
rany2/edge-tts
不用 Edge、不用 Windows、不用 API key,直接從 Python 呼叫微軟 Edge 的線上 TTS。
qubvel-org/segmentation_models.pytorch
語意分割模型庫,500+ 預訓練骨幹網路,換一行就換模型。
QuentinFuxa/WhisperLiveKit
本機即時語音轉文字:串流 ASR、分辨說話者、即時翻譯,API 相容 OpenAI 與 Deepgram。
SparkAudio/Spark-TTS
Spark-TTS 的推論程式碼,基於 LLM 架構的高品質語音合成。
KoljaB/RealtimeSTT
低延遲的即時語音轉文字函式庫,內建語音活動偵測與喚醒詞。
PeterL1n/RobustVideoMatting
穩健的即時影片去背,支援 PyTorch、TensorFlow.js、ONNX、CoreML 多種部署。
deepbeepmeep/Wan2GP
為顯示卡不夠力的人最佳化的影片生成器,支援 Wan、LTX、Hunyuan、Flux 等多種模型。
studio-dots-ai/dots.ocr
用單一視覺語言模型做多語言文件版面解析,一次搞定 OCR 與結構還原。
jianchang512/clone-voice
帶網頁介面的聲音克隆工具,用你的音色或任意聲音錄製音檔。
JimmyLv/awesome-nano-banana
Gemini 2.5 Flash Image(Nano Banana)生成圖與提示詞的精選集,想學怎麼下圖片 prompt 看這個。
boson-ai/higgs-audio
Boson AI 的文字—音訊基礎模型,語音生成與理解共用同一套骨幹。
jamez-bondos/awesome-gpt4o-images
GPT-4o 與 gpt-image-1 生成圖片與提示詞的精選集,看範例學怎麼描述畫面。
Zyphra/Zonos
用 20 萬小時多語言語音訓練的開放權重 TTS,表現力與品質接近商用等級。
ngxson/smolvlm-realtime-webcam
用 SmolVLM 加 llama.cpp 做的即時鏡頭視覺理解 demo。
modstart-lib/aigcpanel
一站式的 AI 數位人系統,影片合成、聲音合成、聲音克隆,本機模型一鍵匯入。
OHF-Voice/piper1-gpl
快速的本機神經 TTS 引擎,樹莓派等低階裝置也跑得動。
nICEnnnnnnnLee/BilibiliDown
B 站影片下載器(圖形介面),支援稍後再看、收藏夾與 UP 主批次下載。
Anil-matcha/AI-Youtube-Shorts-Generator
開源版 Opus Clip:把長影片自動剪成 9:16 短片,含精華偵測、Whisper 字幕與自動裁切。
SandAI-org/MAGI-1
自迴歸式的大規模影片生成模型,擅長長影片的時序連貫性。
NExT-GPT/NExT-GPT
任意模態轉任意模態的多模態大模型,文字、圖片、影片、音訊都能互轉。
Soul-AILab/SoulX-Podcast
從文字生成高擬真播客的推論程式碼,支援多說話者與自然對話節奏。
QwenLM/Qwen3-ASR
通義千問的開源語音辨識模型系列,支援多語言、音樂與歌曲辨識和語種偵測。
MiniMax-AI/MiniMax-01
MiniMax 基於線性注意力的文字與視覺語言模型,主打超長脈絡。
chenyme/Chenyme-AAVT
全自動影音翻譯:Whisper 辨識、大模型翻字幕、再合併回影片。
axcore/tartube
youtube-dl 的圖形介面前端,用 Python 與 GTK 寫成,批次下載管理方便。
LeeJunHyun/Image_Segmentation
U-Net、R2U-Net、Attention U-Net 等醫學影像分割模型的 PyTorch 實作。
Tramac/awesome-semantic-segmentation-pytorch
PyTorch 語意分割模型大集合,FCN、PSPNet、DeepLabv3+ 等二十多種一次收齊。
bytedance/InfiniteYou
字節跳動的人像重繪模型,換場景換風格但保持你的長相不走鐘。
miantiao-me/hacker-podcast
每天自動抓 Hacker News 熱門文章,用 AI 生成中文摘要再轉成播客。
alecm20/story-flicks
用大模型一鍵生成高畫質故事短片,腳本、配圖、配音一次搞定。
harry0703/AudioNotes
快速把影音內容抽出來整理成結構化的 Markdown 筆記。
PKU-YuanGroup/LLaVA-CoT
能自發進行系統性推理的視覺語言模型,把思考鏈帶進看圖回答。
QwenLM/Qwen2-Audio
阿里雲通義千問的大型音訊語言模型,可直接聽音檔對話。
Hao0321/video-autopilot-kit
自己填資料的 YouTube 短影片自動化框架:剪映 JSON 加 ffmpeg 工具鏈,不含任何私人資料。
wwbin2017/bailing
類 GPT-4o 的語音對話機器人,ASR + LLM + TTS 串起來,延遲低到 800ms,可打斷,低配 Mac 也跑得動。
FoloUp/FoloUp
自架的 AI 語音面試官,替招募流程做初步篩選。
aTrainTranscription/aTrain
離線語音轉錄的圖形介面工具,含說話者分離,資料完全不出本機。
senstella/parakeet-mlx
用 MLX 把 NVIDIA Parakeet 語音辨識模型搬到 Apple Silicon 上跑。
ImprintLab/Medical-SAM2
把 Segment Anything 2 用在 3D 醫學影像分割上。
DataoceanAI/Dolphin
多語言多任務的語音辨識模型,由海天瑞聲與清華大學共同訓練。
imelnyk/ArxivPapers
把 arXiv 論文自動轉成講解影片的程式碼。
chrischoy/WhisperChain
語音轉文字加上 AI 潤稿:自動清掉贅詞、修飾語句,輸出可直接用的文字。
AS-AIGC/TranscriptHub
逐字稿處理平台,把語音內容集中管理與轉錄。
PCL-Voice/PengChengStarling
基於 icefall 開發多語言 ASR 模型的完整流程,含資料處理、訓練與部署。
thepersonalaicompany/amurex-backend
Amurex AI 會議助理專案的後端程式碼。
hanifabd/voice-activity-detection-vad-realtime
即時語音活動偵測(VAD),附語音機器人與即時轉錄的使用範例。
deepbeepmeep/Cosmos1GP
把 NVIDIA Cosmos 世界模型最佳化到消費級顯示卡也跑得動的版本。
mtkresearch/generative-fusion-decoding
聯發科研究院的生成融合解碼:把 LLM 接進 ASR 與 OCR 的辨識流程來提升準確度。
Winston774/ai-music-channel-starter
AI 音樂 YouTube 頻道的自動化起手包:生成、審查、上傳與數據追蹤。
Farzad-R/Finetune-LLAVA-NEXT
微調 LLAVA-1.6-7b-mistral 多模態模型的完整程式碼。
HighCWu/flux-4bit
把 FLUX 生圖模型量化到 4bit,讓小顯存也能跑。
myyang19770915/MOSS-ASR
串流語音辨識加上 LLM 智慧比對校稿,提升逐字稿正確率。
ChihchengHsieh/Multimodal-Medical-Diagnosis-System
多模態醫療診斷系統的研究實作。