rasbt/LLMs-from-scratch
用 PyTorch 從零一步步實作出一個類 ChatGPT 的 LLM,是理解 Transformer 內部最扎實的教材。
模型、訓練與推論
這個主題底下的 65 個 repo。
65 筆結果
deepseek-ai/DeepSeek-R1
DeepSeek 的開源推理模型,用大規模強化學習訓練出接近 o1 等級的思考能力。
unslothai/unsloth
本機微調與執行 LLM 的工具,速度快、記憶體省,支援 GGUF、MLX 與各家新模型。
hiyouga/LlamaFactory
統一介面微調 100+ 種 LLM 與視覺語言模型,支援 LoRA、QLoRA 等各種高效微調法。
jingyaogong/minimind
兩小時從零訓練出一個 64M 參數的 LLM,是理解訓練全流程最小可行的教材。
google/langextract
Google 的 Python 函式庫,用 LLM 從非結構化文字抽出結構化資訊,而且能精準標出出處在原文哪一段。
stanfordnlp/dspy
把 LLM 應用當程式來寫而不是靠調 prompt,自動最佳化提示詞與權重的框架。
alchaincyf/nuwa-skill
蒸餾任何人的思考方式:心智模型、決策捷思、表達 DNA,把一個人的思維打包成可複用的 skill。
QwenLM/Qwen3
阿里雲通義千問團隊的 Qwen3 開源大模型系列。
huggingface/open-r1
Hugging Face 對 DeepSeek-R1 的完全開源復現,訓練資料與流程全公開。
confident-ai/deepeval
LLM 的評估框架,像 pytest 一樣寫測試來驗證模型輸出品質。
dair-ai/ML-YouTube-Courses
YouTube 上的機器學習與 AI 課程精選清單,免費資源集散地。
ageron/handson-ml3
《Hands-On Machine Learning》第三版的 notebook,用 Scikit-Learn、Keras、TensorFlow 打底。
Lightning-AI/litgpt
20+ 個高效能 LLM 的預訓練、微調與部署配方,程式碼乾淨好讀。
dair-ai/AI-Papers-of-the-Week
每週精選最重要的 ML 論文,想追進度但沒時間讀 arXiv 的人適用。
ShishirPatil/gorilla
訓練與評估 LLM 呼叫 API 的能力,是 function calling 研究的代表作。
NVIDIA/personaplex
NVIDIA 的 PersonaPlex 專案程式碼,做角色化的對話代理。
xorbitsai/inference
改一行程式就能把 GPT 換成任何開源模型,語音與多模態模型也能統一在雲端或筆電上跑。
oumi-ai/oumi
端到端的開源模型平台,微調、評估、部署 Qwen、Gemma 等開放權重 LLM 都用同一套介面。
NVIDIA/garak
LLM 的弱點掃描器,自動測試提示注入、資料外洩、越獄等安全問題。
NVIDIA/Isaac-GR00T
NVIDIA 的通用機器人基礎模型,讓機器人從示範影片學會操作任務。
ai-dynamo/dynamo
資料中心規模的分散式推論服務框架,支援分離式部署與智慧路由。
microsoft/TinyTroupe
用 LLM 模擬一群有個性的虛擬人物,拿來做腦力激盪與商業洞察。
guardrails-ai/guardrails
替 LLM 加上護欄:驗證輸出格式、過濾不當內容、失敗時自動重試。
linkedin/Liger-Kernel
LinkedIn 開源的 Triton kernel,讓 LLM 訓練吞吐提升、顯存用量大降。
jeinlee1991/chinese-llm-benchmark
中文大模型能力評測榜,已涵蓋 374 個模型,商用與開源都測。
shibing624/MedicalGPT
訓練醫療大模型的完整流程,含增量預訓練、SFT、RLHF、DPO、GRPO。
getzep/zep
Zep 記憶服務的範例與整合,用知識圖譜替 agent 保存長期記憶。
openai/simple-evals
OpenAI 官方的輕量模型評測腳本,用來重現各家模型的標準 benchmark 分數。
PrimeIntellect-ai/verifiers
強化學習環境與評估的函式庫,用來訓練會用工具、能驗證答案的模型。
build-with-groq/g1
用 Groq 上的 Llama-3.1 70b 生成類 o1 的推理鏈,展示怎麼用提示工程逼出思考步驟。
predibase/lorax
多 LoRA 推論伺服器,一張卡上可同時服務上千個微調過的模型。
ridgerchu/matmulfreellm
不用矩陣乘法的語言模型實作,大幅降低推論時的能耗與記憶體。
zjunlp/EasyEdit
好上手的 LLM 知識編輯框架,不用重訓就能改掉模型記錯的事實。
WenjieDu/PyPOTS
處理有缺失值的時間序列的機器學習工具箱,收錄 50+ 個最新的神經網路模型。
meta-llama/synthetic-data-kit
Meta 的合成資料生成工具,用來替微調準備高品質訓練集。
NVIDIA/RULER
測長脈絡模型「真正」能用多長脈絡的基準,揭穿宣稱的視窗長度與實際落差。
AlibabaResearch/DAMO-ConvAI
阿里達摩院對話式 AI 的官方程式碼庫,涵蓋多輪對話與任務型對話研究。
Google-Health/medgemma
Google Health 的 MedGemma 醫療多模態開放模型,能讀醫學影像與病歷文字。
sail-sg/understand-r1-zero
批判性地理解 R1-Zero 式訓練:純強化學習到底學到了什麼、哪些說法站不住腳。
SakanaAI/self-adaptive-llms
讓 LLM 即時適應沒見過任務的自我調適框架。
cxcscmu/Craw4LLM
為 LLM 預訓練設計的高效率網頁爬蟲,只挑真正有訓練價值的網頁抓。
Wang-ML-Lab/llm-continual-learning-survey
大語言模型持續學習的完整綜述(CSUR 2025)。
ZongqianLi/ReasonGraph
把模型的推理路徑視覺化的展示工具(ACL 2025 Demo)。
NVIDIA/Star-Attention
NVIDIA 的長序列高效推論注意力機制,大幅降低長脈絡的計算成本。
SamuelSchmidgall/AgentClinic
醫療診斷的 agent 評測基準,模擬真實問診情境。
shangshang-wang/Tina
用 LoRA 訓練出的極小推理模型,證明小模型也能學會思考(ICLR 2026)。
mtkresearch/MR-Models
聯發創新基地的基礎模型研究成果,主打適合繁體中文使用者的模型。
knowsuchagency/promptic
LLM 應用開發需要的 90% 功能,多餘的一個都沒有,極簡的 Python 介面。
Jiaqi-Chen-00/ImBD
先模仿再偵測:針對「被 AI 潤飾過」的文字設計的機器文本偵測方法(AAAI 2025 oral)。
patrickloeber/llm-data-scrapers
替 LLM 蒐集訓練資料的開源工具與爬蟲清單。
CryptoAILab/JailbreakEval
自動化的越獄嘗試評估器合集,用來衡量 LLM 的安全防護強度。
LibertFan/AI_Hospital
AI 醫院:讓 LLM 扮演實習醫師進行臨床診斷的互動式評測與協作環境。
FreedomIntelligence/Chain-of-Diagnosis
可解釋的醫療診斷大模型,把診斷推理鏈一步步攤開。
ai-twinkle/Eval
高效能 LLM 評測框架,平行呼叫 API 比循序工具快 17 倍,支援 box、數學與 logit 三種評估。
stream-bench/stream-bench
評估 agent 在串流情境下能不能隨時間變強的先驅性基準。
LLMSELECTOR/LLMSELECTOR
替每個查詢挑選最合適模型的路由研究,兼顧成本與品質。
envy-ai/Wan2.1-quantized
量化最佳化過的 Wan2.1 影片生成模型,塞得進 3090/4090。
LiuYuWei/llm-colab-application
演講用的 LLM Colab 應用範例。
AIAnytime/Qwen2-VL-Fine-Tuning
用 LlamaFactory 微調 Qwen2-VL 視覺語言模型的範例。
Jakevin/o1-like-prompt
模擬 o1 推理鏈的提示詞,讓一般模型也展開思考步驟。
DanielSun94/conversational_diagnosis
對話式醫療診斷的研究程式碼。
appier-research/streambench-final-project
台大應用深度學習課程期末專題,基於 StreamBench 研究持續學習。
TGoldsack1/BioLaySumm2024-evaluation_scripts
BioLaySumm 2024 共享任務的官方評估腳本。
nullxjx/transformers-online-inference
用 transformers 加 FastAPI 搭起來的 LLM 線上推論服務。