Llama Stack 簡介
Llama Stack 是一個專注於機器學習模型部署和優化的框架，是用於構建生成式人工智慧（Generative AI）應用程式的標準化模組化 API 規範。它定義了從模型訓練、微調，到產品評估，再到在生產環境中運行 AI 代理所需的各種構建模組。這些 API 涵蓋了推理（Inference）、安全（Safety）、記憶（Memory）、智能體系統（Agentic System）、評估（Evaluation）、訓練後處理（Post Training）、合成數據生成（Synthetic Data Generation）和獎勵評分（Reward Scoring）等關鍵元件。
Llama Stack 不僅提供了 API 規範，還在構建開源的 API 提供者（Provider），並與各種供應商合作，確保開發者能夠使用一致且可互操作的元件在不同平台上構建 AI 解決方案。例如，對於推理 API，可以選擇 PyTorch、vLLM 或 TensorRT 等開源庫作為後端實現。
除了 API 提供者，Llama Stack 還提供了發行版（Distribution），將 API 和提供者組裝在一起，為應用程式開發者提供一致的整體解決方案。開發者可以混合搭配不同的提供者，例如在本地使用小型模型，但為大型模型選擇雲端供應商。無論選擇何種組合，高階應用程式介面保持不變。
Llama Stack 開源地址
正文完