官方 Ollama Docker 镜像 ollama/ollama 可在 Docker Hub 上获取。 要运行并与 Llama 3.2 聊天： Ollama 支持在 ollama.com/library 上提供的模型列表。 以下是一些可以下载的示例模型： [!NOTE] 你应该至少有 8 GB 的 RAM 来运行 7B 模型，16 GB 的 RAM 来运行 13B 模型，以及 32 GB 的 RAM 来运行 33B 模型。 Ollama 支持在 Modelfile 中导入 GGUF 模型： 创建一个名为 Modelfile 的文件，并在其中包含一个 FROM 指令，该指令指向你想要导入的模型的本地文件路径。 FROM ./vicuna-33b.Q4_0.gguf ollama create example -f Modelfile ollama run example 从 PyTorch 或 Safetensors 导入 有关导入模型的更多信息，请参阅 指南 。 来自 Ollama 库的模型可以通过提示进行自定义。例如，要自定义 llama3.2 模型： 创建一个 Modelfile ： 对于更多示例，请参阅 examples 目录。有关如何使用 Modelfile 的更多信息，请参阅 Modelfile 文档。 ollama create 用于从 Modelfile 创建模型。 此命令也可以用于更新本地模型。只有差异部分会被拉取。 对于多行输入，你可以用 """ 包裹文本： ollama serve 用于在不运行桌面应用程序的情况下启动 Ollama。 最后，在单独的 shell 中运行模型： Ollama 拥有一个用于运行和管理模型的 REST API。 请参阅 API 文档 以获取所有端点的信息。 Enchanted (macOS 原生) Minimalistic React UI for Ollama Models Cheshire Cat assistant framework NextJS Web Interface for Ollama WinForm Ollama Copilot NextChat 附带 入门文档 LLM-X (渐进式 Web 应用) AnythingLLM (Docker + macOS/Windows/Linux 原生应用) Ollama Basic Chat: 使用 HyperDiv 反应式 UI Ollama-chats RPG QA-Pilot (与代码仓库聊天) ChatOllama (基于 Ollama 的开源聊天机器人，支持知识库) CRAG Ollama Chat (简单的 Web 搜索，带有纠正的 RAG) RAGFlow (基于深度文档理解的开源检索增强生成引擎) StreamDeploy (LLM 应用框架) chat (团队聊天 Web 应用) Lobe Chat 附带 集成文档 Ollama RAG Chatbot (使用 Ollama 和 RAG 与多个 PDF 文件本地聊天) BrainSoup (灵活的原生客户端，带有 RAG 和多代理自动化) macai (macOS 客户端，支持 Ollama、ChatGPT 和其他兼容的 API 后端) Ollama Grid Search (评估和比较模型的应用) Olpaka (用户友好的 Flutter Web 应用，支持 Ollama) OllamaSpring (macOS 客户端，支持 Ollama) LLocal.in (易于使用的 Electron 桌面客户端，支持 Ollama) Shinkai Desktop (两步安装本地 AI，使用 Ollama + 文件 + RAG) AiLama (Discord 用户应用，允许你在 Discord 中与 Ollama 互动) Ollama with Google Mesop (使用 Ollama 的 Mesop 聊天客户端实现) R2R (开源 RAG 引擎) Ollama-Kis (一个简单易用的 GUI，带有示例自定义 LLM，用于驾驶员教育) OpenGPA (开源离线优先的企业代理应用) Painting Droid (带有 AI 集成的绘画应用) Kerlig AI (macOS 的 AI 写作助手) Sidellama (基于浏览器的 LLM 客户端) LLMStack (无代码多代理框架，用于构建 LLM 代理和工作流) BoltAI for Mac (Mac 的 AI 聊天客户端) Harbor (以 Ollama 为默认后端的容器化 LLM 工具包) PyGPT (适用于 Linux、Windows 和 Mac 的 AI 桌面助手) AutoGPT (AutoGPT Ollama 集成) Go-CREW (强大的 Golang 离线 RAG) PartCAD (使用 OpenSCAD 和 CadQuery 生成 CAD 模型) Ollama4j Web UI - 基于 Java 的 Ollama Web UI，使用 Vaadin、Spring Boot 和 Ollama4j 构建 PyOllaMx - macOS 应用，支持与 Ollama 和 Apple MLX 模型聊天 Claude Dev - VSCode 扩展，支持多文件/全仓库编码 Cherry Studio (支持 Ollama 的桌面客户端) ConfiChat (轻量级、独立、多平台、注重隐私的 LLM 聊天界面，可选加密) Archyve (支持 RAG 的文档库) crewAI with Mesop (运行 crewAI 的 Mesop Web 界面，支持 Ollama) Tkinter-based client (基于 Python tkinter 的 Ollama 客户端) LLMChat (注重隐私、100% 本地、直观的全功能聊天界面) Local Multimodal AI Chat (基于 Ollama 的 LLM 聊天，支持多种功能，包括 PDF RAG、语音聊天、图像交互和 OpenAI 集成) ARGO (在 Mac/Windows/Linux 上本地下载和运行 Ollama 和 Huggingface 模型，支持 RAG) OrionChat - OrionChat 是一个用于与不同 AI 提供商聊天的 Web 界面 G1 (使用提示策略改进 LLM 推理的原型，通过 o1 类推理链) Web management (Web 管理页面) Promptery (Ollama 的桌面客户端) Ollama App (现代且易于使用的多平台客户端，支持 Ollama) ollamarama-matrix (Matrix 聊天协议的 Ollama 聊天机器人) ollama-chat-app (基于 Flutter 的聊天应用) Perfect Memory AI (根据你在屏幕上的所见、会议中的所听和所说，个性化辅助的生产力 AI) Hexabot (对话式 AI 构建器) Reddit Rate (搜索和评分 Reddit 主题，带有加权求和) VT (一个最小的多模态 AI 聊天应用，支持动态对话路由。通过 Ollama 支持本地模型)

Nosia (基于 Ollama 的易于安装和使用的 RAG 平台) Witsy (适用于 Mac/Windows/Linux 的 AI 桌面应用) Abbey (可配置的 AI 接口服务器，支持笔记本、文档存储和 YouTube 支持) Ellama Emacs 客户端 ollama-chat.nvim gptel Emacs 客户端 llm-ollama 用于 Datasette 的 LLM CLI Ollama 专家混合模型 (MOE) 50 行代码实现 vim-intelligence-bridge “Ollama” 与 Vim 编辑器的简单交互 SwollamaCLI 与 Swollama Swift 包捆绑。 演示 aichat 一体化 LLM CLI 工具，包含 Shell 助手、Chat-REPL、RAG、AI 工具和代理，支持 OpenAI、Claude、Gemini、Ollama、Groq 等。 orbiton 无需配置的文本编辑器和 IDE，支持使用 Ollama 进行代码补全。 Apple Vision Pro MindsDB （将 Ollama 模型与近 200 个数据平台和应用程序连接） chromem-go 附带 示例 LangChain 和 LangChain.js 附带 示例 Firebase Genkit Spring AI 附带 参考 和 示例 LangChainGo 附带 示例 LangChain4j 附带 示例 LangChainRust 附带 示例 LlamaIndex 和 LlamaIndexTS OllamaFarm for Go OllamaSharp for .NET Ollama for Ruby Ollama-rs for Rust Ollama-hpp for C++ Ollama4j for Java ModelFusion Typescript 库 OllamaKit for Swift Ollama for Dart Ollama for Laravel Semantic Kernel - Python Elixir LangChain Ollama for R - rollama Ollama for R - ollama-r Ollama-ex for Elixir Ollama Connector for SAP ABAP PromptingTools.jl 附带 示例 llm-axe （用于构建 LLM 驱动应用程序的 Python 工具包） Gollama for Golang Ollamaclient for Golang Agents-Flex for Java 附带 示例 Parakeet 是一个 GoLang 库，旨在简化使用 Ollama 开发小型生成式 AI 应用程序的过程。 Haverscript 附带 示例 Ollama for Swift Swollama for Swift 附带 DocC Ollama for Haskell multi-llm-ts （一个允许通过统一 API 访问不同 LLM 的 Typescript/JavaScript 库） Ollama App （现代且易于使用的多平台 Ollama 客户端） ConfiChat （轻量级、独立、多平台且注重隐私的 LLM 聊天界面，可选加密） Discollama （Ollama Discord 频道内的 Discord 机器人） Vibe （使用 Ollama 转录和分析会议） Obsidian Ollama 插件 Logseq Ollama 插件 NotesOllama （Apple Notes Ollama 插件） Ollama Telegram 机器人 Obsidian BMO Chatbot 插件 Cliobot （支持 Ollama 的 Telegram 机器人） Copilot for Obsidian 插件 Obsidian Local GPT 插件 Open Interpreter Llama Coder （使用 Ollama 的 Copilot 替代方案） Ollama Copilot （允许你将 Ollama 用作类似 Github Copilot 的代理） twinny （使用 Ollama 的 Copilot 和 Copilot 聊天替代方案） Wingman-AI （使用 Ollama 和 Hugging Face 的 Copilot 代码和聊天替代方案） Page Assist （Chrome 扩展） Plasmoid Ollama Control （KDE Plasma 扩展，允许你快速管理和控制 Ollama 模型） AI Telegram 机器人 （使用 Ollama 作为后端的 Telegram 机器人） AI ST Completion （支持 Ollama 的 Sublime Text 4 AI 助手插件） Discord-Ollama 聊天机器人 （通用的 TypeScript Discord 机器人，附带调优文档） Discord AI 聊天/管理机器人 （用 Python 编写的聊天/管理机器人。使用 Ollama 创建个性。） Headless Ollama （脚本自动在任何操作系统上安装 Ollama 客户端和模型，适用于依赖 Ollama 服务器的应用程序） Terraform AWS Ollama & Open WebUI （一个 Terraform 模块，用于在 AWS 上部署一个即用型 Ollama 服务，附带前端 Open WebUI 服务） node-red-contrib-ollama Local AI Helper （Chrome 和 Firefox 扩展，允许与当前标签页和自定义 API 端点进行交互。包括用户提示的安全存储。） vnc-lm （支持附件和网页链接的容器化 Discord 机器人） LSP-AI （开源 AI 功能语言服务器） QodeAssist （Qt Creator 的 AI 功能编码助手插件） Obsidian Quiz Generator 插件 TextCraft （使用 Ollama 的 Word 中的 Copilot 替代方案） Alfred Ollama （Alfred 工作流） llama.cpp 项目由 Georgi Gerganov 创立。