Ollama
适合在开发者本机下载、测试和服务 LLM 的本地模型运行器。
Local LLM Model runner Developer tool
open source 详情
本地模型、桌面推理、私有聊天、离线工作流和端侧 AI 工具,面向隐私、本地部署和离线使用。
本地大模型工具在你掌控的硬件上运行语言模型,用于私密对话、离线工作流、记笔记和隐私敏感任务。它们去掉按次费用、把数据留在你的机器上,这在隐私重要或你想摆脱托管服务时很有价值。不过上限由硬件决定:本地运行模型主要是你设备有多少内存的问题。
选择本地工具时,让模型尺寸匹配你的设备内存,从可能完成任务的最小模型开始,只有质量不够时才往上加。量化模型往往在质量和速度间取得最佳平衡。在为日常工作投入本地方案前,用你真实的提示测试实际响应速度,并核实工具的更新节奏和模型管理体验。本地模型会以与托管模型相同的方式出错,所以重要输出仍需审核。
继续浏览相邻工作流和工具族。