本地 LLM 工具

本地模型、桌面推理、私有聊天、离线工作流和端侧 AI 工具,面向隐私、本地部署和离线使用。

全部分类

适用场景

  • 评估真实任务是否匹配该工具分类。
  • 比较输出质量、协作流程和人工复核成本。
  • 把工具放入完整工作流,而不是只看单点能力。

选型提示

  • 优先核对官方来源、价格、额度和地区可用性。
  • 发布内容、业务承诺和敏感数据必须保留人工审核。

如何评估本地 LLM 工具工具

本地大模型工具在你掌控的硬件上运行语言模型,用于私密对话、离线工作流、记笔记和隐私敏感任务。它们去掉按次费用、把数据留在你的机器上,这在隐私重要或你想摆脱托管服务时很有价值。不过上限由硬件决定:本地运行模型主要是你设备有多少内存的问题。

选择本地工具时,让模型尺寸匹配你的设备内存,从可能完成任务的最小模型开始,只有质量不够时才往上加。量化模型往往在质量和速度间取得最佳平衡。在为日常工作投入本地方案前,用你真实的提示测试实际响应速度,并核实工具的更新节奏和模型管理体验。本地模型会以与托管模型相同的方式出错,所以重要输出仍需审核。

本地 LLM 工具 工具

已人工审核并映射到该分类的种子工具。

Ollama

适合在开发者本机下载、测试和服务 LLM 的本地模型运行器。

Local LLM Model runner Developer tool
open source 详情

LM Studio

适合发现、聊天测试和本地服务语言模型的桌面应用。

Local LLM Desktop Model testing
free 详情