local-LLM

llama.cpp 是以 C/C++ 实现的开源 LLM 推理项目，面向本地和异构硬件上的模型推理与服务。

Ollama 是面向本地运行和调用语言模型的开源工具与服务接口。

Open WebUI 是面向本地与外部模型服务的可自托管聊天界面。

Unsloth 是用于本地运行和微调语言模型的开源工具项目。