KTransformers：一个灵活的CPU-GPU异构大模型推理与微调框架 KTransformers: A Flexible Framework for CPU-GPU Heterogeneous LLM Inference and Fine-Tuning
KTransformers 是一个专注于通过 CPU-GPU 异构计算实现大模型高效推理与微调的开源研究项目，已获 19k 星标。 KTransformers is an open-source research project focused on efficient LLM inference and fine-tuning via CPU-GPU heterogeneous computing, with 19k stars.
项目概览
KTransformers 是一个开源研究项目，旨在通过 CPU-GPU 异构计算实现大语言模型的高效推理和微调。项目提供推理和 SFT（监督微调）两大功能，基于 kt-kernel 源码树构建。
- 2026年6月21日：MiniMax-M3 Day0 支持
- 2026年6月17日：GLM-5.2 Day0 支持
- 2026年5月6日：在 GOSIM Paris 2026 展示消费级硬件推理性能
- 2026年5月2日：DeepSeek-V4-Flash 支持
- 2026年4月30日：KTransformers v0.6.1 发布，更新推理和 SFT 文档
KTransformers 凭借灵活的异构计算架构和对最新模型（如 MiniMax-M3、GLM-5.2、DeepSeek-V4-Flash）的快速适配，成为大模型推理与微调领域的重要开源工具。
Overview
KTransformers is an open-source research project for efficient LLM inference and fine-tuning via CPU-GPU heterogeneous computing. It offers inference and SFT capabilities built on the kt-kernel source tree.
- June 21, 2026: MiniMax-M3 Day0 Support
- June 17, 2026: GLM-5.2 Day0 Support
- May 6, 2026: Presented at GOSIM Paris 2026 on consumer hardware
- May 2, 2026: DeepSeek-V4-Flash Support
- Apr 30, 2026: KTransformers v0.6.1 release with updated docs
With its flexible heterogeneous computing architecture and rapid support for latest models (MiniMax-M3, GLM-5.2, DeepSeek-V4-Flash), KTransformers is becoming a key open-source tool for LLM inference and fine-tuning.
来源
- GitHub Trending · 07-25 08:01