内容标签

标签：CTransformers

一个功能强大的界面工具箱，它是使用 C 语言，能够在本机速度使其达到 Python 水平。通过这种方式，可以从 python 访问量化模型，而无需额外的工作。有两种版本：gptq 版本和 cpu 版本。第一个是当想要加载 GPTQ 模型并与之交互时安装；第二个是与 GGUF/GGML 文件一起使用，只能在 CPU 上运行。