通过 4-bit 量化加载和运行 Mistral 7B AI
法国初创公司 Mistral 推出了第一个模型 —— Mistral 7B ，引起了科技界的轰动，并获得了迄今为止同类规模中最强大的语言模型的称号。 本文将展示通过 4-bit 量化加载和运行运行 Mistral 7B AI
内容标签
标签：QLoRA