LLM大模型单机运行实践

伴随ChatGPT的火爆及出圈,LLM瞬间成为投资圈和学术圈的热门方向。大模型训练和使用的成本是巨大的,甚至连科研机构都无法承担,但这不影响大家的热情,各个学术机构和大厂也相继发布了大模型的研究计划和成果,能够小成本训练甚至可以单机运行的模型逐渐出现。

这里记录可以单机运行的LLM的实践过程,包括LLaMA、ChatGLM-6B等。