LLM大模型单机运行实践

伴随ChatGPT的火爆及出圈,LLM瞬间成为投资圈和学术圈的热门方向。大模型训练和使用的成本是巨大的,甚至连科研机构都无法承担,但这不影响大家的热情,各个学术机构和大厂也相继发布了大模型的研究计划和成果,能够小成本训练甚至可以单机运行的模型逐渐出现。

这里记录可以单机运行的LLM的实践过程,包括LLaMA、ChatGLM-6B等。

Linux防火墙简析

伴随Linux防火墙的不断升级,nftables有逐渐替代iptables的趋势。不论是nft,还是iptables,都是借助netfilter实现的防火墙规则配置。只有理解了netfilter的逻辑,才能更好的理解如何配置规则,规则又如何更好实现防火墙的功能。本文不是规则配置的教程,主要侧重于基本框架。

Screen命令用法

远程登陆到Linux服务器后,经常需要执行一些需要很长时间才能完成的命令或者需要保持在线可以交互的命令,比如数据备份,文件传输等等。保持终端在线并等待命令执行完成显然非攻城狮所能接受,有时终端异常中断还会导致尚未完成的任务被Kill。这时,就需要利用Screen命令来完成,它是GNU提供的用户命令行终端切换的工具,可以保持会话永久在线,并能自由切换。

群晖使用笔记

作为最好用的家用NAS,可以充分挖掘并利用其功能。除了常用的File Station、Photo Station、Video Station、Surveillance Station等外,还可以使用Docker、虚拟机等,所以强烈推荐购买x86系列群晖。