LOMO是一种新的优化器，旨在降低大型语言模型（LLM）训练的门槛，促进全参数微调在有限资源下的应用。它通过将梯度计算和参数更新融合在一个步骤中，显著降低了内存使用，最高可节省10.8%。这使得在资源有限的环境中也能进行大规模模型的训练。
