ModuleFormer是一种基于MoE（Mixture of Experts）的架构，旨在提高大型语言模型的计算效率和可扩展性。其设计允许通过稀疏激活专家子集来实现与密集型语言模型相同的性能，同时在吞吐量上超过两倍。此外，它对灾难性遗忘具有免疫力，能够通过引入新专家来学习新知识，并且支持对特定微调任务的专家进行专注，便于轻量级部署。

NEXUS是基于RNS-CKKS的安全变换器推理的非交互式协议，旨在为安全深度学习推理提供高效的解决方案，能够有效地保护数据隐私，同时降低通信开销，支持多种深度学习模型的安全推理。

Lorax 是一个基于 JAX 实现的低秩适应（LoRA）工具，旨在帮助研究人员和开发者高效微调大型语言模型。它利用低秩矩阵的方式，减少了微调过程中需要调整的参数数量，提升了计算效率，同时保持了模型性能。Lorax 易于集成，适合快速实验与原型开发，特别是在处理大型预训练模型时表现出色。