N8loom是一个基于树结构的前缀缓存库,专为LLM(大语言模型)生成的层级分支路径提供快速创建和处理的解决方案。它通过缓存树结构实现高效的多分支并行处理,支持批量和流式生成文本,并包含FastAPI服务器示例,方便部署为在线服务。