parea.ai 是一个专为调试和监控大型语言模型（LLM）应用而设计的开发者工具包。用户可以通过该平台轻松管理LLM工作流程，评估和比较不同的提示，监控应用程序的性能，并进行版本控制和迭代。

用于实验、评估和部署基于检索增强生成 (RAG) 的系统的工具包，支持各种大语言模型 (LLM)，旨在减少 LLM 幻觉风险并提高可靠性。

Athina AI是一款旨在帮助开发者监控和评估其大语言模型（LLMs）应用程序的工具，专注于生产环境中的性能监控、故障检测以及提示管理。通过Athina，开发者可以实时跟踪LLMs的表现，及时发现并修复模型的幻觉问题，从而提升应用的可靠性和用户体验。

Embedditor 是一款先进的 AI 工具，旨在通过嵌入优化提升向量搜索的能力，类似于嵌入领域的 Microsoft Word。该工具为专业人士和开发者量身定制，提供强大的元数据和令牌增强功能，帮助用户提升大型语言模型（LLM）应用的效率和准确性。

Llog是一个为大型语言模型(LLM)设计的协作分析与洞察工具，能够通过简单的请求记录最终用户的交互，并便于所有商业利益相关者从这些日志中提取、分享和推导洞察。

Token.js是一个集成了200多个大型语言模型（LLM）的TypeScript SDK，采用OpenAI格式，支持在客户端运行，无需代理服务器，且为免费开源项目，得到了社区的广泛支持。

agentops 是一个 Python SDK，专为 AI 代理监控、LLM 成本跟踪和基准测试设计。它支持大多数 LLM 和代理框架的集成，包括 CrewAI、Langchain、Autogen、AG2 和 CamelAI，旨在帮助开发者和企业优化其 AI 代理的性能和成本效率。

本文对软件工程 (SE) 大型语言模型 (LLM) 的新兴领域进行了调查，提出了将LLM应用于软件工程师面临的技术问题的开放研究挑战。