awesome_LLM-harmful-fine-tuning-papers-聚焦语言模型有害微调研究

Multipack Sampler是一种专门为大型语言模型设计的分布式采样器，旨在实现快速的无填充训练，提升训练效率同时优化资源使用。

NODE GAM是一个可微分的广义加法模型，旨在为深度学习提供可解释性。它结合了深度学习的强大性能与可解释模型的透明性，帮助用户理解模型的决策过程。

OpenAI Translator Bob Plugin是一个基于OpenAI API (GPT-3)的翻译插件，支持多种语言的实时翻译，用户可以通过简单的接口在Bob应用中轻松调用翻译功能，也可自定义翻译语言对，并获取翻译历史记录。

OpenAI PR Reviewer 是一个基于 OpenAI GPT 的工具，旨在自动审阅拉取请求 (PR)，生成总结并提供代码改进建议。它支持多种编程语言并能够无缝集成到 GitHub 工作流中，从而提高开发效率。

JudgeLM是经过微调的语言大模型，旨在有效、高效地在开放式基准测试中评估语言大模型（LLM），提供系统化的模型能力和行为分析，解决多种偏见问题，并在新旧基准测试中展示出色的评判性能。

PPTist 是基于 Vue3.x 和 TypeScript 的在线演示文稿应用，旨在还原大部分 Office PowerPoint 的常用功能，支持在线编辑和导出 PPT 文件，提供用户友好的界面。

GPT-NeoX是基于DeepSpeed库的模型并行自回归变换器在GPU上的实现，具有高效的训练和推理性能，旨在支持大规模模型的开发和研究。

该项目提供了一个系统的路线图，帮助学习者在2024年掌握生成人工智能的各个方面，包括Python编程、基本机器学习、自然语言处理、深度学习、高级NLP概念以及生成式AI的应用和部署方法，同时还介绍了向量数据库和存储的相关内容。

关于大型语言模型(LLM)定制训练和推理的全面指南，提供策划的教程、最佳实践和现成的代码。

socketify.py是一个为PyPy3和Python3提供WebSockets和高性能Http/Https服务器的项目，旨在让开发者能够轻松创建高效的网络应用。

该项目允许用户在CPU上运行MPT-30B模型的推理，具有低训练和运行成本的特点。用户只需32G内存即可进行模型推理，适合各种文本生成和评估任务。

这个开源项目是ChatGPT插件开发指南，目的是提供开发ChatGPT插件的指导和支持。该项目包括两篇开发指南，作者已经开发了插件，但还没有得到放到应用商店的权限。

Bramble是一个简单、生产就绪的GraphQL联邦网关，使用Go语言编写，旨在为生产环境提供高性能和灵活的配置选项。

Rebuff是一个还处于原型阶段的新型语言模型提示防注入系统，具有四层防护机制，包括启发式过滤、基于LLM的检测、向量数据库和Canary tokens。

MosaicML 提供的示例项目，旨在帮助用户更好地理解和使用其机器学习工具和框架。该项目包含多种模型训练示例，特别是针对大型语言模型（LLM）的应用。通过高效的资源管理和优化建议，集成了 FSDP（Fully Sharded Data Parallel）以提升训练性能，并提供详细的文档和使用指南，方便开发者快速上手。

该项目提供了关于图形深度学习在自然语言处理中的文献集合，涵盖了关键论文、作者和出版详情，以促进图论与自然语言处理交叉领域的研究与发展，并定期更新以包括最新的研究成果。

该研究调查了小型Transformer如何使用下一个token预测目标有效地学习算术运算和基本函数，包括加法、乘法、平方根等。

nitro 是一个用起来比 pprof 更简单的 golang 性能分析工具，它提供更友好的性能分析体验，并支持实时性能监控，方便开发者快速集成到现有应用中。