Reasoning-Attack使用交流:

Reasoning-Attack项目旨在揭示大型语言模型(LLM)在推理过程中的漏洞,特别是模型在特定查询下无法生成结束标记,导致资源耗尽的问题。通过实验验证,该项目展示了仅需少量攻击请求即可完全占用GPU资源,形成低成本DDoS攻击手段。此外,攻击查询可在同系列模型间转移,对开源开发生态构成威胁。项目提供了测试、评估和防御推理攻击的工具,帮助开发者和研究人员识别和分析不同模型在面对攻击查询时的表现。
Reasoning-Attack的特点:
- 1. 发现推理模型在特定查询下无法生成结束标记,导致资源耗尽
- 2. 攻击查询可在同系列模型间转移,威胁开源开发生态
- 3. 通过实验验证,仅少量攻击请求即可完全占用GPU资源,形成低成本DDoS攻击手段
Reasoning-Attack的功能:
- 1. 用于测试和评估大型语言模型的推理漏洞
- 2. 帮助开发者识别和防御潜在的推理攻击
- 3. 作为研究工具,分析不同模型在面对攻击查询时的表现
相关导航

Intel Extension for Transformers
Intel Extension for Transformers 是一个开源项目,旨在使客户端 CPU 上的大型语言模型(LLM)微调成为可能,特别是在没有 GPU 的情况下。它支持在 CPU 上进行 QLoRA 微调,适用于笔记本电脑环境,并通过优化的性能提升模型训练效率。该项目与 HuggingFace Transformers 兼容,支持 4 位推理,并利用 Intel 神经压缩器提供丰富的模型压缩技术,如量化、剪枝和蒸馏,显著提高了英特尔平台上的推理效率。此外,它还支持自动化的仅限权重的 INT4 量化流程,兼容多个流行的大语言模型,如 Llama2、Llama 和 GPT-NeoX。
暂无评论...