AI-magic AI-magic

Transformer模型训练动态

Scan and Snap: Understanding Training Dynamics and Token Composition in 1-layer Transformer-揭示自注意力层的动态过程
Scan and Snap: Understanding Training Dynamics and Token Composition in 1-layer Transformer-揭示自注意力层的动态过程

该论文打开了自注意力层如何组合输入token动态过程的黑盒子，并揭示了潜在的归纳偏见的性质。
Analysis360开源项目 – LLM360评估与分析的代码库
Analysis360开源项目 – LLM360评估与分析的代码库

用于LLM360评估和分析的代码库，包含了多种评估指标和分析方法，旨在帮助用户全面理解和优化模型表现。
ChituAttention开源项目 – 量化注意力机制的高效实现库
ChituAttention开源项目 – 量化注意力机制的高效实现库

赤兔量化注意力：专注于量化注意力机制的高效 GPU 实现库，旨在加速长序列数据的处理速度，并且与 Long-Context-Attention 库无缝集成
ComfyUI-HunyuanVideoWrapper开源项目 – 为HunyuanVideo模型提供视频生成封装
ComfyUI-HunyuanVideoWrapper开源项目 – 为HunyuanVideo模型提供视频生成封装

一个为HunyuanVideo模型开发的ComfyUI封装节点，可在ComfyUI环境中进行视频生成。支持flash_attn和sageattn两种注意力机制，内存占用取决于分辨率和帧数。即使在低分辨率下也能生成质量不错的视频效果。
tensorli开源项目 – 简化版神经网络与Transformer模型实现
tensorli开源项目 – 简化版神经网络与Transformer模型实现

实现了用Numpy库构建全连接神经网络和基于注意机制的transformer模型的最小化版本，代码行数少于650行，是一份值得参考的简化神经网络实现案例
Transformer Explainer开源项目 – 交互式可视化 Transformer 学习工具
Transformer Explainer开源项目 – 交互式可视化 Transformer 学习工具

一个 Transformer 可视化交互式学习工具，通过输入文本实时观察各个组件如何处理，最终预测下一个 Token。
Monica图标

通过siliconflow免费使用满血可联网DeepSeek R1

现在注册，立即送2000万tokens

siliconflow提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型

马上试试
AI-magic收录了大量国内外AI工具箱，包括AI写作、图像、视频、音频、编程等各类AI工具，以及常用的AI学习、技术、和模型等信息，让你轻松加入人工智能浪潮。
Copyright © 2025 AI-magic 浙ICP备19008543号-3