CodeShell 是由北京大学软件工程国家工程研究中心与四川天府银行 AI 实验室联合开源的 70 亿参数的代码大模型,号称同等规模最强代码基座。它基于 5000 亿 Tokens 进行了冷启动训练,具备 8192 的上下文窗口长度,融合了 StarCoder 和 Llama 的核心特性,支持中英文和代码的平衡且高效的编解码,并在 HumanEval 和 MBPP 代码评估基准中表现优异。该模型还支持 Flash Attention2 加速,训练吞吐量高达每 GPU 每秒 3400 Token,同时提供 IDE 插件,兼容 VSCode 和 IntelliJ IDEA。
CodeShell的特点:
1. 基于 5000 亿 Tokens 进行了冷启动训练
2. 上下文窗口长度为 8192
3. 融合了 StarCoder 和 Llama 的核心特性
4. 支持中英文和代码的平衡且高效的编解码
5. 在 HumanEval 和 MBPP 代码评估基准中性能领先
6. 支持 Flash Attention2 加速,训练吞吐量高达每 GPU 每秒 3400 Token
7. 提供 IDE 插件,支持 VSCode 和 IntelliJ IDEA
CodeShell的功能:
1. 用于代码生成和代码补齐
2. 提供代码注释和代码检查功能
3. 生成测试用例
4. 支持对话交互以提升开发者效率
5. 适用于各种主流编程语言
相关推荐
暂无评论...