Overview
产品概述
StableLM 是 Stability AI 正在持续开发的语言模型系列。该系列包括 StableLM-Alpha、StableLM-Alpha-v2 和 StableLM-3B-4E1T 等模型，参数规模从 3B 到 7B 不等，并包含用于聊天的调优版本。模型采用 decoder-only 架构，训练数据来自 RefinedWeb、RedPajama、The Pile 和 StarCoder 等开源数据集。根据评测，StableLM-3B-4E1T 在 3B 参数规模上取得了领先水平。
Capabilities
核心能力
多参数规模模型系列
StableLM 提供 3B、7B 等不同参数规模的模型，并持续推出新检查点，满足从轻量到较强的语言建模需求。
多纪元预训练策略
StableLM-3B-4E1T 采用多纪元训练，在 1 万亿 token 上训练 4 个 epoch，以研究重复数据对下游性能的影响，并取得领先效果。
开放许可证发布
StableLM 基础模型和部分模型权重以 CC BY-SA-4.0 等开放许可证发布，代码仓库以 Apache-2.0 许可。
Use Cases
适用场景
-
01
下游任务微调
由于 StableLM 在大量网页数据上预训练，官方建议用户针对具体下游任务进行微调以获得更好效果。
-
02
对话与聊天应用
通过调优版本（如 StableLM-Tuned-Alpha-7B）可构建聊天机器人等对话式应用。
Integrations
集成能力
Hugging Face
StableLM 模型可在 Hugging Face Spaces 上体验，并可通过 Hugging Face Hub 获取。
