Overview
产品概述
BLOOM 由 BigScience Workshop 提出，该计划受到其他开放科学倡议的启发，研究人员共同投入时间与资源以产生更高影响力。BLOOM 采用与 GPT3 基本相似的自回归架构，用于下一词元预测，并在 46 种自然语言和 13 种编程语言上完成训练。其发布版本包括 bloom-560m、bloom-1b1、bloom-1b7、bloom-3b、bloom-7b1 以及拥有 1760 亿参数的 bloom 版本。在 Hugging Face Transformers 中，BLOOM 通过 BloomForCausalLM 获得因果语言建模示例脚本与 notebook 支持。
Capabilities
核心能力
多语言与代码理解
BLOOM 采用与 GPT3 类似的回归自回归架构，在 46 种自然语言和 13 种编程语言上训练，能够处理多语言文本与代码相关任务。
多种模型规模
提供从 bloom-560m 到 bloom（1760 亿参数）等多个版本，不同规模版本基于相同数据集训练，便于按算力与场景选择。
支持因果语言建模任务
BloomForCausalLM 获得因果语言建模示例脚本和 notebook 支持，可用于文本生成等自回归生成任务。
Use Cases
适用场景
-
01
研究与开放科学探索
BLOOM 源自 BigScience 开放科学倡议，研究人员可以协作共享资源，共同推进大规模语言模型的研究。
-
02
多语言文本生成
BLOOM 支持因果语言建模任务，可应用于文本生成等自回归生成场景。
-
03
推理与训练优化
通过相关博客与资源，可使用 DeepSpeed 和 Accelerate 实现快速推理，并了解 BLOOM 训练背后的技术。
Integrations
集成能力
Hugging Face Transformers
BLOOM 作为 Transformers 库支持的模型架构，通过 BloomForCausalLM 和相关配置类进行使用。
DeepSpeed
用于加速 BLOOM 推理的优化工具。
Accelerate
Hugging Face 提供的库，可用于实现 BLOOM 的快速推理。
