LLaMA 页面截图
产品页面 点击查看大图

LLaMA

LLaMA 是 Meta 提供的 Llama 模型推理代码库,包含模型权重、tokenizer 与示例脚本,用于加载 Llama 模型并运行本地推理。该仓库已标记弃用,后续功能迁移至 llama-models、llama-toolchain 等 Llama Stack 仓库。

大语言模型开源人工智能
语言
Python
01

Overview

产品概述

该 GitHub 仓库提供 Llama 模型的推理代码,支持下载模型权重并通过示例脚本在本地运行文本补全和对话补全。说明文档指出仓库定位为加载 Llama 2 模型并运行推理的最小示例,发布内容涵盖 7B 至 70B 参数的预训练和微调模型。随着 Llama 3.1 发布,仓库被整合弃用,官方建议改用 llama-models、PurpleLlama、llama-toolchain、llama-agentic-system 和 llama-cookbook 等仓库。下载模型需访问 Meta 网站接受许可,也可通过 Hugging Face 申请访问。
02

Capabilities

核心能力

01

本地模型推理

仓库提供最小示例,可在 PyTorch/CUDA 环境中通过 torchrun 运行对话补全等推理脚本,并支持调整 max_seq_len、max_batch_size 等参数。

02

模型权重与起始代码

发布内容包含 7B 到 70B 参数的预训练和微调 Llama 语言模型权重及起始代码。

03

多途径模型下载

可通过 Meta 网站接受许可后下载权重和 tokenizer,也可在 Hugging Face 上申请访问相应模型。

03

Use Cases

适用场景

  1. 01

    快速开始本地推理

    用户按照 Quick Start 步骤下载模型后,可在本地运行 Llama 2 模型推理,适合快速体验。

  2. 02

    面向研究者与企业的实验创新

    Llama 2 向个人、创作者、研究人员和各类规模企业开放,以支持实验、创新和负责任的规模扩展。

04

Integrations

集成能力

01

Hugging Face

可通过 Hugging Face 模型卡填写许可声明并申请访问 Llama 模型下载。