企业官网建设流程全解析

Meta Llama：开源大语言模型的基础设施

llama 在 GitHub 上已经拿到 59,445 个 Star 了。

这是 Meta 开源的大语言模型仓库，提供了从 7B 到 70B 参数规模的预训练和微调模型权重，以及运行推理的基础代码。

1、这项目是干嘛的

就做一件事：让你能在本地跑起 Llama 系列模型。

仓库里包含了模型加载和推理的最小化示例代码，支持 chat 对话和文本补全两种模式。不同规模的模型对应不同的并行配置，7B 模型单卡就能跑，13B 需要 2 张卡并行，70B 则需要 8 张。

2、模型规格

这次开源的模型覆盖 7B、13B、70B 三个参数级别，每个级别都提供预训练版本和微调对话版本。

所有模型支持最长 4096 tokens 的上下文长度。预训练模型适合文本生成和续写任务，微调版本则针对对话场景做了优化，需要使用特定的 prompt 格式，包括 INST 和 SYS 标签以及 BOS、EOS 标记。

3、怎么跑起来

下载模型需要先上 Meta 官网申请许可，通过后会收到一个带签名的下载链接，24 小时内有效。拿到链接后运行仓库里的 download.sh 脚本即可。

环境准备：

pipinstall-e.

下载完模型权重，用 torchrun 启动推理：

torchrun--nproc_per_node1example_chat_completion.py\--ckpt_dirllama-2-7b-chat/\--tokenizer_pathtokenizer.model\--max_seq_len512--max_batch_size6

nproc_per_node 的值要跟模型对应的 MP 值匹配。max_seq_len 和 max_batch_size 按自己的显存调整。

4、需要注意的事

Meta 在 Llama 3.1 发布时已经把这个仓库标记为废弃，后续开发请移步新的专用仓库，包括模型权重、工具链、Agent 系统和社区示例都拆到了独立的项目里。

5、适合哪些人用

• 需要本地部署开源大模型做研究或产品的开发者
• 想理解大规模语言模型推理流程的工程师
• 在做模型微调或安全对齐实验的研究人员

这个仓库的价值不在于代码有多复杂，而在于它提供了一套经过验证的、可直接运行的开源模型基线。后续生态里的 Hugging Face 集成、量化部署、 fine-tuning 框架，很多都从这里延伸出去。

续生态里的 Hugging Face 集成、量化部署、 fine-tuning 框架，很多都从这里延伸出去。