LLM系列 | 24 : 百川2模型解读、服务部署、微调(上篇)
作者&投稿：苍劳 （若有异议请与网页底部的电邮联系）
Baichuan 2是70亿和130亿参数规模的开源多语言大模型，它在MMLU、CMMLU、GSM8K和HumanEval等公开基准测试中表现出色，尤其在医学和法律等垂直领域中表现出优异性能。官方还提供了预训练模型的checkpoints，供研究社区深入理解训练过程。Baichuan 2在GitHub和官方技术报告中均有详细介绍。
预训练过程中，Baichuan 2从多个来源收集数据，包括互联网网页、书籍、研究论文和代码库等，构建一个包含科技、商业和娱乐在内的广泛数据集。在构建数据时注重数据质量和数量，确保每个词嵌入得到充分训练。分词器Tokenizer使用SentencePiece的字节对编码，并针对代码数据和学术论文数据进行额外采样，以提高覆盖范围。位置编码采用了Rotary Positional Embedding（RoPE）和ALiBi，激活函数为SwiGLU，归一化使用Layer Normalization和RMSNorm。
优化器选用AdamW，参数设置为β1=0.9、β2=0.95，权重衰减为0.1，梯度范数剪切至0.5，线性缩放step为2000，余弦衰减至最小学习率。混合精度训练使用BFloat16，为模型提供了较好的动态范围，同时采用了NormHead和Max-z损失以稳定训练和提高模型性能。
随着模型、数据集和计算浮点数的增加，模型性能呈幂律关系提高。研究团队通过训练一系列从10M到3B参数的模型（最终模型的1/1000到1/10），并使用Henighan等人提出的缩放定律公式，成功预测了70亿和130亿参数模型的最终损失。基础设施方面，开发了一种协同设计方法来优化GPU资源利用，实现机器级弹性，包括张量并行和ZeRO驱动的数据并行，以及张量分割技术，以减少峰值内存占用。
在对齐过程中，Baichuan 2引入了有监督微调（SFT）和来自人类反馈的强化学习（RLHF）。有监督微调阶段，通过交叉验证确保数据质量，并基于此训练基座模型。强化学习阶段使用PPO算法进一步优化，其中包含奖励模型（RM）、actor模型、reference模型、critic模型等组件。整个过程旨在改进模型生成的响应质量，同时确保安全性。
研究团队在预训练阶段注重数据安全性，对数据集进行严格筛选，去除暴力、色情、种族歧视、仇恨言论等内容，并增加正面价值领域的内容。在对齐阶段，构建了一个包含多种攻击和安全价值类别的红队程序，以增强模型的安全性。
总结，Baichuan 2模型通过综合预训练、技术细节、安全方案以及实战部署等多方面工作，展现出强大的性能和安全性，为研究社区提供了宝贵的资源和工具。如果您对更多细节感兴趣，欢迎通过下方二维码与我们联系。
称官复方： 1、《杂诗》晋代:陶渊明原文:盛年不再来,一日难再晨.2、及时当勉励,岁月不... 24、早晨看河水向东流逝,傍晚看太阳向西坠落才是真生活.25、百年来的明日能有...
会泽县15032771570： 举例说明海的宽大 - ？
称官复方： 海纳百川,有容乃大!无论是江河湖的水,也无论是好水和坏水,它都能容纳.比河水更宽...
会泽县15032771570： 建筑学现在就业前景如何? - ？
称官复方： 受金融海啸影响,房产业形势不乐观,连带建筑业也不乐观,许多农民工失去就业岗位,其中一个原因就是建筑业形势严峻产生的.因此建筑学现在就业前景需要有承受心理压力的能力. 学建筑学...
会泽县15032771570： 《长歌行》的资料 - ？
称官复方： 长歌行 开放分类: 诗歌、诗词、李白、乐府、长歌行 【标题】:长歌行 【年代】:唐【作者】:李白【体裁】:乐府【内容】:桃李待日开,荣华照当年....
会泽县15032771570： 中国法学专业就业前景 - ？
称官复方： 额...法学就业面太窄,要么进体制内,要么当律师.前者竞争空前激烈,且所有专业都可以考;后者即便通过司法考试做了律师木有案源怎么生存呢,刚开始一个月1,2千的薪水还真不是所有人都能坚持下...
会泽县15032771570： 美国留学,什么是双录取?? - ？
称官复方： 因为美国留学申请比较困难,所以很多同学都愿意选择LLM双录取,那么到底什么是LLM双录取呢?美国的LLM双录取靠谱吗?今天小编为你详细解析美国LLM双录取,以供参考.首先我们需要了解什么是LLM双录取?美国LLM是一年制的法学...
会泽县15032771570： 美国LLM转JD如何转?求指点! - ？
称官复方： 难度有点大.接受LLM转JD的学校本身就很有限,名额也非常少,竞争非常激烈.而每个学校的申请者往往是几百人或者更多,里面包括很多其他学校JD一年级的学生.留学360赵锦珠老师介绍,成功Transfer的基本条件是LLM取得非常好的成绩,这个对很多刚刚毕业就到国外读书、需要同时适应英语学习和美国法学院教学方式的人来说其实是一个难度很大的目标.JD的Financial Aid是在一年级入学时一次性确定3年的补助金额的,转学生通常无法取得任何补助.Transfer的申请开始很晚,确定结果也很晚,通常要到7、8月份才知道自己的申请是否成功,尤其是对一边读LLM、一边找工作、一边准备Transfer的同学来说要做未来的计划很不方便.
会泽县15032771570： 考LLM和考国内研究生比到底哪个更好?!晕 - 晕 - 书呆子 - ？
称官复方： 要看你在国内读的什么学校,在美国申请的什么学校. 虽然去美国读LLM能提高自己的英语,但你需要衡量一下,去美国留学的费用能不能在今后的收入差距中补回来. ...
会泽县15032771570： 法学出国留学 - ？
称官复方： 一般国外院校法律专业的入学难度和学习难度都相当高,特别是法律硕士,对语言能力、专业教育背景有极高的要求,而且学习费用昂贵,英国、美国高校的法律专业在全球有较高的知名度,去澳大利亚攻读法律专...
会泽县15032771570： 在美国读研究生一年的费用是多少? - ？
称官复方： 私立最贵的学费一年五万刀 最便宜一年不到两万刀 平均三万刀多 生活费一年一万多刀省一点在哪都能搞定...
