摘要：大模型训练所需的大规模数据集，包含了各种语言样本，用于模型的学习、验证和测试其性能。它不仅支持模型的基础学习过程，还通过验证和测试集来评估和优化模型的表现。

大模型领域常用名词之训练方法与技术篇——数字化转型网人工智能专题

训练数据集

大模型训练所需的大规模数据集，包含了各种语言样本，用于模型的学习、验证和测试其性能。它不仅支持模型的基础学习过程，还通过验证和测试集来评估和优化模型的表现。

参数量

模型中可调节的数值，用于调整神经网络的行为。

深度学习

一种基于多层神经网络的机器学习方法，特别适合处理大规模数据。深度学习不仅仅适用于大规模数据处理，它还特别擅长自动提取数据中的复杂特征，减少了手工设计特征的需求。

预训练（Pre-training）

在大规模无标注数据上训练模型，学习通用的语言规律。

微调（Fine-tuning）

在预训练模型基础上，用特定领域的小规模数据进一步训练。

监督微调（Supervised Fine-Tuning，SFT）

使用标注好的数据集对模型进行进一步训练，使其在特定任务上表现更好。

少样本学习（Few-shot Learning）

在只有少量标注数据的情况下训练模型，使其能够快速适应新任务。

零样本学习（Zero-shot Learning）

模型在没有见过特定类别的数据的情况下进行推理。

对抗训练（Adversarial Training）

通过生成对抗样本来训练模型，增强其鲁棒性。

超参数调优（Hyperparameter Tuning）

对模型的超参数进行优化，以提高模型性能。

自监督学习（Self-Supervised Learning）

通过输入数据本身的部分信息来生成标签。

人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）

通过人类反馈优化模型输出，使其更符合人类价值观。

Scaling Law（缩放定律）

描述模型性能如何随着模型规模（如参数数量）、数据集大小和计算资源的增加而变化的规律。Scaling Law表明，模型性能通常会按照幂律关系改善。

迁移学习（Transfer Learning）

将一个领域的知识迁移到另一个领域以改进学习效率和效果的方法。

元学习（Meta-learning）

也称为“学习如何学习”，通过从多个相关任务中学习来提高新任务的学习效率。

批量大小（Batch Size）

在训练神经网络时，一次迭代中使用的样本数量。影响模型训练的速度和稳定性。

梯度下降（Gradient Descent）

一种优化算法，通过最小化损失函数来更新模型参数，以改进模型性能。

学习率（Learning Rate）

控制梯度下降步骤大小的超参数，对模型训练速度和最终性能有重要影响。

早停法（Early Stopping）

数据增强（Data Augmentation）

联合学习（Federated Learning）

更多人工智能相关内容可加入数字化转型网人工智能研习社~与全球关注人工智能的顶尖精英一起学习！数字化转型网建立了一个专门讨论人工智能技术、产业、学术的研究学习社区，与各位研习社同学一起成长！欢迎扫码加入！

来源：蕾蕾课堂