摘要:项目实战:此部分章节内容特殊,需进一步结合 LLMs 才能开展实验操作。
直播课时数:177 课程周期:4 个月
赠送:大数据 HCIE 直通车课程全套录播视频+笔记+代码
配套昇腾 Atlas 800 DK A2 8 卡昇腾 910B 训练一体机实验环境
誉天HCIE-AI VS 其他机构HCIE-AI
誉天HCIE-AI Solution Architect 课程大纲
(课程详情可私信yutianedu 了解)
第一阶段:HCIA-AI Solution Architect - (24 课时)
章节一:华为云 ModelArts 云服务开发环境搭建与大语言模型综述- (6 课时)
项目实战:
- PyCharm+ModelArts 本地-云端混合开发环境搭建;
- VsCode+GPU 云服务本地-云端混合开发环境搭建;
章节二:深度学习基础理论与神经网络基础 - (9 课时)
项目实战:
- PyTorch 实现基本的逻辑回归模型;
- PyTorch 实现基本的多层感知机神经网络;
章节三:CNN 卷积神经网络基础 - (9 课时)
项目实战:
- PyTorch 复现 AlexNet 8 层深度卷积神经网络结构;
- PyTorch 复现 VGG-19 网络结构;
- PyTorch 基于手势识别任务实现独立设计、开发 ResNet 残差神经网络;
第二阶段:HCIP-AI Solution Architect - (30 课时)
章节一:RNN 循环神经网络基础 - (9 课时)
项目实战:
- PyTorch 基于双向双层 GRU 门控网络实现唤醒词识别语音模型;
- PyTorch 基于双向 LSTM 实现机器翻译模型;
章节二:生成式模型代表:生成式对抗网络(GAN) - (6 课时)
项目实战:
- PyTorch 基于 GAN 网络实现人脸图像生成模型;
章节三:领先的机器学习范式:半监督学习 - (9 课时)
项目实战:
- PyTorch 在 MINIST 数据集上复现半监督 GANs 网络实现手写数字图像生成;
- PyTorch 再 MNIST 数据集上复现半监督变分自编码器 VAEs 网络结构;
章节四:独立于传统有/无监督学习的第三种机器学习范式:强化学习 - (6 课时)
项目实战:
- Q-Learning 算法复现;
- DQN 网络结构算法复现;
第三阶段:HCIE-AI Solution Architect - (123 课时)
章节一:NLP 自然语言处理基础 - (6 课时)
项目实战:此部分章节内容特殊,需进一步结合 LLMs 才能开展实验操作。
章节二:大模型基座 Foundation Model 理论基础之 Attention 注意力机制 - (6 课时)
章节三:Attention is All You Need – 大模型基座架构 Transformer详解 - (15 课时)
项目实战:
- PyTorch 基于 G2P 语音合成模型复现标准 Transformer 网络架构;
章节四:基于 Transformer 架构的 LLMs 模型经典论文精读系列 -(24 课时)
项目实战:
- 从 HuggingFace 下载 DeepSeek R1-Distill-Qwen-32B 问答模型权重,并在NVIDIA GPU 算力环境下本地私有化部署推理服务;
- 从华为云昇腾大模型开源社区 ModelZoo 下载昇腾适配版 DeepSeek R1-DistillQwen-32B 问答模型权重,并在 Atlas 800 DK A2 训练服务器算力环境下本地私有化部署推理服务;
- 从 HuggingFace 下载 Tokenizer 模型,对指定语料库数据完成 tokenize 向量化并生成 Vocab 词表文件;
章节五:大模型预训练与微调训练 - (45 课时)
项目实战:
- 基于 Bloom-7B 模型在 Belle 数据集上使用 LoRA 低参微调方法,指定量化精度FP16 开展问答模型的低参微调训练;
- 基于 ChatGLM3-6B 在 Belle 数据集上使用 P-Tuning V2 低参微调方法,指定量化精度 FP16 开展问答模型的低参微调训练;
- 基于 DeepSeek V2 使用 QLoRA 低参微调方法实现问答模型的低参微调训练;
章节六:大模型训推加速方案 - 9 课时)
项目实战:
- 使用 DeepSpeed+FlashAttention 优化章节六的三个实验,实现训练加速;
章节七:大模型推理应用开发 - (6 课时)
项目实战:
- 为章节六三个项目实战下训练完毕的问答模型开发带有历史会话记录的多轮问答推理脚本,并启动推理服务;
章节八:视觉大模型 VLM、多模态大模型与 MoE 混合专家模型 -(9课时)
章节九:昇腾大模型全栈解决方案 - (12 课时)
项目实战:
- 基于 Baichuan2-7B-Chat 模型实现 Belle 微调数据集格式转换;
- Baichuan2-7B-Chat 模型权重向昇腾适配转换;
- 从 ModelZoo 下载昇腾适配版 DeepSeek R1-Distill-Qwen-32B 模型并完成分布式权重转换,并开启 Atlas 800 DK A2 服务器下的昇腾 910B 双卡分布式 QLoRA 低参微调训练,量化精度为 INT4;
来源:武汉誉天