|
课程培训
|
Llama Factory 微调模型实战培训课程
1、项目介绍 LLaMA Factory是一个用于大型语言模型（LLM）训练与微调的平台。 支持多种模型，如LLaMA、LLaVA、Mistral等。 提供多种训练算法，包括增量预训练、指令监督微调等。 支持多种运算精度和优化算法。 2、特性概览 模型种类：支持上百种预训练模型。 训练算法：包括增量预训练、多模态指令监督微调等。 运算精度：支持16比特全参数微调、冻结微调、LoRA微调等。 优化算法：包括GaLore、BAdam、DoRA等。 加速算子：如FlashAttention-2。 推理引擎：支持Transformers和vLLM。 实验面板：LlamaBoard等。 3、安装与配置 环境准备：包括硬件环境校验、CUDA和Pytorch环境安装。 安装步骤：通过git克隆仓库，使用pip安装。 模型下载：提供模型下载指南和使用说明。 4、训练方法 预训练（Pre-training）：在大型通用数据集上进行无监督学习。 监督微调（Supervised Fine-Tuning）：使用有标签数据集进行训练。 训练配置：提供训练配置文件示例。 5、数据集准备 数据集格式：支持alpaca和sharegpt数据格式。 数据集构建：指导如何构建自定义数据集。 6、微调与推理 微调流程：详细介绍微调步骤和参数设置。 微调效果评估：介绍如何评估微调效果。 推理引擎：介绍如何使用推理引擎进行模型推理。 API Server：指导如何启动API Server并调用模型。
如果您想学习本课程，请预约报名
如果没找到合适的课程或有特殊培训需求，请订制培训 除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916 技术服务需求表下载请点击 服务优势： 丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。 专家力量： 中国科学院相关研究所高级研究人员 西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等 大型公司高级工程师，项目经理，技术支持专家 中科信软培训中心，资深专家或讲师 大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高 多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享 针对客户实际需要，真实案例演示，互动式沟通，学有所值 |
|
