课程介绍

就像人类通过多种感官感知周围的世界一样，越来越多的计算机传感器被开发出来以捕捉各种数据，例如医疗健康行业，计算机断层扫描（CT）提供了三维表示，以检测潜在的异常；机器人行业，激光雷达帮助机器人感知深度并在复杂环境中导航。本课程中，学员将探索多种融合技术，以开发能使用不同数据类型进行推理的神经网络智能体。

学习目标

· 不同的数据类型及如何使其适用于神经网络。

· 模型融合，以及早期融合、晚期融合和中期融合的区别。

· 使用 OCR 进行 PDF 提取。

· 模态和智能体编排的区别。

· 使用视频搜索和摘要（VSS）定制 NVIDIA AI Blueprints

预备知识

· 深度学习概念有基本的理解。

· 熟悉至少一个深度学习框架，比如 TensorFlow、PyTorch 或者 Keras，本课程使用的是PyTorch

课程大纲

· 早期和晚期融合：

· 使用相机和 LiDAR 数据预测物体位置

· 转换各种数据类型，使其适用于神经网络

· 中间融合：

· 探索有效多模态模型架构背后的理论

· 训练对比预训练模型

· 创建向量数据库

· 模型映射（projection）：

· 将 Llama 2 转换为视觉语言模型（VLM）

· 使用光学字符识别（OCR）工具处理 PDF

· 模型编排：

· 使用 Cosmos Nemotron 分析视频

· 使用 VSS 回答用户关于视频内容的查询

· 使用 NVIDIA AI Blueprints 进行编排

· 评估测试和总结：

· 回顾所学要点

如果您想学习本课程，请预约报名
如果没找到合适的课程或有特殊培训需求，请订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务优势：
丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。

专家力量：
中国科学院相关研究所高级研究人员
西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等
大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高
多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享
针对客户实际需要，真实案例演示，互动式沟通，学有所值

 点击进入报名表

咨询电话：010-62883247

                4007991916

咨询邮箱：soft@info-soft.cn  

 

微信咨询 随时听讲课 聚焦技术实践