跳到正文
热点事件持续更新

NVIDIA发布TensorRT全局性能调优器教程

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

NVIDIA发布了TensorRT全局性能调优器的教程,介绍其如何通过多路径调度优化模型部署性能。 该工具在TensorRT 11.1中发布,能在构建引擎时综合优化图转换、融合、实现选择等多个环节,旨在提升模型在不同硬件上的推理效率。

AI 根据报道生成 · 1 小时前更新

事件进展

2 个进展

  1. 10月24日 01:27 · 1 篇报道
    介绍TensorRT全局性能调优器使用
    NVIDIA · 开发者博客:NVIDIA TensorRT 11.1 全球性能调优器:超越单一构建路径的自动性能优化(第二部分)
  2. 10月24日 01:27 · 1 篇报道
    TensorRT性能优化教程第一部分
    NVIDIA · 开发者博客:NVIDIA 全局性能调优器如何超越单一构建路径优化 TensorRT 性能,第一部分

报道时间线

沿着报道,了解事件的不同侧面。

10月24日
  1. NVIDIA · 开发者博客
    NVIDIA TensorRT 11.1 全球性能调优器:超越单一构建路径的自动性能优化(第二部分)

    NVIDIA TensorRT 11.1 发布了全局性能调优器,支持针对不同模型的自动、精度感知的端到端性能优化。该功能通过自定义不同优化策略,提升推理效率。第一部分已介绍调度阶段的挑战,本文继续深入探讨相关技术细节。

  2. NVIDIA · 开发者博客
    NVIDIA 全局性能调优器如何超越单一构建路径优化 TensorRT 性能,第一部分

    NVIDIA 全局性能调优器通过多路径调度优化 TensorRT 性能,提升模型部署效率。该工具在构建引擎时综合考虑图-IR转换、融合、实现选择、内存布局和量化等环节,实现更优的性能表现。其方法适用于多种合法的部署方案,增强模型在不同硬件环境下的适配能力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。