0%

Distiller 是由 Intel AI Lab 维护的基于 PyTorch 的开源神经网络压缩框架。主要包括:

  • 用于集成剪枝(pruning),正则化(regularization)和量化(quantization )算法的框架。
  • 一套用于分析和评估压缩性能的工具。
  • 现有技术压缩算法的示例实现。
    阅读全文 »

此系列为 PyTorch model 转 TRT engine 系列第三章。

至于为什么选 PyTorch 而不是 TensorFlow,是因为笔者对 PyTorch 最为熟悉,另外 PyTorch 的易用性和动态图特点,使得在学术界也广泛采用,新的模型更新也 release 较快。本文所用的开源项目包含:detectron2ONNXONNX-simplifierTensorRT

阅读全文 »

NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎,用于在生产环境中部署深度学习应用程序,应用有图像分类、分割和目标检测等,可提供最大的推理吞吐量和效率。TensorRT是第一款可编程推理加速器,能加速现有和未来的网络架构。

阅读全文 »

TensorRT 是一个用于在 NVIDIA GPU 上进行高性能计算的 C++ 库。TensorRT 在运行时,加载一个已经训练好的神经网络,创建一个经过内部高度优化的引擎(engine),来进行快速计算。TensorRT 同时提供 C++ 和 Python API 接口。TensorRT 同时支持 Windows/Ubuntu/iOS 系统,本教程将基于 Ubuntu 进行讲解。

阅读全文 »

Mask R-CNN 作为经典的two-stage目标检测模型被广泛使用,相关的讲解论文已经有很多,本文将着重在结合实际代码模型结构以及 layer 方面的讲解,这样会对模型有更加清晰的认识。本文以 Detectron2 mask_rcnn_R_50_FPN_1x.yaml 默认 config 生成的 Mask R-CNN 进行讲解。

阅读全文 »

PointNet 和 PointNet++ 网络由 Charles R. Qi 于2017年提出,分别发表于CVPR 2017和NIPS 2017会议上。PointNet++ 是 PoinNet 的升级版,也更复杂,两篇论文的现在都可检索,且分别作为一个章节被写入了 Qi 的博士论文中,如果想更加具体地理解各个细节,可从博士论文下手(参考文献会附上资源)。本文预先假设读者已经阅读过这两篇论文,并且对点云特性有一定了解,所以细节方面不过多赘述,更多地是探讨思路。

阅读全文 »

YOLO为一种新的目标检测方法,该方法的特点是实现快速检测的同时还达到较高的准确率。作者将目标检测任务看作目标区域预测和类别预测的回归问题。该方法采用单个神经网络直接预测物品边界和类别概率,实现端到端的物品检测。同时,该方法检测速非常快,基础版可以达到45帧/s的实时检测;FastYOLO可以达到155帧/s。与当前最好系统相比,YOLO目标区域定位误差更大,但是背景预测的假阳性优于当前最好的方法。

阅读全文 »

在自动驾驶领域,传感器与主机通过网线连接,实现二者的实时通信。同时,在接收到雷达数据之后,后台处理系统到前端用户显示界面,也需要通过上述方法进行通信,因为后台处理系统一般都不自带显示器,例如PX-2,TX2等平台就提供网线接口。
本文以16线激光雷达生成数据,处理后台系统处理后点云为例,进行分割分类数据传输到前端用户界面进行显示。

阅读全文 »