onnx隐式batch size的问题

[scteam1994]

我看到了

tensorRT_Pro-YOLOv8/src/tensorRT/infer/trt_infer.cpp

Lines 423 to 427 in 36d11c3

	Assert(this->context_ != nullptr);
	// nvinfer1::Dims maxDims = this->context_->engine_->getProfileDimensions(0, 0, nvinfer1::OptProfileSelector::kMAX);
	// int max_batchsize = maxDims.d[0];
	// return max_batchsize;
	return this->context_->engine_->getMaxBatchSize();

tensorRT_Pro-YOLOv8/src/tensorRT/infer/trt_infer.cpp

Lines 260 to 263 in 36d11c3

	int nbBindings = context->engine_->getNbBindings();
	// nvinfer1::Dims maxDims = context->engine_->getProfileDimensions(0, 0, nvinfer1::OptProfileSelector::kMAX);
	// int max_batchsize = maxDims.d[0];
	int max_batchsize = context->engine_->getMaxBatchSize();

这两处代码，你是否是在这里尝试解决显式batch导出的onnx无法使用mImpl->getMaxBatchSize()的问题？
请问这个问题有什么进展吗?使用torch.export模块导出的onnx模型是不是必然是显式batch的？

[Melody-Zhou]

@scteam1994

1. 注释的代码是解决高版本 TensorRT 动态 batch 时 getMaxBatchSize() 这个 API 弃用的问题，这里通过查询 profile 的维度获得 maxBatchSize。静态 batch 不知道能不能直接通过 getMaxBatchSize() 这个 API 获取 batch，没尝试过
2. torch.onnx.export 函数导出的模型是动态维度还是静态维度取决于其中的 dynamic_axes 参数是否指定