#必填: 模型开发商,目前为平台枚举值 vendor: apulis.infer #选填: 应用名称,即标签名称 app: det #选填: 名称 name: 目标检测 #选填: description: "单模型目标检测" # 由 device(type+series) + kernel + model_path 唯一决定一个推理服务启动所需要的的全部信息 #可用的推理框架列表 serves: #选填,可选值参考selector.yaml中 infer_framework 字段 - framework: ACL #必填,以infer文件夹为根目录,此列表中应该唯一 model_path: model.onnx #必填,如果为air那么平台会自动进行转换为om,可选值参考selector.yaml中 model_format 字段 format: onnx #选填,对应serve.yaml中的值, 模型推理精度 ,可选值参考selector.yaml中 precision 字段 precision: int8 #选填, 相对于infer根目录,存放该推理服务相关所有信息 plugin: transformer #必填,是否支持单独推理 standalone: true #选填: 推理相关描述,同 serve.yaml中的 inference描述 inference: #[可选]对接推理核心 支持 apuisv,mindx kernel: apuisv #[可选]对接用户协议 空表示默认使用 apulis_infer.proto协议 agent: "" #允许透传 passthrough: true #[可选] 如果需要额外协议 默认加载transformer目录下 *.proto协议文件 proto: "ext.proto" #[可选] 需要的推理镜像地址 engine: "#/algorithm/apulistech/apulis-inference-serving:1.0.0-rc0_cuda-11.5_mindx-2.0.3_triton-22.03" #[可选] 应用镜像启动入口,为空则由平台额外启动器插入工具启动(必须是平台内置支持的kernel) entrypoint: "/apulis_infer/script/start.sh" #正常最大请求延时,单位毫秒 ms healthy_delay: 500 #[必选] 硬件资源描述 devices: #必填,可选值参考selector.yaml中 device_type 字段 - type: nvidia_gpu #选填,设备型号,gpu与cpu不需要填写该字段 ,填写该字段则进行型号筛选。多个型号使用逗号分割 目前参考值 | a310 | a910 | 910b | 910pro | 910prob series: #选填,最少使用的设备卡数 device_num: 1 #选填,最少使用的CPU核心数,单位 个 cpu: 2 #选填,最少使用的内存大小,单位 GB memory: 8