适用于端边云场景的AI推理应用开发框架,提供了基于Pipeline的并行执行流程,能帮助AI应用开发者较快的开发出高效,高性能,
适用于端边云场景的AI推理应用开发框架,提供了基于Pipeline的并行执行流程,能帮助AI应用开发者较快的开发出高效,高性能,以及支持软硬协同优化的AI应用。ModelBox特点:易开发:AI推理业务可视化编排开发,功能模块化,丰富组件库;c++,python,Java多语言支持。易集成:集成云上对接的组件,云上对接更容易。高性能,高可靠:pipeline并发运行,数据计算智能调度,资源管理调度精细化,业务运行更高效。软硬件异构:CPU,GPU,NPU多异构硬件支持,资源利用更便捷高效。全场景:视频,语音,文本,NLP全场景,专为服务化定制,云上集成更容易,端边云数据无缝交换。易维护:服务运行状态可视化,应用,组件性能实时监控,优化更容易。#框架