运行时超轻量，高效，移植简单的深度学习模型
运行时超轻量，高效，移植简单的深度学习模型 MegCC 是一个面向推理的深度学习模型编译器，具有如下特点： 极其轻量的运行时库 ：只编译 mobilenetv1 模型进行推理情况下，strip 符号后，整个运行时二进制大小只有 81KB 。 高性能 ：Arm 上的每一个 Kernel 都是经过人工精心调优的，同样的模型，性能比 MegEngine 好 。 方便移植：运行时所有 Code 都是纯 C 代码，可以方便在 Arm，X86，裸板中进行移植。 低内存使用，快启动：模型编译期间会进行内存规划，尽可能的复用内存，并进行静态绑定，减少运行时开销。 MegCC 主要由两部分组成： 编译器：负责将模型进行编译，优化，最终生成新模型和对应的 Kernels runtime 运行时：运行时需要和生成的 Kernels 结合在一起进行编译，编译完成之后可以加载编译器生成的模型，并计算输出结果 MegCC 模型编译器是基于 MLIR 框架构建起来的，使用 MLIR 的 IR 进行图优化，内存规划以及 Kernel 生成，目前 MegCC 生成的 Kernel 大多数都是 基于人工优化之后写好的模板生成的。MegCC 支持多种场景的模型编译，不仅仅包含静态 shape 编译，而且还支持动态 shape 的编译，多个模型同时编译，以及同一个模型多种 shape 同时编译，另外为了获得极致的最小运行时库，还提供必要的纯 C 形式的 CV 算子生成。 模型编译完成之后，MegCC 会生成两个产物，分别是： 优化之后的新模型： 这个模型里面包含整个计算图的信息，以及每一个 Operator 运行时的内存规划信息，输入输出信息，计算 Kernel 的信息 运行这些模型对应的 Kernel：上面模型运行时候需要的所有高性能 Kernel 的集合。 MegCC runtime 会在运行时会加载生成的模型，并调用生成的高性能 Kernel 进行计算，并输出计算结果，目前测试一个可以高效运行 mobilenetv1 的可执行文件大小仅仅只需要 81KB。 MegCC 现在支持的平台处理器平台有 Arm64/ArmV7/X86/risc-v/单片机, 所有支持的 Operator 列表见：.
在Telegram中查看相关推荐
🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人