OpenMMLab
AI平台社区
OpenMMLab

OpenMMLab是深度学习时代最完整的计算机视觉开源算法体系

OpenMMLab诞生于2018年,是一个由中国开发者主导,有国际影响力的人工智能·计算机视觉开源算法体系

OpenMMLab累计开源超过30个算法库、2400个预训练模型,涵盖图像识别分类、目标检测、图像分割、姿态估计、视频理解、OCR、3D目标检测、3D人体姿态估计、模型轻量化、自监督、少样本、光流、预训练、多模态、AIGC、推理部署等等计算机视觉任务

2. OpenMMLab部分开源算法库介绍

2.1 目标检测算法库 MMDetection

  • 包含了目标检测、实例分割、全景分割、目标追踪的所有基本上最常用的算法和论文的复现
  • 不仅有最基础教科书级别的最经典的必读必会的论文,也有最近几年更前沿的顶会论文
  • 在大模型时代模型就是产品,模型就是效率。模型和算法这部分繁杂的开发工作,OpenMMLab已经帮你完成了

2.2 目标检测算法库 MMYOLO

  • 专门用来解决YOLO目标检测问题的
  • YOLO—— you only look once,是经典的单阶段目标检测算法,它的特点就是特别快
  • MMYOLO收录了各种YOLO版本,复现了各种YOLO论文,你可以用它很轻松的获得不同的YOLO
  • 既可以解决目标检测问题,也可以解决实力分割问题

2.3 文字检测识别算法库 MMOCR

它主要解决三类问题:

  • 文本检测:就是把图像上的文本区域抠出来,或者说画出来
  • 文本识别:把文字的内容识别出来
  • 关键信息提取:是对一些结构化的票据、证件、牌照来进行信息的提取

2.4 3D目标检测算法库 detection 3D

  • 专门做3D目标检测的算法库
  • 应用:通过激光雷达和毫米波雷达感知无人驾驶车周围的3D点云数据来进行3D目标检测

2.5 旋转目标检测算法库 MMRotate

  • 旋转目标检测里框有方向

2.6 图像分割算法库 MMSegmentation

应用:

  • 识别医疗影像中的病灶区域、肿瘤的区域
  • 遥感图像中河流山地农田的面积
  • 街景数据里边的马路、交通标志和其他车的位置以及车道线

2.7 图像分类+预训练+多模态算法库 MMPretrain

2.8 姿态估计算法库 MMPose

2.9 三维人体姿态估计算法库 MMHuman3D

所谓的三维人体姿态估计,就是要用一个3D的模型去包络出人体,我们就可以用一个3D的数字人,去拟合一个真人。

2.10 生成模型+底层视觉+ AIGC算法库 MMagic

目前 MMagic 支持多种图像和视频的生成/编辑任务

SOTA 算法

MMagic 提供了处理、编辑、生成图像和视频的 SOTA 算法。

强有力且流行的应用

MMagic 支持了流行的图像修复、图文生成、3D生成、图像修补、抠图、超分辨率和生成等任务的应用。特别是 MMagic 支持了 Stable Diffusion 的微调和许多激动人心的 diffusion 应用,例如 ControlNet 动画生成。MMagic 也支持了 GANs 的插值,投影,编辑和其他流行的应用。请立即开始你的 AIGC 探索之旅!

高效的框架

通过 OpenMMLab 2.0 框架的 MMEngine 和 MMCV, MMagic 将编辑框架分解为不同的组件,并且可以通过组合不同的模块轻松地构建自定义的编辑器模型。我们可以像搭建“乐高”一样定义训练流程,提供丰富的组件和策略。在 MMagic 中,你可以使用不同的 APIs 完全控制训练流程。得益于 MMSeparateDistributedDataParallel, 动态模型结构的分布式训练可以轻松实现。

3. 模型终端部署应用 MMDeploy

  • 你可以用OpenMMLab训练模型,再用MMDeploy来部署到各种各样的推理框架和终端硬件设备上
  • 你就实现了从数据到训练算法再到应用部署的全流程

4. OpenMMLab 趣味应用游乐场&社区

  • 里面有很多有趣的项目,也有一些项目也很前沿

 

相关导航

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注