可以实时分割人物的算法
TensorFlow开源了一个可以实时人物分割模型——BodyPix。这个模型在浏览器上使用TensorFlow.js框架就能跑。在i5-7500笔记本处理器下跑,可达每秒24帧。用iPhone X跑,每秒21帧。
可以在线运行的Demo地址为:
https://storage.proxy.ustclug.org/tfjs-models/demos/body-pix/index.html
简要细节
该模型可用于将图像分割为属于或不属于人体的像素,以及属于人体24个关节的像素。目前只适用于单个人物。
该模型的理想条件是输入图像或视频中只有一个人且处于中间的位置。当然这个模型也可以与常见的人物检测器相结合,首先检测到单个的人物,然后再使用此模型进行分割,从而在图像中分割多个人,但是目前并不是这个模型的主要任务。
该模型使用的基本模型为MobileNet,有多种的配置可以调整,从而适应不同的终端设备。
总之,可以愉快的玩耍了~
项目地址
https://github.com/tensorflow/tfjs-models/tree/master/body-pix