绿幕直播、虚拟直播的认识总结

前言：

2021年春节前和春节后的两三个月， 对接了一些绿幕直播的客户， 我们自己去做直播， 出差去拜访主播，在不同的手机上测试绿幕直播的性能，去聊，去看，思考， 见过很多客户，发现对绿幕直播的认知，客户之间确实差别很大，认知的不同确实会造成事情结果截然不同；总结一下：

绿幕直播， 虚拟直播

绿幕直播，是人站在绿布前直播， 直播画面会实时抠去背后的绿布， 然后叠加上其他画面，比如卖货用的宣传图片，宣传视频，讲师的课件， 起到很好的宣传效果；

实际操作：比如在抖音里做绿幕直播，步骤是：打开抖音的直播界面，点击录屏，这时抖音退到后台， 再次打开绿幕抠图APP里的相机绿幕抠图预览，因为相机实时抠图显示，抖音在后台直播手机APP界面，APP里的界面就是相机抠绿后的各种叠加界面，从而实现在抖音绿幕直播的效果。

虚拟主播：更是在抠绿后做进一步的处理， 比如把主播封装成卡通人物， 声音调节为甜美，投入到虚拟舞台上， 更大的观赏性；但这些都是在绿幕抠图或AI抠图后做的处理；（估计2021年的下半年或2022年一些大的主播会采用。这是后话）

为什么用绿幕直播，而不用AI实景抠图。

主要是因为目前（2021年）AI实景抠图还不太成熟，大厂提供的人像抠图或多或少的有瑕疵， 要么是有白边， 要么抠的不精准， 还无法做到绿幕那么干净的程度， 抠后叠加上背景画面， 有违和感， 不自然， 容易出戏；

如果哪天AI实景抠图技术成熟了， 用AI实景抠图当然很好，但目前来说，还是绿幕抠图实用性高。

（我们看到的虚拟主播演示，就是类似阿凡达那样的拍摄场地，设备专业，AI实景抠图或绿幕抠图 + UE4，明明是一个抠脚大汉，但经过抠图和UE4的处理， 出来的就是卡哇伊的美少女，并且实时和声音同步，但这些是顶流才可以用得起的啊， _）

抠绿？ 就这？ 随便做做不就可以了？

答案还真的不是随便做做的事情；

首先： 我们认真的考虑这个抠绿的事情， 并研究过大量的开源抠绿算法， 比如ffmpeg中的色阶抠绿，github上的其他算法， 发现要想做好抠绿，还真的没有那么简单。要么画面泛绿； 要么在剧烈运动的时候（比如主播拿着商品手臂来回舞动等场合），抠不完整， 有绿色边缘， 或者速度上太慢等等，

其次：因为绿幕直播， 是抖音在后台实时的录屏实现的， 还要考虑性能差的手机，要给抖音留住足够多的时间去录屏直播， 如果速度慢， 抠绿和预览占据了大量的CPU资源，会导致抖音录制网络传输后的画面抖动， 有时候一卡卡的情况，严重手机发烫。但如果把画面分辨率降低，又会感觉画面不清晰，卖货更无从谈起；

还有多机位的问题。 多机位就是多个画面同时显示，场景就是：卖货主播手里拿着商品， 既要主播显示出来，同时主播手里的商品也要特写的显示出来。多个摄像机的画面同时叠加出来。

多个素材叠加的问题， 如何方便易用，则是一个细节调整的过程；

针对这样的情况， 我们做了大量的优化， 既要抠绿抠的完整，自然，叠加上别的画面不出戏， 又要兼容Android低端机的性能，并且还要简单易用。

综上来说， 确实不是：”就这“ 可以完成的。