
图片大变视频
昨天在编辑知乎文章的时候,发现了生成视频的按钮:

于是乎,凭着一股好奇心点进去🤔:

竟然把我写的文章花了3s不到转化成了一段小视频。
可以调整文字和图片展示顺序🤣:

可以更换背景音乐~

可以自定选择网络素材配图😋!

可以自己选择配音!这里我随机抽了一个可爱女生的声音🤔。

总之,简单设置一下,就可以生成视频了(视频在最后)。
技术分析下
简单使用了一下这个功能,不清楚其实现方式是什么。简单猜一下:
- 利用NLP自然语言处理在已知标点符号的前提下,进一步进行断句和相关配音;
- 图片自动匹配文章内容,利用语义图片识别技术来通过标签进行挑选;
- 其他的暂时猜不到了…
一些缺点?
毕竟是内测,有些小问题还是很正常的。简单列一下我遇到的一些问题:
自动配图语义
功能中的自动配图可能还不是很精准,一篇讲代码的文章会配一些昆虫的图片🤣。
断句可能还不是很精准
有时候断句还不是很精确,导致自动配音的时候会有些突兀。如果在断句不正确的情况下可以手动调整就更好了。
代码块和特殊字块无法读取
文章中有些特殊符号无法识别,在转换为视频的时候会自动去掉。希望后期这个工具可以将代码块或者特殊格式的字块,统统自动转化为图片就好。
图片大小还无法调整
有时候图片在预览的时候比较小,不利于观看,如果在编辑界面可以自行调整就好了。
总结一下
知乎这个工具确实很有意思呀,后期继续优化的话,用户只需要简单修改就可以通过图文产出一段”很专业的”小视频,个人感觉还是很有未来概念的。
网上查了一下,百度的智能创作服务平台也提供这种技术,看了下百度的“图片生成视频”API,貌似还在开发中。需要登录用户平台才可以加载出来,大家有兴趣的可以点这里看看。

说了这么多,到底生成的视频长啥样捏,一起来瞧瞧: