2019年4月23日
By Jan Ozer 特约编辑
专题文章

NAB 2019: Twitch谈论VP9, AV1及其五年编码路线图

成绩单

Jan Ozer: 嗨，我是Jan Ozer. 今天早上和Yueshi Shen在一起，他是Twitch的研究工程师，视频工程师. 我们将从编解码器的角度来讨论Twitch做了什么，这是一个不断变化的动态. 嘿，月石，谢谢你今天早上来见我.

Yueshi沈: 谢谢你，简. 我叫月石，我在Twitch工作. 如果你不知道Twitch Twitch是一个直播平台. 基本上，我们的内容更多是关于电子竞技和游戏. 根据 twitchtracker.com, 公开信息, 在我们的巅峰时期, 有140个,000个并发通道, 我们的最高收视率是400万. 所以说到编解码器策略, 我们的内容更具互动性, 低延迟, 因为我们有很多频道, 基本上我们有两类, 对于头部内容, 下个月我们将发布VP9, 在未来, 我们正在考虑x264, VP9, and AV1, 当生态系统变得成熟. 对于头部内容, 多种格式的流媒体是可以接受的，因为观众是巨大的, 所以多格式串流, 虽然增加了我们的成本, 它实际上仍然节省了我们的交通成本, 所以还是值得一试的. 但对于尾部内容，情况就大不相同了. 我们只能提供一种格式的流媒体，所以我们目前的策略仍然是H.264使用硬件, 高密度硬件解决方案, 但我们希望是在2024年, 2025, AV1生态系统已经准备好了, 我们想100%切换到AV1.

Jan Ozer: 你是说2024年和2025年吗?

Yueshi沈: 2024年，这是我们现在的预测. 但另一方面, 就像我说的, 我们的AV1版本将是, 对于头部的内容会快很多, 我们希望2022-2023我们将发布AV1的头部内容. 但对于头部内容，我们将继续流式传输双格式，AV1, H.264. 但对于尾部内容, 我们希望从现在起的5年内能实现AV1, whole eco, 每一个有五年历史的设备都支持AV1. 然后，我们将切换到AV1 100%.

Jan Ozer: 所以你主要是一个直播平台，当你说头部内容, 你指的是浏览次数最多的主要内容?

Yueshi沈: 这是正确的. 例如，电子竞技内容和首席广播公司.

Jan Ozer: Okay, 所以你最近一直在考虑改用VP9, 是硬件吗?, software, 你两个都看吗, 这是什么决定?

Yueshi沈: 这是一个非常好的问题. For VP9, I mean, as I said, 我们在看压缩增益, 对于VP9，我们现在使用FPGA. 我们有评估软件, 我们还没有数据表明该软件可以提供相同的压缩增益. 我们的柱是x264在参考点处的中位数, 比特率至少比x264中位数低25%, 但我们也有实现35%的路线图, 但这是我们的酒吧.

Jan Ozer: Okay, 所以你是说用FPGA编码器生成的VP9是相同的质量, 数据速率降低25%?

Yueshi沈: 这是正确的. 没错，是的.

Jan Ozer: 好的，这是实时传输?

Yueshi沈: 那是实时传输，没错.

Jan Ozer: 几个月前我和你聊得很开心，因为你们是一个很大的平台, 积分VBR编码, 据说是CBR编码引起了这个巨大的波, 你能谈谈VBR和CBR作为一个实时平台的选择吗?

Yueshi沈: 这差不多是对的. 人们可能不知道Twitch实际上有一个私有CDN, 我们有自己的复制, 我们的支柱, 边缘服务器. 我们与互联网服务提供商签订了母公司合同. 根据我们的操作, 我们不喜欢VBR, 如果我们预定一个管道，这就差不多了, 如果视频是VBR，基本上是给isp一定的带宽, 我们很难控制服务质量，因为我们的视频映射系统不知道如果比特率发生变化，我们可以在这个管道中放入多少观众. So this is very different from VOD; VOD is different people 同时 watching different content, 但是对于生活, 是不同的人, 同时, 看同样的内容, 所以任何VBR实际上都会混淆我们的视频映射系统. 我们不知道我们将在管道中放入多少用户.

Jan Ozer: 在大多数情况下, 我相信大多数观众都清楚这一点, 但是你的流媒体, 你从一个远程玩家那里得到一个流, 然后将其转换成多个流, 典型的梯子是什么样子的?

Yueshi沈: 是的，所以现在，我们正在从我们的广播中摄取1080p60.

Jan Ozer: 什么比特率?

Yueshi沈: 因此，这取决于广播公司的上传带宽. 一般在6点到8点之间.5 Mbps. 然后我们将转码成不同的比特率, 720p60在3mbps, 然后是2mbps的720p30, then 480p, 一直降到160p，大约200kbps.

Jan Ozer: 好的，你对客观质量指标的看法是什么? 你使用哪些指标，你信任哪些指标?

Yueshi沈: 是的，实际上这是一个很好的研究课题. 事实上，目前正在进行一些积极的研究. Right now, 我们在做PSNR的组合, SSIM, and VMAF, 但我们现在最信任的是我和我同事的眼睛. 所以PSNR给了我们一些参考. 它可以发现一些明显的编码错误，但我们仍然有50%以上依赖于我们的黄金眼睛.

Jan Ozer: Okay, 昨晚我和一家大型OTT公司的压缩师进行了一次谈话，他谈到了根据梯子的等级使用不同的编码参数, 也许更低的梯级可以减少噪音, 还有锐度. 你在做这些事吗，或者你在调查这些事吗?

Yueshi沈: 现在，我们还没有进行图像预处理. 这是我们目前没有百家乐软件去做的事情，但这是一个非常有趣的方向.

Jan Ozer: 为了我写作的对象, 这通常不是你的水平, 当然也比不上昨晚和我谈话的那个人, 但是人们, 我停在预设的地方, 这是每个预设的作用, 它有一个编码参数的组合, 但是从个体来看, 他提出了一个有趣的想法, 因为低质量的流需要更多的扩展, 你会得到更多. 那么你要怎么做才能提高流的质量，而这是你在1080p传输中不会想到的, 甚至是720p流媒体? 我也不知道. 我只是想知道你有没有看过.

Yueshi沈: 我们还没看, 我可能需要评估投资回报率, 投资回报, 量化这是否真的对我们有帮助. 好的，另一件事是我们的大多数观众都在看1080p60.

Jan Ozer: 这是正确的.

Yueshi沈: 我没有数据告诉你如何量化利息回报.

Jan Ozer: 所以当你说你的大多数观众，你能告诉我们百分比是95%还是62%吗?

Yueshi沈: 我一时想不出确切的数字, 但绝对超过了50%, 根据地区的不同. 和美国一样，中国的互联网也很好.

Jan Ozer: 除美国以外，你们的主要地区是哪些?那里的数字是怎样的?

Yueshi沈: 亚太地区的情况非常好，比如新加坡和韩国. 某些地区, 拉丁美洲, 一些东欧国家, 但无论如何, 还是为了我们的全面发展, 超过50%的观众收看的是1080p60电视, 这个数字在美国要高得多, 和西欧.

Jan Ozer: 是的，这使得对低质量流进行大量研究变得困难.

Yueshi沈: 是的，我们做了一些质量最低的工作. 在160p变成500kbps之前，我们做了一些功. 更多的是在音频方面，我们将音频转码为更低的比特率.

Jan Ozer: 对于PSNR、SSIM或VMAF，你有什么神奇的数字吗?

Yueshi沈: 这取决于内容. 对不起，我现在没有电话号码.

Jan Ozer: 好吧，就这样吧，我们还有个约会要去. 月石，谢谢你分享这些信息，祝你的节目愉快.