扫盲第二波：流媒体多通道编码,你知道多少？(上)
时间：2020-09-15 07:56:28 来源：达达文档网 本文已影响 人 
什么是编码？
编码是指将捕获的视频和/或渲染的PC图形转换为数字格式，便于记录、移动、备乘、共享，改变或以其他方式來操作视频内容以进行编辑，传输和查看。该过程需要遵循一组数字化视频的规则，这个规则可以被“解码器”反转，用于观看。解码器可以是专用硬件也可以是简单的软件播放器，编码过程可以使用市场通用标准或者专有编码方案。
第一步：视频捕获
编码的第一阶段是视频捕获，其中包括同时捕获音频信号。可以“捕获”的媒体内容多种多样，视频捕获的最常见信号源包括：相机、视频制作和交换设备，以及在PC上呈现的图形。
对于摄像机和视频制作和交换设备，有不同的端口可以访问音频和视频。这些设备连接到编码设备的流行端口（I/O）包括：HDMI和SDI。
从PC捕获渲染的图形或视频可以通过多种方式完成。可以使用软件捕获PC显示屏上可见的内容，也可以从流行端口（I/O）（如DisplayPort或HDMI）捕获PC的图形输出，甚至可以通过PIP或基带相机的视频拼接CI-Express总线从PC内进行基于硬件的捕获。与能够处理多IP或基带相机视频拼接的 GPU结合使用时，支持高密度捕获和/或编码的产品可用于一些实时录播，或者360°视频，虚拟现实（VR）和增强现实（AR）的流媒体应用。
使用软件编码时，PC的捕获硬件有多种形式：包括PCI-Express卡、USB捕获设备和用于其他PC互连（I/O）的捕获设备。
下一步：视频编码
视频编码可以通过硬件或者软件方式来实现，不管是硬件还是软件要满足工作流程的要求，都需要不同的功能，也有不同的价格。捕获和编码视频有多种方式，配备摄像头的手持移动设备可以创建编码视频文件，也可以创建实时视频流。
转码和转换
转码和转换也属于其他形式的编码，指的是拍摄数字视频并进行格式转换。比如说从一种格式（例如MPEG-2）获取视频内容，并将其转换为另一种格式如H.264，这就是转码。转换是获取视频资产并转换其分辨率或比特率特征，但保持格式不变。对于某些转码操作，必须对视频进行解码后重新编码。而有些类型的转码可以保持相同的编码格式，但是可以改变诸如流媒体传输协议之类。
有时，在本地或在云中作为服务运行的软件可用于转码应用程序，转码操作的目的和性能要求差别很大，流媒体视频工作流可以容忍的延迟量会影响到对各种媒体的原始编码和转码的选择。
压缩或非压缩编码
对原始视频进行编码可以通过压缩和非压缩方式来实现。例如，在视频编辑环境中，视频经常被操作，并且许多工作流程都设计有数字非压缩视频。在向互联网上的用户提供视频的应用中，视频通常是压缩的，因此可以放在网络上并在许多不同的设备上观看。
当视频直接从内容所有者提供给内容观看者（如绕过有线和卫星服务提供商）时，被称为“过顶”内容或简称OTT，指互联网公司越过运营商，发展基于开放互联网的各种视频及数据服务业务。几乎所有以任何格式到达观众的内容都是压缩视频，包括OTT、蓝光、在线流媒体以及电影。
虽然视频可以在有或没有压缩的情况下进行编码（数字化），但在涉及压缩时，这通常涉及视频编解码器，它是压缩/解压缩的简写。
当编码的目的是用于实时流媒体传输或点播流媒体记录媒体时，就会采用视频编解码器（如H.264）来压缩视频。软件和硬件解码器可以进行反转并允许您查看媒体。
有许多用于在线信息资源可以用来评估流行的编解码器，从大多数的报告反应的情况来看，H.264仍占据主导地位的市场份额。
实时与非实时编码
对视频进行编码可以实时进行，也可能具有延迟性。例如，电影和节目流媒体服务中的许多在线视频都使用多通道编码来利用压缩技术，为观众提供最佳的性能和服务质量。图像质量和比特率通常是反相关的，优化一个必然以牺牲另一个为代价。 但是，使用多通道技术可以显著减轻视频的比特率，同时仍然为观众提供卓越的质量和性能。
在其他情况下，实时视频编码更适合应用程序如，在直播应用中，在相机视频到达观众的延时容忍度非常低，通常会将视频捕获、编码和打包以便以非常小的延迟进行传输。
在线会议和网络会议通常使用实时视频编码，专业制作的实时网络广播也是如此。值得注意的是，观看者在根据自己的时间记录供以后观看的“按需”版本的网络会议和网络广播通常采用与实时视频编码器处理的原始直播事件相同的格式。这是因为一旦视频通过压缩进行原始编码，就无法再改进质量。
在带宽受限网络上的应用上，基于硬件和基于软件的实时编码器之间的主要区别在于它们可以实现的延迟，质量和比特率优化。最好的编码器，无论是基于硬件还是软件，都能以极低的延迟和极低的比特率产生卓越的视频品质。
有时编码器也可以与相应的解码器紧密耦合。这意味着厂商为编解码两端提供了一些额外的优化，例如，调整信号源和目标端点、信号管理和切换的简易性和自动化连接，整体性能和质量都能得以补充和增强，或者在某些情况下，完全能够取代传统的硬件连接AV基础设施。
硬件与软件编码
硬件和软件编码之间的区别在于硬件编码使用专用的编码处理，而软件编码依赖于通用的编码处理。
当编码由专用硬件来处理时，硬件自动执行编码规则。良好的硬件设计可达到更高质量的视频效果，更低的功耗以及极低的延迟，还可与其他功能结合使用。通常在需要实时编码的情况下采用硬件编码。
软件编码也需要使用硬件，但会使用更多通用处理方式，如PC或手持设备中的CPU。但在大多数情况下，软件编码仍然表现出更高的延迟和更大的功率要求。对高质量的视频内容来说，使用软件编码对延迟和功耗的影响更大。许多现代CPU和GPU都具备一定程度的硬件加速以进行编码。有些有I/O限制，主要用于转码。另外一些采用硬件来对单个流媒体如播放共享视频游戏进行解码。
视频编辑是使用高质量视频进行软件编码的一个很好的例子，内容编辑器经常会保存更改，未压缩的编码视频用于保持视频质量。在视频编辑过程结束后，重新编码（转码）视频要使用压缩技术进行共享视频以便查看，或将文件缩小进行存储。未压缩视频通常会存储起来以供将来编辑选用，但额外的视频COPY版本通常会采用压缩格式方便查看。要移动未压缩的视频对带宽影响很大，即使使用新的高带宽网络，在压缩视频时也始终要保持有效带宽和可扩展性的最大化。
使用个人电脑的摄像头或智能手持设备来进行视频会议（或视频呼叫）也是软件编码的例子，也就是在CPU上运行的软件中进行的高度压缩视频编码。
對于用户来说，硬件加速编码与软件编码之间的区别可能并不是那么清晰。硬件加速为不同的工作流程提供多种不同的用途，例如：许多手持设备包含的CPU可以加速高压缩视频的编码，用于视频呼叫等应用。在这种情况下，硬件加速的“目标”是在没有加速的情况下保护手持设备的电池寿命，免于在手持设备的CPU上运行软件。完全通过软件视频通话，观看YouTube上的流媒体视频或观看存储在手机上的视频，这些行为都会大大消耗电池寿命。
在使用软件编码还是使用硬件加速编码这个问题上，编码任务的“复杂性”之间存在着一定相关性。保持视频质量同时显著压缩视频的大小，以便在网络上进行存储或传输就是典型例子。
这也是为什么视频标准举足轻重的原因之一。H.264作为一个长期服务的视频标准，这意味着它在智能手持设备和个人计算机中采用的是硬件加速方式，这也是为什么H.264为何在制作，共享和使用视频内容中如此得心应手的原因之一。
为家庭用户提供电影和节目的流媒体视频服务有时也使用软件编码，以最低比特率实现最高视频质量，为数百万并发用户提供可靠的高质量体验。但是对于这样的目标用例，他们使用大量计算机长时间运行以寻求最优的编码参数。这不是实时完成的，更适合点播流媒体传输，而不是实时流媒体传输。
对于具有更多窄播应用（例如视频编辑基础架构）的编码，使用未压缩或轻度压缩的编码进行一些简单的处理还是有意义的。
企业、政府、教育机构等这些组织，经常会制作大量的视频内容，需要平衡许多变量因素。首先视频质量非常重要，在网络上保持稳定性和性能的同时保持视频质量，这一点是至关重要的。保持低编码延迟，高视频质量和低带宽对于直播应用程序来说也是相当重要。用于点播流媒体的“录制”通常在与用于直播的编码同步进行，因此，视频编辑的高带宽方法在这里并不实用。电影流媒体服务的高度优化的多通道编码方法基本都在预算范围之外，而且是非实时的，并不适合在这些机构应用。
流媒体和录播的编码
对视频进行编码只是流媒体或录播的第一步。那么编码后的视频如何从编码器传输给用户或者录播设备呢？编码器需要在某处发送视频，同时也需要告诉接收端它正在发送什么内容。
流媒体协议是不同的视频流媒体传输规则，用以处理不同的目标和优先级如视频延迟、网络带宽、广泛的设备兼容性、视频帧速率和性能等。
流媒体协议让被编码的视频随后以实时或稍后的方式进行传输，协议不会影响视频本身，但会影响用户与视频的交互方式，视频流传输的可靠性，或者可以访问它的那些设备或软件播放器。有些协议是专有的，只能由特定的厂商硬件使用，也大大降低了该内容的互操作性和潜在覆盖范围。
AV行业中简单的AV-over-IP产品通常会生成这些专有的流媒体格式，从而增加厂商产品的锁定性，降低互操作性，并大大降低内容资源在企业中的使用灵活性。但专有的格式会对自己产品的互操作性负责，有时，客户愿意接受这种产品锁定性，以增强他们对大量分布式端点无缝协同工作的信心，而且，在产品并兼容、出现错误或者其他一些问题的情况下，厂商的支持随时都能到位。
针对不同的应用需要不同的流媒体协议。例如，在本地网络上共享实时事件时，延迟将是其中的关键因素，观众不一定需要回放控制，一些企业也可以确保网络的可靠性，因此不需要采用复杂的纠错方式。因此，跨云或公共互联网使用的协议可能与用于AV over IP上的协议不同。
当将流媒体扩散到多个平台以在互联网上进行更广泛的传播时，HLS、MPEG-DASH和Web RTC都是用于广泛传输内容的协议。在将这些协议用于流媒体传输之前，用于把内容上载到云服务的流媒体协议可能是诸如RTMP这类。如果网络不可靠但仍需要保持视频质量，或者需要保护视频，一些新出现的协议（如SRT）也完全可以使用。
安全可靠传输（SRT）就是一种新协议，是作为RTMP的替代候选协议而开发的，许多硬件和软件公司已经都能支持这种新传输协议。
流媒体协议比我们这里提到的要多得多，每种协议都有其自身不同的优势。
在存储视频而不是作为实时流媒体进行观看时，需要一种存储方法。不出所料，我们也有广泛的可选方式，用于存储未压缩、轻度压缩以及高度压缩的视频。虽然我们可以对存储的视频执行操作以使其在以后具有不同的选项，但是对存储的视频最终如何使用，也就是存储视频的最终目的这个问题思考得越多，那么，我们就可以提前决定如何将这些视频进行数字化。就像上面的流媒体讨论一样，每个工作流程都有不同的工具，在这种多通道编码讨论的情况下，许多存储选项可以直接在捕获点处理和/或使用媒体服务器和其他工具进行转码。（未完待续）
