IPTV流媒体分发和交付技术的新突破_宽带_融合通信

IPTV流媒体分发和交付技术的新突破

2007/01/22

1.前言

　　在2001年的《福布斯》杂志上，迈克.S.马龙(Michael S. Malone)曾经留下著名的预言，随着光纤、半导体、Internet、在线交易、语言和接口、以及信息技术的进步，被称为Internet支柱的万维网(World Wide Web，WWW)将在2004年-2005年被新技术取代，这种新的突破性技术被命名为Internet II：全球网格(Great Global Grid，GGG)。在文章的最后他警告说，如果美国不能及时抓住这个机遇，就可能要再过十年之后在法兰克福或是上海见到它了！

　　网格技术的核心是新的分布式网络计算技术。无论是在美国、欧洲还是在中国，从计算网格、存储网格到业务网格，相关的理论和技术研究近年来取得了巨大的进步。但是，马龙先生预言的两万亿美元成本可以获得二十万亿美元市场的Internet II全球网格商用似乎真的要等到2015年。不过有一点值得庆幸，由IPTV技术推动的网格应用：由UT斯达康公司开发的基于分布式流媒体交换网的分布式流媒体网络文件系统，已经于2005年在上海、哈尔滨和东京等地实现商用了！

　　无论在视音频媒体产业，还是在电信产业，IPTV都被看成是一次重大的业务发展机遇。但是在实施中，许多人认为它不过是通过IP网络传送数字电视广播(DVB)的业务，也有一些人将它定义为通过TV上Internet网的一种业务，或是酒店VoD业务的翻版。我们也看到许多关于IPTV的讨论都关注于图像编解码的技术、宽带传送技术和数字版权管理技术，对于十分重要的视音频内容和流媒体的交付，许多方案都仅仅局限于采用Internet流媒体技术或是传统的、基于文件下载的内容分发网(CDN)技术。这些理解和专注都是建立在IPTV对现有的技术、现有的产业链和现有的网络基础设施上进行延伸的前提之下的，没有看到IPTV不仅孕育着整个产业的巨大变革，还推动了分布式计算技术的重大突破，也没有看到IPTV将为网格技术的发展开辟了一条全新的路径。

　　通过对IPTV流媒体处理需求的分析，我们发现分布式网络计算是一个核心的问题。我们可以说IPTV是开放分布式计算技术和电信工程技术的结合。之所以强调电信工程是因为IPTV不同于一般计算机的应用，它要求建立一个电信级服务网络、存储网络和电信级传输交换网络之上的一个大规模的、高可靠、高安全、高性能、高伸缩性的，易维护的、低边际成本的提供音视频流媒体服务的业务网络。为了达到这样高的结构要求、性能要求和成本要求，开放分布式计算技术上必须有重大的突破。

　　本文将从IPTV流媒体分发和交付的功能原理和电信工程的相关需求，讨论电信级的、基于分布式计算的流媒体服务网络和流媒体文件网络的体系结构，建立了流媒体网络文件系统的概念。这种面向业务的流媒体文件系统体系结构，是分布式计算技术的重要突破，将极大地推动网格技术的发展

2.IPTV流媒体分发和交付的原理和需求

　　IPTV流媒体分发和交付的原理并不复杂。它的复杂性体现在建立大覆盖、大容量、高性能和高可靠的电信级流媒体分发和交付系统。对这样系统的开发实际上是对一个基于分布式计算的、针对流媒体业务的网络文件系统（NFS）的开发。由于这种开发远远超越了传统的内容分发网（CDN）的服务器互连的概念，具有重大的理论意义和技术意义。

　　IPTV流媒体分发和交付网络的内容输入是表现为音/视频/数据流形式（目前是直播的音视频节目，或称线性电视）的内容和文件形式（通常是存储的音/视频文件）形式的内容。这个系统的内容输出是网络用户端基于音视频流的播放接口。

　　流媒体分发和交付系统的控制接口分成网络端控制接口和用户端控制接口。网络端控制接口是按照IPTV业务层的指令，实现向指定用户播放指定的内容和实现相关的控制。用户端控制接口是按照用户的指令，对该用户的流媒体播放进行控制，实现如启动、停止、暂停、继续、以及快速和慢速的进退等播放功能。

　　流媒体分发和交付系统输入和输出之间的传递特性是透明的。透明性包含了内容与控制的透明性和路径透明性。

　　对于流形式的输入（直播）而言，内容与控制的透明性是指系统输出的流媒体仅仅是输入流媒体的时间移动和地理空间扩展，不改变流本身包含的信息，包括控制信息。对于文件形式输入（下载）而言，内容透明性是指系统输出的流媒体和输入文件的内容保持一致，控制透明性是指输出的控制信息和输输出的流媒体和输入的流媒体之间的路径透明性是指用户获得流媒体服务和网络接入点无关，获得流媒体的内容和控制与组播的方式、经过的节点，存储的方式和流存储资产管理的结构无关。

　　流媒体分发和交付网络的内部功能包括：将输入的线性直播流（如广播电视）按照用户的选择进行组播，同时在分布的存储网络上进行录制。对于文件形式的输入，媒体分发和交付网络要首先对文件进行流化，然后将它们存储在分布的存储网络上，在用户点播时通过合适的流媒体输出节点播放。媒体分发和交付网络内部要支持对流传送的控制和对播放过程的控制，这种控制可以来自用户端或网络端。从业务开放性的角度看，这种控制（控制点和控制算法）对任何IPTV业务（直播、点播和时移等）都必须是一致的。媒体分发和交付网络还要支持对接入流量的管理、控制和优化，以及对网络内存储空间、存储内容和使用的优化。

　　另外，作为一个提供服务的网络，它的入口必须支持多个不同输入源的内容和业务提供，它的存储空间必须支持足够大的内容存储（如50个频道，7天，每天24小时的录制节目和大量的点播节目）。它的出口必须支持大量用户的访问（这种访问在地理上、时间上和占用时长上都是随机的），并保证流媒体传送的质量，同时具有高性能、高效率、高可靠性和便于维护的特点。

　　从实现的角度看，最简单的流媒体分发和交付网络可以仅仅由一台服务器实现，较复杂的网络可以由一组地理上分布的输入服务器、一组分布的存储服务器和一组分布的流媒体服务器的三层客户机/服务器结构来实现，更复杂的情况下媒体分发和交付网络可以由一群对等（Peer to Peer）节点（包括流媒体输入、存储和输出）组成的流媒体交换网络来实现。

　　从功能上看，流媒体分发和交付功能可以分解为流媒体输入、流媒体文件管理和流媒体输出的集合。这相当于一个基于网络的流媒体文件（流化文件）系统的功能。而IPTV业务，是这个网络文件系统的一个应用。这种对IPTV流媒体分发和交付功能的认识，使IPTV的开发大大突破了CDN文件分发的思路，将传统的网络互连问题变成了分布式计算问题，变成了一个针对流媒体应用的网络文件系统的结构、存取和管理的问题，也就是变成了一个流媒体网络文件系统的问题。这正是对IPTV流媒体分发和交付进行研究的理论意义和技术意义。

　　综上所述，流媒体交换网络和流媒体网络文件系统是流媒体服务系统的核心技术。

3.基于流媒体交换网的流媒体网络文件系统

　　共享资源服务系统（例如电话网）的一个基本原理是：在服务质量相同的情况下，单位用户对共享资源的需求量随着用户数量的增加而下降。这是网络规模经济发展的重要前提。一个有竞争力的IPTV系统，不仅需要一个针对媒体流业务的网络文件系统，还需要一个低成本的流媒体交换网络。

　　电话业务，无论是通过传统的TDM交换技术实现，还是通过VoIP软交换技术实现，或是被认为是下一代网络（NGN）核心的IMS技术实现，它们都是控制密集型业务，需要进行处理的是用户的呼叫、接入的控制、移动性的控制和流量的控制，没有人关心对通信内容的存储和处理。

　　IPTV则完全不同，它是一种数据密集型的业务。因此，在IPTV系统的流媒体分发和交付网络中，我们需要充分考虑对通信资源、计算资源、存储资源和内容资源的共享和有效运用。

　　面向流媒体业务的网络文件系统

　　在数据密集型业务中，存储及其处理是一个十分重要的问题。在大规模网络上提供数据密集型业务，人们往往会想到建立一个通用网络文件系统（NFS，存储网格和文件网格）来进行支持。但是，我们很快就可以发现，通用网络文件系统的功能（通常只能处理固定文件顺序存储和随机存取）很难高性能、低成本地满足流媒体分发和交付的需求。这就意味着，采用网络通用文件系统开发IPTV业务，成本和性能之间无法得到平衡，甚至性能价格比不如采用基于服务器分级互联的内容分发网络（CDN）技术。这可以认为是网络通用文件系统发展缓慢的一个重要的瓶颈。

　　在这个问题上的重大突破来源于Google。几乎人人都知道，Google运用它的搜索引擎技术、语义分析技术和信息分级技术提供多种多样的业务和虚拟应用。少为人知的是，这些能力来自分布于全球的28个Google数据中心的计算和存储能力，以及它特有的网络文件系统。Google发现运用传统的文件系统（包括传统的网络文件系统）无法支持大尺寸文件以及对这些文件大量的并发访问、高频率的部分更新以及分级控制，从而开发了自己的专用网络文件系统。目前正是这个全球的网络文件系统，支撑了链接8亿网页的搜索引擎，4次以上的Internet用户日均访问率，大量的、快速投放的增值服务，对MSN、Yahoo!已经形成了强大的市场压力。

　　显然，面向业务的网络文件系统已经被看成是引领Internet第二波浪潮的重大突破。提供流媒体服务的分发和交付的媒体流网络文件系统将是这个技术突破的重要的应用之一。

　　支持流媒体业务的流媒体交换网

　　另外，作为一个低成本、高性能和高可靠的电信级网络文件系统，流媒体分发和交付网络不应该再走传统的高端电信级服务器路线。

　　传统的电信级服务器是指为电信应用专门设计的高档服务器，它的一切都可以用高和大来概括。高性能计算，高可用性（HA），大吞吐量，大容量存储等等，当然也包括高成本。这些服务器在需要高可靠性的电信智能网、HLR，OSS，软交换，CDN和增值业务平台等处已经得到广泛的应用。这似乎已经成为许多人的共识：电信的服务需要电信级服务器（包括存储服务器如磁盘阵列）。因此，目前有不少IPTV流媒体服务分发和交付系统就是采用电信级服务器的。但是，作为商业化应用的IPTV，硬件系统成本问题是不可回避的。因此，发展基于低成本计算单元的支持流媒体分发和交付的网络文件系统成为IPTV的技术发展关键。

　　为了实现低成本、高可靠、高性能、大容量的流媒体网络文件系统，需要的依然是网格计算技术的重大突破。流媒体交换网正是这样的计算和存储网络系统的体系结构。

　　流媒体交换网概念的引入，是对分布式计算体系结构的重要发展

　　在集中式处理的概念下，外部资源管理是建立在设备的基础上的。同时，计算系统的输入、输出和外部存储设备的信息和控制方法都被抽象为文件的形式（包括键盘输入、显示器显示、打印机、磁盘驱动器等等）。这样，所有对文件的管理，是以设备为单位进行。在这种前提下，网络通信能力作为对设备的远程访问能力来表达，也被归一化在设备-文件管理系统之上。

　　在集中处理的概念下开发的这种文件系统存在一个明显的问题，就是文件没有跨越设备的能力。即使文件系统是一个“分布的”网络文件系统，这个“网络”也还是被看成是一个“集中的”外部设备，“埋藏”在计算机的网络操作系统之下接受访问。如果这种结构用于大规模的流媒体分发和交付，它的计算资源无法和存储资源同时在网络层面进行优化，从性能和成本上看都是不合理的。

　　显然，如果能够将网络文件系统独立于网络操作系统，而不是将网络文件系统作为外部设备置于操作系统之下层，并通过新增一个平台实现流媒体服务的存取，流媒体分发和交付系统的性能和成本将大大得到改善。这个平台就是流媒体交换网。

　　基于流媒体交换网的流媒体网络文件系统

　　一个流媒体交换网是由网络上一组对等的（P2P）计算节点所组成的。我们称这些计算节点为流媒体服务节点。每个服务节点包含流媒体的输入、输出和存储的功能。流媒体交换网所有的输入能力、输出能力、存储能力和存储的内容组成了流媒体网络输入系统、流媒体网络输出系统和流媒体网络文件系统。

　　在流媒体交换网中，所有的存储空间对网络文件系统是共享的，而网络文件系统又是被所有的流输入输出处理进程所共享的。但是这个网络文件系统是物理设备无关的，或者说网络文件系统关联的虚拟“设备”就是整个媒体交换网。这是流媒体服务操作系统的重要特点。

　　从输入和输出的角度看，一个流媒体交换网是一个实体，输入、输出和存储的功能与物理的设备（服务节点）的状态是无关的。在这种前提下，每个节点可以自由地加入或是卸载，而不会影响整个流媒体交换网的服务功能。

　　因此，在流媒体交换网中，操作系统、网络、设备和文件不再是层次分割的。他们的关系对于媒体交换网是并行的。我们可以看出，对流媒体的存取将不再是对服务器的存取，而是对整个网络的存取。对流媒体文件的存储将不再是对设备和文件的存储，而是对网络的存储。同时，网络自身包含了容错的机制，无需增加任何对提高可用性的额外资源。作为流媒体文件，将不再受限于硬盘等设备的容量、可靠性或是存取速度，它可以透明地跨越网络上的多个设备进行存储，特别适合大尺寸、无边界的流媒体文件的处理。另外，网络自身对输入、输出和存储的管理和优化，使得每个流媒体交换网成为一个自治的系统。

　　流媒体交换网是一个开放的中间件系统，它通过API和底层资源接口，通过API和应用系统接口，也通过API实现系统的集成、重组和扩充。

　　在流媒体交换网的设计中，一个流媒体交换网可以分裂为多个虚拟流媒体交换网（每个流媒体交换网对应一族输入、输出和虚拟流媒体网络文件系统）。同样，多个流媒体交换网中的虚拟资源可以进一步组成新的媒体交换网，称为流媒体虚拟组织。这种虚拟组织是建立在内容管理的层面上的，它可以在更大的范围内实现内容的优化调度和共享。

　　和将网络文件系统作为公共的存储设备的概念比较，基于流媒体交换网构造流媒体网络文件系统采用全分布体系，它的性能和成本优势显然是十分清楚的。

　　作为流媒体网络文件系统的实现，流媒体交换网将一组低成本的通用计算机（例如包括计算能力和存储能力的刀片服务器）组成网络进行管理。多个流媒体交换网可以组成一个地理上规模更大的虚拟流媒体交换网。然而，运行在这些不同流媒体交换网络上的流媒体文件系统可以是共享的，从而可以组成全国以至全球范围的多个虚拟流媒体内容服务系统，供不同的音视频内容提供系统和不同的IPTV业务和运营系统使用。

　　流媒体交换网是IPTV业务组网的基础。无论嵌套与否，每一个流媒体交换网（计算和存储能力、传送和路由能力）是自治管理的。虚拟流媒体交换网的组织主要是内容管理层面的。显然，流媒体交换网是支撑IPTV业务的网络基础，流媒体网络文件系统是流媒体交换网提供IPTV业务的重要逻辑元素。

4.结论

　　本文提出的流媒体网络文件系统、流媒体交换网和基于流媒体交换网的流媒体文件系统，是网格计算的一个重要的应用。这个重要的应用在理论上和实践上对今后网络基础设施的发展都具有重要的意义。这种新的体系结构颠覆了传统的集中式计算概念。如同Google采用的面向信息服务的专用文件系统所体现的，这种体系结构已经被认为是Internet技术发展中从开放的通用化的网络体系（如同IP技术所实现的）走向开放的专业化计算（业务）体系的重要的里程碑。

　　基于流媒体交换网的流媒体网络文件系统，带领网格技术走出了理论研究的象牙塔。在中国、日本、印度和美国，这个由中国首创的颠覆性技术已经经过了IPTV大规模的实验并得到商用。可以预见，采用这种体系结构的业务系统将为传统电信业向综合信息服务的转型建立有效的平台，基于同样概念发展的各种面向特定业务的交换网络和文件系统将成为未来一段时间计算技术发展的主流。

中国信息产业网(www.cnii.com.cn)