|
17-18世纪,夸美纽斯和裴斯泰洛齐等人提倡的直观教学主要采用图片、实物、模型直接教学来辅助教学。20世纪后随着工业技术的进步,出现了照相、幻灯和电影等,它们可以向学生提供生动的视觉形象,加之与无线电广播、录音机等听觉技术的应用,发展成后来的视听教育。戴尔的经验之塔与布鲁纳的教学活动分类方案为视听教育提供了理论基础。在现代信息技术飞速发展的21世纪,构建基于视频服务的网络教学环境已经成为教育技术现代化的重要内容,它将对直观教学产生划时代的意义,从而在夸美纽斯、裴斯泰洛齐直观教学法理论上突破时空的界限,教育的广泛性、实效性得以空前提高。
网络教学中是以学生为主体,所有教学活动均是以学生为中心展开的,并且在整个学习过程中,是以学生的个别学习为主,通过充分调动其主观能动性而达到学习的目的。网络教学的主要功能是远距离教学和资源的获取,因而从教学信息资源到信息的接受者——学生之间的媒体传输是实现教学过程的重要环节。教学信息包括文字、图像、图形、音频、视频等多种媒体信息,由于人获取的信息中有70%以上是通过眼睛的观看获得的,而视音频结合的信息流是最佳的教学信息传播的媒体,再通过让学生进行实时的交互操作,可以获得非常好的学习效果,是网络教学的最佳模式。随着视频技术、数据存储技术以及网络技术的迅猛发展,围绕多媒体声像资料系统,使构建宽带多媒体网络教学环境成为可能。
一、多媒体声像资料系统的建设目标
建立多媒体声像资料系统,目的是将视频、音频、图象和文本信息转换成能够永久保存的,可以共享、管理和远程发布的数字媒体资源。具体包括:
①建立能够长期保存并反复使用的高质量多媒体声像资料库;
②信息内容必须能被用户共享、交换并快速精确检索和调用;
③针对不同的应用、不同的资金条件构建不同层次、不同类别的资源系统,可以灵活变换存储介质,使系统能向上兼容新的存储体;
④具有多种软硬接口,以适用不同的网络平台和不同的应用。
对于数据的采集和管理包括这样几个环节:信息的数字化采集、形成元数据、信息存储、信息调用。信息的数字化采集、形成元数据、信息存储主要由信息资料库的管理人员完成,具有广泛适应性和跨媒体统一的开放式软硬件应用平台使资源的补充和修改变得非常透明。信息调用就是将元数据与数据进行融合,生成非常便于利用的内容,这个过程可以由信息内容使用者操作和控制。
二、多媒体声像资料系统的功能结构
层次化的存储结构具有性能价格比高和扩展性好的优点,因此系统采用这种方式作海量多媒体数据的存储结构。存储在磁盘阵列中的热点节目或资料,在需要时可以很快地传送给节目制作中心或用户服务系统。制作中心或用户服务系统有时也需要非热点的历史资料,此时系统必须让节目制作人员能够查询和浏览存储在光盘库或磁带库中的资料,并能将所选择的片段转移到磁盘阵列,然后传送给制作中心。 节目管理模块对声像资料的节目索引数据(类别、制作时间、制作单位、存储位置等)和节目的增、删及修改操作进行管理;系统管理模块对系统中的设备、网络、存储空间以及在系统中工作的不同职责人员等进管理,并对视频数据的采集、输入、输出和数据在三级存储设备与二级存储设备之间的迁移进行控制。
三、多媒体声像资料系统的网络存储方案
目前比较流行的网络化存储方案有两种,它们是SAN和NAS,这两种方式各有特点,可以互为补充。图2是一种典型的FC-SAN和 NAS的混合结构进出中心存储设备,是适合多个制造中心和远程制作中心共享的网络结构。图中的中心库是一个层次化的、由多个磁盘库和多个光盘库(或磁带库)经宽带IP网连接的NAS结构。本地或远程制作中心通过自己的一个粗编工作站向中心库进行查询,将所需要的素材从中心库中取出、上载到自己的非线性编辑机的共享存储设备上。各中心的非线性编辑机可以采用FC-SAN来连接存储设备和多台编辑机,这样的好处是每台编辑机都可以将存储设备当作自己的磁盘来使用。中心库的节目也可以通过FC-SAN上载到本地播出服务器和视频点播服务器,直接为用户服务。使用基于IP的NAS结构还有造价低、便于局域网和广域网相结合,并且维护容易、向IP存储过渡容易等优点。
四、多媒体声像资料的查询与浏览
(一)声像资料的查询
声像资料的查询基本包括基于文本查询和基于内容的查询。
1.基于文本的查询:传统的最简单的方式是利用关键字,例如类别、名称、制作日期和单位等。每个节目或资料在输入资料库时必须同时人工输入或自动提取该节目对应的索引信息,节目与索引信息一一对应存储。视频节目里常常包括一些文字信息,例如字幕、单位等,提取这些信息可以自动生成该节目的索引。
2.基于内容的查询:目前已有的办法是利用MPEG-7。由于多媒体和声像信息表现内容的丰富性,利用关键字很难全面描述一个节目,更好的方式是一种较为自然的方法,即按照图象内容来查询。按照给出的例子查询(Query by Example)就是一种很有代表性的基于内容的查询方式。在这种方式中,用户向系统提交一幅图象,例如一个人物的头像,系统则在资料库中所有与之匹配(即相同或相似)的任务资料提取出来,供用户选择。
(二)声像资料的浏览
从资料调用和节目制作的需要来看,从资料库中查找到感兴趣的内容还不够,还希望精确地剪切其中的某一片段作为粗编的素材,因此系统需要提供了解节目详细内容的浏览手段。视频资料的查询包括基于关键帧的浏览和基于低码率视频的浏览。
1.基于关键帧的浏览:将一个节目的一系列具有代表性的帧提取出来,称为关键帧,浏览关键帧可以获知节目的内容。为了浏览的方便,关键帧常按照镜头、场景等分成若干层,用户首先概览节目所包含的所有场景,若对某个场景感兴趣,则可进一步浏览该场景所包含的分镜头。每个关键帧都附有它在整个节目中的时间定位信息(时间码),用户很容易剪裁所需要的部分,并且知道素材片段的时间长度。节目在存入资料库时,不仅要存储节目本身,还要同时存储它的所有关键帧,从已压缩的视频数据中自动提取关键帧涉及到视频数据压缩算法、图象处理、图象分析与相似性比较等关键性技术。
2.基于低码率视频的浏览:如果希望做到帧精度的定位和剪切,最好的方式是允许让使用者象利用录象带选取素材那样,连续观看节目并可以前后“倒带”。利用VOD(视频点播)技术可以做到这一点。要实现这种方式的浏览,资料库中的素材就要存储两个版本,一个是高码率、低压缩比的格式,用于节目的制作;在存储低压缩比节目的同时,同步存储一个高压缩比(如MPEG-2或MPEG-4)的文件。用户浏览高压缩比的码流,然后系统根据用户给出的时间定位信息裁剪下低压缩比文件的对应段,并将该段传送给用户作为编辑的素材。
(三)低码率视频流声像数据的提取与传输
当通过低码率浏览视频节目时,视频服务器需要实时地向用户传输数据,以保证节目在用户终端上保持连续播放。视频流在IP网上的传输与传统广播电视信号不同,传统电视信号由于信道是独占的,因而码流是连续的,不受网络上其它信号传输的影响。IP网是一种分组传输的网络,即数据流被截成段,每段数据封装进一个IP包,并在包头注明接收方的地址。网络上的路由器或交换机将各个信源送来的包都收下暂存,然后依次根据收方地址将数据包发送到相应的线路上去。分组网这种“存储-转发”的模式有可能导致视频数据流的不连贯,因为当网络上其它数据流量增大时,路由器需要处理的包会增多,有些视频流的数据包可能得不到技术处理,严重时某些包还有可能被路由器丢弃。这会影响接收端图象的播放质量。在IP网上保证视频流传输的服务质量,是多媒体领域的一个研究热点。这方面的关键技术包括:在接收端设置适当容量的缓存器、在丢包情况下进差错掩蔽、适当加入向前纠错码,以及在网络上或在应用系统中加入网络流量检测和芙蕖质量(QoS)控制等。为了满足视频数据传输的需要,IP网上的视频包采用UDP而不是TCP协议传送。
与视频流的传输一样,服务器在从存储设备中提取数据和将数据放到输出线路上时,也要保证视频流的连续,否则也会影响接收端的播放质量。保证视频和音频流不间断地提取和传输的技术,称为流媒体技术。如果服务器只为一个用户服务,很容易满足视频流的连续性,当许多用户同时要求访问相同或不同的节目时,如果服务器在满足第一个用户的要求之后才来处理第二个用户的请求,那么用户的平均等待时间将会很长,难以被用户接受。解决的办法是,服务器按一定的策略(或称为调度算法)快速地把每一个用户在一段时间内所需要的数据一一提取出来,放在缓冲区内,然后按照用户播放所要求的速率把缓冲区中的数据放上线路,使线路上的每个流都是不间断的。不等缓冲区中的数据用完,服务器就又把用户在下一段时间内需要的数据提取出来放入缓冲区。服务器可以同时输出的视频流数,或称并发流数,是衡量系统的一个重要指标。
五、声像资料的管理与应用的发展方向
前文我们介绍和分析了多媒体声像数据存储、查询、浏览的关键技术,在网络环境中,视频处理技术的发展可以大致划分为5个阶段。第一阶段针对模拟信号(AnalogVideo)的视频处理,可获得线性磁带格式的数据;第二阶段针对数字视频信号(Digital Video),网络资源可对多种格式的数据进行下载;第三阶段以网络为传输介质的流媒体技术(Stream Video),第四阶段可查找可索引的非线性视频访问(Seachable Video),第五阶段以及现在提出的异构平台下的自适应的个性化的普适内容访问(Applied Video)。前三个阶段已经在各个领域得到了广泛应用,并大大提高了我们的工作效率,对第四、第五阶段的研究与探索正在进行国外以及我国的一些研究机构在这方面已取得了一定成果,并建立了原型系统,使我们可以窥见多媒体数据管理的未来。图3是一个多媒体内容管理系统的总体结构图,该系统以数据库为中心,对视频源数据进行基于内容的视频分析和描述,对海量数据进行索引和管理,为客户端提供多种接入方式的媒体访问服务。基于内容的视频分析与索引技术是对视频源数据进行结构化分析、特征提取、内容分类、语义检测等处理,获取不同层级的索引信息和元数据。 在基于内容的视频分析技术基础上,1996年10月MPEG组织提出了一个新的标准方案,称为“多媒体内容描述接口”,即MPEG-7标准。MPEG-7的目标是建立一套视听特征的量化标准描述符及其结构以及它们之间的关系。人们可以检索和索引同MPEG-7数据相联系的视听材料,这些材料可以是静态图片、图形、3D模型、声音、语言、视频和这些元素组成的多媒体描述信息。MPEG主要致力于视听数据的信息编码表达上,即对多媒体材料的描述的通用接口的标准化,它提供了可视内容的标准结构和联接机制,以及对可视内容表述的标准化,这为实现基于内容的检索提供了应用框架,并使得对多媒体数据的创建、交换、检索和重用变得更加有效。现有的MPEG-7标准包括7个部分:系统、描述定义语言、音频、视觉、多媒体描述方案、参考软件、一致性原则。 随着多媒体应用技术的不断发展,有关多媒体的标准层出不穷,这些标准涉及到多媒体技术的各个方面。各种不同的多媒体信息分布式地存在于全球不同的设备上,通过异构网络有效地传输这些多媒体信息必然需要综合地应用不同层次的多媒体技术标准。但现有标准是否能做到配套衔接,以及在各个标准之间是否存在缺漏,还需要一个综合性的标准来加以协调。MPEG-21正是为适应这一要求而提出来的。它总体上来讲是一个支持通过异构网络和设备是用户透明而广泛地使用多媒体资源的标准,其目标是定义多媒体信息之间的通信和互操作框架,这一标准的、开放的框架用于多媒体的发布和消费,使我们能跨越由不同社区团体使用的大范围的网络和设备来透明地使用多媒体资源。MPEG-21标识并定义了支持多媒体发布链以及它们之间支持的操作所必需的标准化技术。 总之,网络化视频媒体资源建设的数据标准和硬件标准将随着人们对跨平台访问的需求而逐渐走向统一,传统的基于集中式的视频存取方式开始向面向互联网的分布式复合媒体存取转变,个人无线移动设备的广泛应用,人们访问视频的终端和途径也会发生很大的变化,可以遇见,新技术的运用将给未来的远程教育提供更加广泛、灵活的空间。
编辑:李永红
|