您的位置首页  机械信息  资讯

信息处理设备信息处理设备和信息处理方法与流程

  • 来源:互联网
  • |
  • 2019-10-09
  • |
  • 0 条评论
  • |
  • |
  • T小字 T大字

  本公开涉及信息处理设备和信息处理方法,更具体地,涉及能够设定不包括显现(Representation)的适配组(AdaptationSet)的信息处理设备和信息处理方法。

  近年来,OTT-V(Over The Top Video(机顶盒上视频))在因特网上的流服务中已成为主流。作为OTT-V的基础技术已经开始广泛使用的一种技术是MPEG-DASH(运动图像专家组阶段–HTTP(超文本传输协议)上的动态自适应流传输)(参见例如非专利文献1)。

  根据MPEG-DASH,分发服务器提供一个运动图像内容的具有不同比特率的编码流,并且回放终端要求具有最佳比特率的编码流,从而实现自适应流分发。

  MPEG-DASH SRD(空间关系描述)扩展定义了SRD,SRD指示运动图像内容的图像被分割成的一个或更多个单独编码区域的画面上的位置(参见例如非专利文献2和3)。使用用于选择性地获取具有期望比特率的编码流的比特率自适应方法,SRD使得能够实现空间适应的ROI(感兴趣区域)功能以选择性地获取期望区域的图像的编码流。

  如果运动图像内容的图像是由来自多个广播节目的运动图像的缩略图像(分割图像)构成的拼接(mosaic)图像,则可以想到利用SRD指示缩略图像在画面上的位置。

  然而,根据SRD,各个缩略图像的画面上的位置和与编码流兼容的拼接图像上的位置被描述为彼此相同。因此,如果各个缩略图像的画面上的位置和与编码流兼容的拼接图像上的位置彼此不同,则不能使用SRD来描述各个缩略图像的画面上的位置。

  因此,期望可靠地描述各个缩略图像的画面上的位置,使得它们能够被识别。此外,在存在具有多个比特率的拼接图像的编码流的情况下,如果针对各个比特率描述各个缩略图像的画面上的位置,则描述趋向于是冗余的。也期望防止这样的问题。

  根据本公开的第一方面的信息处理设备是一种包括设定部的信息处理设备,该设定部设定第一适配组和第二适配组,第一适配组包括与具有预定比特率的编码流对应的多个显现,第二适配组不包括显现。

  根据本公开的第一方面,设定第一适配组和第二适配组,第一适配组包括与具有预定比特率的编码流对应的多个显现,第二适配组不包括显现。

  根据本公开的第二方面的信息处理设备是一种包括播放器的信息处理设备,播放器基于第一适配组和第二适配组来回放具有预定比特率的编码流,第一适配组包括与编码流对应的多个显现,第二适配组不包括显现。

  根据本公开的第二方面,基于第一适配组和第二适配组来回放具有预定比特率的编码流,第一适配组包括与编码流对应的多个显现,第二适配组不包括显现。

  为了实现根据第一方面和第二方面的信息处理设备,可以通过传送介质传送或记录在记录介质上来提供要由计算机执行的程序。

  根据本公开的第二方面,可以回放编码流。根据本公开的第二方面,可以基于不包括显现的适配组来回放编码流。

  图1所示的信息处理系统210包括运动图像回放终端14和连接至文件生成设备211的Web服务器12,Web服务器12和运动图像回放终端14通过因特网13彼此连接。

  在信息处理系统210中,Web服务器12根据与MPEG-DASH相当的处理向运动图像回放终端14分发作为运动图像内容的图像的拼接图像的编码流。

  信息处理系统210的文件生成设备211以多个编码率(比特率)对拼接图像进行编码以生成编码流。文件生成设备211通过将该编码率的编码流转换成每时间单位一个文件的文件来生成图像文件,时间单位被称为从几秒至十秒范围的“分段”。文件生成设备211将生成的图像文件上传至Web服务器12。

  文件生成设备211(设定部)还生成用于管理图像文件等的MPD文件(管理文件)。文件生成设备211将MPD文件上传至Web服务器12。

  Web服务器12存储从文件生成设备211上传的图像文件和MPD文件。响应于来自运动图像回放终端14的请求,Web服务器12向运动图像回放终端14发送已经存储在其中的图像文件、MPD文件等。

  运动图像回放终端14执行用于控制流数据的软件21(在下文中称为“控制软件”)、运动图像回放软件22和用于访问HTTP(超文本传输协议)的客户端软件23(在下文中称为“访问软件”)等。

  控制软件21是用于控制来自Web服务器12的数据流的软件。具体地,控制软件21使运动图像回放终端14能够从Web服务器12获取MPD文件。

  基于MPD文件,控制软件21指示访问软件23发送用于发送由运动图像回放软件22指定的要播放的编码流的请求。

  运动图像回放软件22是用于播放从Web服务器12获取的编码流的软件。具体地,运动图像回放软件22向控制软件21指示要播放的编码流。此外,当运动图像回放软件22接收到已经开始从访问软件23接收流的通知时,运动图像回放软件22将由运动图像回放终端14接收的编码流解码成图像数据。运动图像回放软件22根据需要组合解码图像数据并输出组合图像数据。

  访问软件23是用于控制通过使用HTTP的因特网13与Web服务器12的通信的软件。具体地,响应于来自控制软件21的指令,访问软件23控制运动图像回放终端14发送用于发送包括在图像文件中的要播放的编码流的请求。访问软件23还控制运动图像回放终端14开始接收响应于该请求而从Web服务器12发送的编码流,并且将已经开始接收流的通知提供给运动图像回放软件22。

  图2所示的文件生成设备211包括编码处理器231、图像文件生成器232、MPD生成器233和服务器上传处理器234。

  文件生成设备211的编码处理器231以多个编码率将拼接图像编码为运动图像内容的图像,从而生成编码流。编码处理器231将各个编码率的编码流提供给图像文件生成器232。

  图像文件生成器232将从编码处理器231提供的各个编码率的编码流转换成每分段一个文件的文件,从而生成图像文件。图像文件生成器232将生成的图像文件提供给MPD生成器233。

  MPD生成器233确定用于存储从图像文件生成器232提供的图像文件的Web服务器12的URL(统一资源定位符)等。然后MPD生成器233生成包含图像文件的URL等的MPD文件。MPD生成器233将生成的MPD文件和图像文件提供给服务器上传处理器234。

  服务器上传处理器234将从MPD生成器233提供的图像文件和MPD文件上传至图1所示的Web服务器12。

  在图3所示的示例中,拼接图像250包括左上缩略图像251、右上缩略图像252、左下缩略图像253和右下缩略图像254。拼接图像250具有2k(1920像素×1080像素)的分辨率,并且所有缩略图像251至254具有960像素×540像素的分辨率。

  如图4所示,在拼接图像250的图像文件中,初始分段包括ftyp盒和moov盒。moov盒包括放置在其中的stbl盒和mvex盒。stbl盒包括放置在其中的sgpd盒等,并且mvex盒包括放置在其中的leva盒等。

  媒体分段包括一个或更多个子分段,子分段包括sidx盒、ssix盒以及成对的moof盒和mdat盒。sidx盒具有放置在其中的位置信息,位置信息指示图像文件中的每个子分段的位置。ssix盒包括放置在mdat盒中的各个等级(level)的编码流的位置信息。

  每个期望的时间长度设置一个子分段。针对期望的时间长度mdat盒具有一起放置在其中的编码流,并且moof盒具有放置在其中的那些编码流的管理信息。

  如图5所示,sgpd盒中连续描述了码片区域组条目(Tile RegionGroup Entry),其指示构成拼接图像250的缩略图像251至254的拼接图像250上的位置。

  在图5所示的示例中,第一码片区域组条目对应于缩略图像251,并且是(1,0,0,960,540)。第二码片区域组条目对应于缩略图像252,并且是(2,960,0,960,540)。第三码片区域组条目对应于缩略图像253,并且是(3,0,540,960,540)。第四码片区域组条目对应于缩略图像254,并且是(4,960,540,960,540)。码片区域组条目按照HEVC(高效视频编码)文件格式的HEVC码片轨道(Tile Track)标准化。

  leva盒中从与第一码片区域组条目对应的等级的信息开始连续描述了与各个码片区域组条目对应的等级的信息。缩略图像251的等级被设定为1,缩略图像252的等级被设定为2,缩略图像253的等级被设定为3,并且缩略图像254的等级被设定为4。等级用作当从MPD文件指定编码流的一部分时的索引。

  leva盒中描述了assignment_type,其指示要被设定等级的对象是否是放置在多个轨道(track)上的编码流,作为每个等级的信息。在图4所示的示例中,拼接图像250的编码流被放置在一个轨道上。因此,将assignment_type设定为0,0指示要被设定等级的对象不是放置在多个轨道上的编码流。

  leva盒中还描述了与等级对应的码片区域组条目的类型作为每个等级的信息。在图4所示的示例中,表示sgpd盒中描述的码片区域组条目的类型的“trif”被描述为每个等级的信息。例如,在2012年7月的ISO/IEC 14496-12ISO基础媒体文件格式第4版中描述了leva盒的细节。

  图6是描绘与由图1所示的文件生成设备211生成的拼接图像250的图像文件对应的MPD文件的第一示例的图。

  如图6所示,在MPD文件中,针对每个编码流描述“适配组”。每个“适配组”中描述了“显现”,并且“显现”中描述了拼接图像250的编码流的图像文件的URL“stream.mp4”。由于为拼接图像250的编码流设定了等级,因此可以在“显现”中描述每等级的“子显现”。

  如上所述,在图6所示的MPD文件中,由码片区域组条目指示的拼接图像250的水平尺寸和竖直尺寸与由SRD指示的画面的水平尺寸和竖直尺寸相同。由对应于每个等级的码片区域组条目指示的拼接图像250上的水平坐标和竖直坐标与由对应于该等级的SRD指示的画面上的水平和竖直位置相同。因此,当生成图6所示的MPD文件时,放置了基于SRD解码的缩略图像251至254的画面与拼接图像250相同。

  每个等级的“子显现”中还描述了与等级的缩略图像251至254对应的运动图像的URL。具体地,等级“1”的“子显现”中描述了与缩略图像251对应的运动图像的URL“”。等级“2”的“子显现”中描述了与缩略图像252对应的运动图像的URL“”。

  等级“3”的“子显现”中描述了与缩略图像253对应的运动图像的URL“”。等级“4”的“子显现”中描述了与缩略图像254对应的运动图像的URL“”。

  图7是描绘与由图1所示的文件生成设备211生成的拼接图像250的图像文件对应的MPD文件的第二示例的图。

  图7所示的MPD文件与图6所示的MPD文件的不同之处仅在于每个等级的“子显现”中描述的SRD。

  如上所述,在图7所示的MPD文件中,与图6所示的MPD文件一样,由码片区域组条目指示的拼接图像250的水平尺寸和竖直尺寸与由SRD指示的画面的水平尺寸和竖直尺寸相同。

  然而,由对应于每个等级的码片区域组条目指示的拼接图像250上的水平坐标和竖直坐标与由对应于该等级的SRD指示的画面上的水平位置和竖直位置不同。因此,当生成图7所示的MPD文件时,放置了基于SRD解码的缩略图像251至254的画面与拼接图像250不同。

  图8是描绘放置了基于图7所示的MPD文件中描述的SRD解码的缩略图像251至254的画面的示例的图。

  图7所示的MPD文件中描述的缩略图像251的SRD指示1920像素×1080像素的画面270上的缩略图像251的左上角的坐标为(0,540)。因此,如图8所示,缩略图像251被放置在画面270的左下区域中。

  缩略图像252的SRD指示画面270上的缩略图像252的左上角的坐标为(960,540)。因此,如图8所示,缩略图像252被放置在画面270的右下区域中。

  缩略图像253的SRD指示1920像素×1080像素的画面270上的缩略图像253的左上角的坐标为(0,0)。因此,如图8所示,缩略图像253被放置在画面270的左上区域中。

  缩略图像254的SRD指示画面270上的缩略图像254的左上角的坐标为(960,0)。因此,如图8所示,缩略图像254被放置在画面270的右上区域中。

  如上所述,利用图7所示的MPD文件,缩略图像251至254的布局可以在它们被显示时从拼接图像250中的布局改变,以被编码成画面270中的布局。

  在图9所示的步骤S191中,编码处理器231以多个编码率将拼接图像编码为运动图像内容的图像,从而生成编码流。编码处理器231将各个编码率的编码流提供给图像文件生成器232。

  在步骤S192中,图像文件生成器232将从编码处理器231提供的各个编码率的编码流转换成每分段一个文件的文件,从而生成图像文件。图像文件生成器232将生成的图像文件提供给MPD生成器233。

  在步骤S193中,MPD生成器233生成包含图像文件的URL等的MPD文件。MPD生成器233将生成的MPD文件和图像文件提供给服务器上传处理器234。

  在步骤S194中,服务器上传处理器234将从MPD生成器233提供的图像文件和MPD文件上传至Web服务器12。该处理现在结束。

  在上述图7和图8所示的MPD文件中,假设拼接图像的编码流具有一个比特率。然而,在存在多个比特率的情况下,针对每个比特率来描述图7或图8所示的“显现”。具体地,其中设定了同一SRD和运动图像的URL等的“显示”与比特率的数目一样多地在MPD文件中描述。因此,描述趋向于是冗余的。

  在图10和图11所示的示例中,拼接图像250的编码流具有四个比特率。这也适用于稍后要描述的图12至图19。

  在图10和图11所示的MPD文件中,缩略图像251至254的运动图像的SRD和URL被设定为在具有四个比特率的拼接图像250的编码流之间共享的共享信息。

  具体地,在图10和图11所示的MPD文件中,描述了对应于四个比特率的编码流的“适配组”以及用于在四个比特率的编码流之间共享信息的“适配组”(在下文中称为共享“适配组”)。

  如图10所示,对应于四个比特率的编码流的“适配组”中描述了RoleschemeIdUri=“urn:mpeg:dash:role:2014”value=“multiple”/,其指示该“适配组”是对应于共享信息的拼接图像250的编码流的“适配组”。“适配组”中还描述了对应于各个比特率的编码流的“显现”。“显现”中描述了相应比特率的编码流的图像文件的URL。

  在图10所示的示例中,第一比特率的“显现”中描述了该比特率的编码流的图像文件的URL“stream1.mp4”。类似地,第二至第四比特率的“显现”中描述了那些比特率的编码流的图像文件的URL“stream2.mp4”、“stream3.mp4”、“stream4.mp4”。

  如图10和图11所示,为每个缩略图像设定用于共享信息的“适配组”。共享“适配组”具有指示该“适配组”是与每个缩略图像对应的共享“适配组”的Role schemeIdUri=“urn:mpeg:dash:role:2014”value=“multiple_element”/。

  在共享“适配组”中,描述了标识与编码流(在该编码流享该共享“适配组”中描述的信息)对应的“适配组”的信息(在下文中称为适配组标识信息),即标识其享“适配组”中描述的信息用作分段的“适配组”的信息。

  共享“适配组”中还描述了指示对相应缩略图像设定的等级的信息作为标识缩略图像的信息(在下文中称为缩略图像标识信息)。共享“适配组”还具有相应缩略图像的SRD和从其获取运动图像的文件的实体(entity)的URL。

  在图10和图11所示的MPD文件中,如上所述,由于缩略图像251至254的运动图像的SRD和URL被设定为共享信息,所以描述没有冗余。当运动图像回放终端14获取图10和11所示的MPD文件时,其从“value=multiple”识别出存在共享信息,并且从描述了“适配组”的ID的共享“适配组”中提取共享信息。

  适配组标识信息是指标识其中固有地设定了共享“适配组”中描述的信息的“适配组”的信息。缩略图像标识信息是指标识其中固有地设定了共享“适配组”中描述的信息的“子显现”的信息。

  图12和图13所示的MPD文件的构成与图10和图11所示的MPD文件的构成的主要不同之处在于各个缩略图像251至254的SRD在对应于四个比特率的编码流的“适配组”中被描述,而不是在共享“适配组”中被描述。

  具体地,在图12和图13所示的MPD文件中,如图12所示,对应于四个比特率的编码流的“适配组”具有四个“内容成分(ContentComponent)”,其描述由与该“适配组”中的所有“显现”对应的编码流共享的共享信息。

  每个“内容成分”对应于为缩略图像251至254设定的等级中的一个。每个“内容成分”中描述了作为共享信息的相应SRD,并且还描述了缩略图像标识信息。

  如图13所示,共享“适配组”没有SRD和缩略图像标识信息,并且代替适配组标识信息,共享“适配组”具有标识与共享共享“适配组”中描述的信息的编码流对应的“适配组”的“内容成分”的信息(在下文中称为内容成分标识信息)。

  在图12和图13所示的示例中,在与缩略图像251对应的共享“适配组”中描述的内容成分标识信息由EssentialProperty schemeIdUri=“urn:mpeg:dash:adaptationset-index:2015”value=“1,srd1”/表示,其指示分配给与四个比特率的编码流对应的“适配组”的ID“1”以及分配给其中描述了缩略图像251的缩略图像标识信息的“内容成分”的ID“srd1”。

  在图12和图13所示的MPD文件中,如上所述,由于缩略图像251至254的运动图像的SRD和URL被设定为共享信息,所以描述没有冗余。

  当运动图像回放终端14获取图12和13所示的MPD文件时,其从“value=multiple”识别出存在共享信息,并且从描述了设定有“Value=multiple”的“适配组”的ID的共享“适配组”中提取共享信息。运动图像回放终端14还从设定有“Value=multiple”的“适配组”中描述的“内容成分”提取共享信息。

  在图12和图13所示的MPD文件中,由于在共享“适配组”中描述了运动图像的URL,因此不描述SRD。因此,所述MPD文件与在共享“适配组”中描述运动图像的URL的MPD文件兼容。

  图14和图15所示的MPD文件的构成与图12和图13所示的MPD文件的构成的主要不同之处在于:在对应于四个比特率的编码流的“适配组”中而不是在共享“适配组”中描述对应于各个缩略图像251至254的运动图像的URL。

  具体地,在图14和图15所示的MPD文件中,如图14所示,在与四个比特率的编码流对应的“适配组”中设置的“内容成分”中描述相应运动图像的URL。共享“适配组”未被描述。

  在图14和图15所示的MPD文件中,如上所述,由于缩略图像251至254的运动图像的SRD和URL被设定为共享信息,所以描述没有冗余。

  当运动图像回放终端14获取图14和图15所示的MPD文件时,其从“Value=multiple”识别出存在共享信息,并且从设定有“Value=multiple”的“适配组”中描述的“内容成分”中提取共享信息。

  在以上描述中,使用本质属性(Essential Property)描述缩略图像标识信息、适配组标识信息和内容成分标识信息。然而,它们可以被描述为“适配组”的元素。

  在这种情况下,图10和图11所示的MPD文件变成图16和17所示的MPD文件。具体地,如图16和图17所示,适配组标识信息被描述为共享“适配组”的“关联ID(associationID)”,并且缩略图像标识信息被描述为共享“适配组”的“关联等级(associationLevel)”。

  此外,图12和图13所示的MPD文件变成图18和图19所示的MPD文件。具体地,如图18和图19所示,在内容成分标识信息中,标识与共享共享“适配组”中描述的信息的编码流对应的“适配组”的信息被描述为该共享“适配组”的“关联ID”。标识与共享共享“适配组”中描述的信息的编码流对应的“适配组”的“内容成分”的信息被描述为该共享“适配组”的“关联等级”。

  指示“适配组”的类型的“关联类型(associationType)”可以被描述为“适配组”的元素。在这种情况下,指示“适配组”是与共享信息的拼接图像250的编码流对应的“适配组”的信息以及指示“适配组”是与每个缩略图像对应的共享“适配组”的信息被描述为关联类型。例如,如果“适配组”是与共享信息的拼接图像250的编码流对应的“适配组”,则将关联类型设定为“subs”。

  图20是描绘由图1所示的运动图像回放终端14在其执行控制软件21、运动图像回放软件22和访问软件23时实现的流回放器的配置示例的框图。

  图20所示的流回放器290包括MPD获取器291、MPD处理器292、图像文件获取器293、294、显示295、接受器296和运动图像获取器297。

  流回放器290的MPD获取器291从Web服务器12获取MPD文件,并且将MPD文件提供给MPD处理器292。

  MPD处理器292从由MPD获取器291提供的MPD文件中提取诸如要回放的分段的图像文件的URL的信息,并且将提取的信息提供给图像文件获取器293。MPD处理器292还将MPD文件提供给运动图像获取器297。MPD处理器292从MPD文件中提取要回放的分段的拼接图像的分割图像的SRD,并且将提取的SRD提供给显示295。

  图像文件获取器293向Web服务器12请求由从MPD处理器292提供的URL指定的图像文件的编码流,并且获取编码流。图像文件获取器293将所获取的编码流提供给294。

  294解码从图像文件获取器293提供的编码流。294将作为解码处理的结果获得的拼接图像提供给显示295。

  显示295(分配器)基于从MPD处理器292提供的SRD将从294提供的拼接图像的分割图像放置在画面上。显示295将光标等叠加在其上放置分割图像的画面上,并且将具有叠加的光标的分割图像提供给显示它们的显示装置(未示出)。

  响应于放大从接受器296提供的画面的给定区域的指令,显示295将放置拼接图像的画面的仅包括该区域中包含的缩略图像的部分拼接图像的尺寸放大,达到画面的尺寸。显示295将光标等叠加在放置放大的部分拼接图像的画面中的给定缩略图像上,并且将具有叠加的光标的缩略图像提供给显示它们的显示装置(未示出)。

  显示295将从运动图像获取器297提供的对应于被显示的缩略图像中的一个的运动图像提供给显示所提供的运动图像的显示装置(未示出)。

  响应于从接受器296提供的关于给定位置的指令,运动图像获取器297从由MPD处理器292提供的MPD文件获取与位置对应的运动图像的URL。运动图像获取器297基于获取的URL从Web服务器12等获取运动图像,并且将获取的运动图像提供给显示295。

  如图21的左边部分所示,显示295将光标312放置在构成放置在画面中的拼接图像310的4×4缩略图像311的给定缩略图像311上,并且控制显示装置(未示出)显示给定的缩略图像311。

  此时,用户在观看叠加有光标312的拼接图像310的画面的同时给出放大期望区域的指令。在图21所示的示例中,用户给出放大放置拼接图像310的画面的右上区域中的2×2缩略图像311的区域的指令。

  响应于放大指令,显示295将放置拼接图像310的画面的仅由右上区域中的2×2缩略图像311构成的部分拼接图像313的尺寸放大到画面的尺寸。然后,如图21的中心部分所示,显示295将光标314叠加在放置放大的部分拼接图像313的画面中的给定缩略图像311上,并且控制显示装置(未示出)显示缩略图像311。

  此时,用户将光标314移动至期望的缩略图像311,并且执行诸如在其上双击的动作,从而指示光标314的位置。在图21所示的示例中,用户指示右上缩略图像311的位置。

  响应于用户的指令,运动图像获取器297从MPD文件获取与指示拼接图像310的画面上的位置(对应于指示的部分拼接图像313上的位置)的SRD对应的运动图像的URL,作为对应于指示位置的运动图像的URL。然后,基于获取的URL,运动图像获取器297从Web服务器12等获取运动图像315,并且将获取的运动图像315提供给显示295。如图21的右边部分所示,显示295控制显示装置(未示出)显示运动图像315。

  在图22所示的步骤S211中,流回放器290的MPD获取器291从Web服务器12获取MPD文件,并且将所获取的MPD文件提供给MPD处理器292。

  在步骤S212中,MPD处理器292从由MPD获取器291提供的MPD文件中提取诸如要回放的分段的图像文件的URL的信息,并且将提取的信息提供给图像文件获取器293。MPD处理器292还将MPD文件提供给运动图像获取器297。MPD处理器292从MPD文件中提取要回放的分段的拼接图像的分割图像的SRD,并且将提取的SRD提供给显示295。

  在步骤S213中,图像文件获取器293向Web服务器12请求由从MPD处理器292提供的URL指定的图像文件的编码流,并且获取编码流。图像文件获取器293将所获取的编码流提供给294。

  在步骤S214中,294解码从图像文件获取器293提供的编码流。294将作为解码处理的结果而获得的拼接图像提供给显示295。

  在步骤S215中,显示295基于来自MPD处理器292的SRD将来自294的拼接图像的分割图像放置在画面上,在画面上叠加光标等,并且将具有叠加的光标的分割图像提供给显示它们的显示装置(未示出)。

  在步骤S216中,接受器296确定其是否已经从用户接受了放大画面的给定区域的指令。如果在步骤S216中接受器296判定其尚未接受放大画面的给定区域的指令,则接受器296等待,直到其接受放大画面的给定区域的指令。

  如果在步骤S216中接受器296判定其已经接受了放大画面的给定区域的指令,则接受器296将放大指令提供给显示295。在步骤S217中,响应于从接受器296提供的放大指令,显示295将放置拼接图像的画面的仅包括指示要放大的区域中包含的缩略图像的部分拼接图像的尺寸放大,达到画面的尺寸。

  在步骤S218中,显示295将光标等叠加在放置放大的部分拼接图像的画面中的给定缩略图像上,将具有叠加的光标的缩略图像提供给显示它们的显示装置(未示出)。此时,用户将光标移动至期望的缩略图像,并且执行诸如在其上双击的动作,从而指示画面上的光标的位置。

  在步骤S219中,接受器296确定其是否已经从用户接受了画面上的位置的指令。如果在步骤S219中接受器296判定其尚未接受画面上的位置的指令,则接受器296等待直到其接受画面上的位置的指令。

  如果在步骤S219中接受器296判定其已经接受了画面上的位置的指令,则接受器296将该指令提供给运动图像获取器297。在步骤S220中,响应于来自接受器296的指令,运动图像获取器297从由MPD处理器292提供的MPD文件中获取与指示位置对应的运动图像的URL。

  在步骤S221中,运动图像获取器297基于获取的URL从Web服务器12等获取运动图像,并且将获取的运动图像提供给显示295。

  在步骤S222中,显示295将从运动图像获取器297提供的运动图像提供给显示它的显示装置(未示出)。现在结束处理。

  在第一实施例中,在已经显示拼接图像之后显示部分拼接图像,并且由用户指示部分拼接图像上的位置。然而,可以不显示部分拼接图像,并且可以由用户直接指示拼接图像上的位置。

  在以上描述中,与MPD文件中的各个缩略图像的SRD相关联地描述与缩略图像对应的运动图像(原始版本)的URL。然而,与各个缩略图像的SRD相关联地描述的信息不限于这样的URL。

  例如,可以与各个缩略图像的SRD相关联地描述当以画中画(picture-in-picture)模式显示缩略图像时叠加的图像文件的信息。在这种情况下,例如,将SupplementalProperty schemeIdUri=“urn:mpeg:dash:srd-composition:2014”value=“source_url”/描述为当以画中画模式显示缩略图像时叠加的图像文件的信息。“source_url”表示用于标识管理叠加在缩略图像上的图像文件的外部MPD文件或内部MPD文件中的适配组的信息。

  可替选地,可以与各个缩略图像的SRD相关联地描述指示缩略图像的类型(含义)的信息。在这种情况下,例如,将SupplementalPropertyschemeIdUri=“urn:mpeg:dash:srd-role:2014”value=“pinp”/描述为指示以画中画模式显示缩略图像的信息。运动图像回放终端现在可以向用户呈现缩略图像是以画中画模式显示的图像的字符或图标。

  此外,可以与各个缩略图像的SRD相关联地描述与缩略图像对应的运动图像的所有URL、当以画中画模式显示缩略图像时叠加的图像文件的信息、以及指示缩略图像的类型的信息。在这种情况下,相对于各个缩略图像来显示指示缩略图像是以画中画模式显示的图像的字符或图标,并且以画中画模式显示给定的图像,使得它们被叠加在各个缩略图像上。当用户指示拼接图像上的位置时,回放与在指示位置处显示的缩略图像对应的运动图像。

  与缩略图像对应的运动图像的URL、以画中画模式显示缩略图像时叠加的图像文件的信息以及指示缩略图像的类型的信息可以以另一属性而不是SRD来描述,或可以被描述为扩展SRD的属性中的标志。

  上述处理序列可以是硬件实现的或软件实现的。如果处理序列是软件实现的,则软件程序安装在计算机中。计算机可以是并入专用硬件的计算机或能够通过安装各种程序来执行各种功能的通用个人计算机。

  计算机900包括通过总线彼此连接的CPU(中央处理单元)901、ROM(只读存储器)902和RAM(随机存取存储器)903。

  输入单元906包括键盘、鼠标和麦克风。输出单元907包括显示器和扬声器。存储单元908包括硬盘和非易失性存储器。通信单元909包括网络接口。驱动器910驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质911。

  在这样构成的计算机900中,CPU 901例如通过输入/输出接口905和总线中,并且执行程序以执行上述处理序列。

  例如,由计算机900(CPU 901)运行的程序可以被记录在作为封装介质等的可移除介质911中并且由可移除介质911提供。还可以通过诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。

  在计算机900中,当可移除介质911被插入至驱动器910中时,程序可以通过输入/输出接口905安装在存储单元908中。程序也可以由通信单元909通过有线或无线传输介质接收,并且安装在存储单元908中。可替选地,程序可以被预先安装在ROM 902或存储单元908中。

  由计算机900执行的程序可以是按照本说明书上面所述的序列按时间顺序执行的程序,或者可以是彼此并行执行或在被调用时的必要时刻执行的程序。

  在本说明书中,术语“系统”意味着组件(设备,模块(部件)等)的集合,并且所有组件是否存在于同一壳体中无所谓。因此,容纳在分离的壳体中并通过网络连接的多个设备以及具有容纳在一个壳体中的多个模块的单个设备都可以被称为系统。

  设定部,其设定第一适配组AdaptationSet和第二适配组,第一适配组包括对应于具有预定比特率的编码流的多个显现Representation,第二适配组不包括显现。

  (2)根据(1)所述的信息处理设备,其中,设定部将指示第一适配组和第二适配组彼此相关的信息添加至第二适配组。

  (3)根据(1)或(2)所述的信息处理设备,其中,设定部在管理编码流的文件的管理文件中设定第一适配组和第二适配组。

  (4)根据(1)至(3)中任一项所述的信息处理设备,与第一适配组中包含的多个显现对应的编码流是一个图像的具有不同比特率的编码流,以及

  (5)根据(4)所述的信息处理设备,其中,设定部将从其获取与各个分割图像对应的文件的实体添加至第二适配组。

  (6)根据(4)所述的信息处理设备,其中,设定部将各个分割图像的画面上的位置添加至分别不同的第二适配组的信息。

  (7)根据(6)所述的信息处理设备,其中,设定部将从其获取与各个分割图像对应的文件的实体添加至包含该分割图像的画面上的位置的第二适配组。

  (8)根据(6)或(7)所述的信息处理设备,其中,设定部将标识与第二适配组对应的分割图像的信息添加至第二适配组。

  (9)根据(1)至(8)中任一项所述的信息处理设备,其中,设定部将表示第一适配组的信息添加至第一适配组,并且将表示第二适配组的信息添加至第二适配组。

  (10)根据(1)至(3)中任一项所述的信息处理设备,其中,与第一适配组中包含的多个显现对应的编码流是一个图像的具有不同比特率的编码流,以及

  (11)根据(10)所述的信息处理设备,其中,设定部将从其获取与分割图像对应的文件的实体作为内容成分的信息添加至第一适配组。

  设定步骤,在该步骤中,信息处理设备设定第一适配组和第二适配组,第一适配组包括对应于具有预定比特率的编码流的多个显现,第二适配组不包括显现。

  播放器,其基于第一适配组和第二适配组来回放具有预定比特率的编码流,第一适配组包括与编码流对应的多个显现,第二适配组不包括显现。

  播放步骤,在该步骤中,信息处理设备基于第一适配组和第二适配组来回放具有预定比特率的编码流,第一适配组包括与编码流对应的多个显现,第二适配组不包括显现。

  14运动图像回放终端,211文件生成设备,250拼接图像,251至254缩略图像,270画面,295显示。

免责声明:本站所有信息均搜集自互联网,并不代表本站观点,本站不对其真实合法性负责。如有信息侵犯了您的权益,请告知,本站将立刻处理。联系QQ:1640731186
友荐云推荐