用于紧密耦合的低功率图像处理的方法和装置
2019-11-22

用于紧密耦合的低功率图像处理的方法和装置

图像被划分为N个像素块,逐块地存储到相机核中并且逐块地从相机核传递到相对于本地存储器而言是本地的下游处理引擎。在逐块传递中在相机核和下游处理引擎之间传达直接握手。可任选地,光传感器扫描仪以N倍帧速率的扫描速率划分图像,每次扫描提供帧的一块。可任选地,逐块传递包括由直接握手来控制的通过相对于相机核而言是本地的本地存储器的传递。

如将从图3处的图形描绘以及稍后章节的相关描述中进一步理解的,在使用Q=R=1024且N=16的即时示例中,这16个光栅扫描可概念化为较高级的光栅扫描,但并非扫描个体像素,而是扫描4行的4个瓦片,每个瓦片是64K的像素块。如此经概念化并以从左到右从上到下的取向来查看光传感器250的QXR光传感器像素阵列,这16个光栅扫描中的首个光栅扫描可以是左上角的瓦片(先前描述为左上角的64K块),并且这16个扫描中的最后一个扫描可以是右下角的瓦片(即,64K像素块)。还将理解,由光传感器250执行的这一扫描顺序(即在左上方开始并在右下方结束)仅是一个示例,并且并不旨在作为对任何实施例或任何实施例的任何方面的范围的任何限定。例如,首个光栅扫描可以是形成光传感器250的QXR检测器像素帧的右下方处的QR/N像素块。如将由本领域普通技术人员理解的,先前描述的较高级或瓦片扫描还可被视为将图形划分为N个块。

此外,许多实施例是根据可由例如计算设备的元件执行的动作序列来描述的。将认识到,本文中所描述的各种动作能由专用电路(例如,专用集成电路(ASIC))、由正被一个或多个处理器执行的程序指令、或由这两者的组合来执行。另外,本文中所描述的这些动作序列可被认为是完全体现在任何形式的计算机可读存储介质内,其内存储有一经执行就将使计算机或相关联的处理器执行本文所描述的功能性的相应计算机指令集。因此,本发明的各个方面可以用数种不同形式来体现,所有这些形式都已被构想落在所附权利要求的范围内。另外,对于本文中所描述的每个实施例,任何此类实施例的对应形式可在本文被描述为例如“配置成执行所描述的动作的逻辑”。

仍然参考图2的功能框图200并继续使用Q=R=1024且N=16的示例配置,在以上描述的16个光栅扫描的序列和相应的16NBLK传递以及相应的传递DTl期间的某处,MEM214可开始向期望下游处理器(例如,VC0DEC206)传递它通过传递DTl接收到的64K块。出于示出示例的目的,将任意假定期望下游处理器是VC0DEC206。这些传递的示例在图2上被示为DT2并且根据一个方面,这些传递可由相机核204与VC0DEC206之间的直接握手信号通信(即,直接握手路径212A)来控制。如先前所述,根据一个方面,IMEM214可具有延迟缓冲器(未在附图中显式示出),并且可具有用于检测其延迟缓冲器的填充状态的装置,以及在相关方面,相机核204可被配置成检测或另行监视该状态。进一步关于这一方面,使用为16的示例N,可执行16个传递DT2的序列以实施整个帧至VC0DEC206的逐块传递。将理解,16个传递DT2的序列所需的时间跨度可部分地与16个传递DTl的序列所需的时间跨度交叠并且可滞后某个量。还将理解,取决于为内部多媒体结构210选定的特定配置,传递DTl和DT2可在内部多媒体结构210上(例如以时分复用)交织。

在一个方面,在相机核与下游处理引擎之间传达直接握手信号可经由耦合至该相机核且耦合至该下游处理引擎的直接握手路径。

公开领域

作为以上介绍的各方面的一个解说,在根据一个或多个示例性实施例的一种实践中,N可被设为整数(诸如16),并且光传感器被配置成以标称帧速率FS的16倍的速率来执行其XXY光检测器像素的光栅扫描。假定不例N为16,裁剪和分块可被包括在光传感器中,从而这些光栅扫描中的每一个光栅扫描输出图像的N个块中不同的一个块(每个块替换地称为“图像块”或“瓦片”),其中每个图像块或瓦片为X.Υ/16个像素。因此,如果N=16并假定图像块之间没有交叠(这在实践示例性实施例中可被采用或可被省略),则光传感器对其XXY的光检测器像素阵列的16个光栅扫描将XXY像素的一个帧作为图像数据的一连串的16个图像块发送给相机核。将理解,N为16仅是一个示例,并且如本领域普通技术人员将从本公开中领会的,N的实际值可以因应用而异,但可由这些人员基于例如特定相机核的特性(例如,数据缓冲器容量)和视频电路内将该相机核与VCODEC互连的特定数据路径(例如多媒体结构)的特性来容易地确定,如稍后章节更为详细地描述的。

对于常规视频系统的上述限制(诸如图1中所示)的已知解决方案是使处理器资源(诸如示例应用处理器116和存储器控制器118)执行将经格式化的原始帧卸载到外部存储器(诸如示例外部存储器120)(如由以下数据流“卸载”所描绘的)、(如由数据流RTRV(检索)描绘的)伴随从该外部存储器进行对经格式化的原始帧的受控检索、以及将这些帧有序地输入至选定的下游处理器(例如,常规视频电路102内部的VC0DEC108)。如图1中示出的卸载可以是从数据相机核104通过多媒体结构112、通过应用结构114以及存储器控制器118到外部存储器120。RTRV可以基本上是反向的,即从外部存储器120通过外部存储器控制器118、通过应用结构114和多媒体结构112到VC0DEC108。如上所述,应用处理器116控制检索和数据流RTRV以提供经格式化的原始帧数据作为至VC0DEC108(或另一选定下游处理器,例如3D处理器110)的有序输入,该顺序是该VC0DEC108或其它下游处理器所特有的并且是其正执行的具体操作所特有的。由应用服务器116执行的控制可包括传达VC0DEC108或其它下游处理器所需的握手信号。然而,以上所述的对于相机核104的有限存储以及对于相机核104与下游处理器(例如VC0DEC108)之间的有限传递能力的这一已知卸载和检索解决方案消耗相当多的功率。对这一相当多的功耗的贡献者包括例如应用处理器116以及外部存储器控制器118以及进一步还有外部存储器120。另外,功率被外部存储器120消耗。

如将由本领域普通技术人员领会的,各实施例的特征和优势中包括通过减少通过互连的话务来降低功率、以及减少对外部I/o的访问并且进一步降低外部存储器的功耗。附加特征和优势包括但不限于通过减少总线话务以及通过移除至外部存储器的卸载来改进系统并发性、用于(诸如由图2的VC0DEC206或3D处理器208执行的)下游处理的延迟的减少。另一示例特征是仅使用视频电路内的小型本地存储器(例如IMEM214)来获得以上所述的较低功率和较低延迟的益处,与可能是至少若干兆字节的常规帧缓冲器(例如相关技术图1中示出的外部存储器120)相比,该小型本地存储器可以是例如在数百千字节的范围内。另一示例特征和益处是贯穿示例性实施例在各种组合和安排中在相机核和下游处理器之间具有直接握手路径,可防止本地存储器中以及相机的延迟缓冲器的溢出,即便它们具有小容量。

另外将理解,在下文中,除了在被显式另行声明或从上下文中清楚看出具有不同含义的实例中,术语“视频”和“图像”将是可互换的,这意味着任一个可替代另一个而不改变预期含义。

此外,许多实施例是根据可由例如计算设备的元件执行的动作序列来描述的。将认识到,本文中所描述的各种动作能由专用电路(例如,专用集成电路(ASIC))、由正被一个或多个处理器执行的程序指令、或由这两者的组合来执行。另外,本文中所描述的这些动作序列可被认为是完全体现在任何形式的计算机可读存储介质内,其内存储有一经执行就将使计算机或相关联的处理器执行本文所描述的功能性的相应计算机指令集。因此,本发明的各个方面可以用数种不同形式来体现,所有这些形式都已被构想落在所附权利要求的范围内。另外,对于本文中所描述的每个实施例,任何此类实施例的对应形式可在本文被描述为例如“配置成执行所描述的动作的逻辑”。