专利名称：：分布式计算平台上的音频传感器和执行器的三维位置校正的制作方法
技术领域：
：本发明涉及分布式计算平台中的音频传感器和执行器(actuator)的位置校正。
背景技术：
：象多流音频/视频输出、免提语音通信、目标定位和语音增强的许多新兴应用使用多个传感器和执行器(分别类同于多个麦克风/摄像机和扬声器/显示屏)。但是，目前大量工作集中于在单个平台上设置所有的传感器和执行器。这种设置需要许多专用硬件。例如，在单个通用计算机上设置麦克风阵列一般需要昂贵的多信道声卡和具有更高计算能力的中央处理单元(CPU)来处理所有的多个流。诸如便携式电脑、个人数据助理(PDA)、平板电脑(tablet)、蜂窝电话和可携式摄像机之类的计算设备已普及。这些设备配备有音-像传感器(例如麦克风和摄像机)和执行器(例如扬声器和显示器)。不同设备上的音频/视频传感器可用来形成分布式传感器网络。这种特别(ad-hoc)网络可用来以分布式方式捕捉不同的音-像场景(诸如商业会议、婚礼或公共事件之类的事件)，然后将所有的所述多个音-像流用于新兴应用。例如，可想象在会议过程中使用由与会者的便携式电脑形成的分布式麦克风阵列，从而取代了昂贵的单个扬声器电话。这种传感器网络也可用来检测、标识、定位并追踪静态的或移动的源和目标。实现分布式音频/视频I/O平台包括将传感器、执行器和平台放置在空间坐标系中，其中包括确定传感器和执行器的三维位置。
发明内容为解决上述问题，根据本发明的一个方面，提供了一种方法，包括第一计算设备的执行器产生声信号；第二计算设备的传感器接收所述声信号；生成所述声信号从所述执行器到达所述传感器的时间估测值，其中所述传感器和执行器是不同步的；以及第三计算设备基于所述时间估测值，计算包括所述第二计算设备的所述传感器和所述第一计算设备的所述执行器的组中的至少一个的物理定位。根据本发明的第二个方面，提供了一种方法，包括第一计算设备向第二计算设备和第三计算设备发送无线信号，所述信号请求所述第二计算设备的执行器产生将要被所述第三计算设备的传感器接收的声信号；以及所述第一计算设备基于所述声信号从所述第二计算设备的所述执行器到达所述第三计算设备的所述传感器的时间估测值，计算包括所述第二计算设备的所述执行器和所述第三计算设备的所述传感器的组中的至少一个的物理定位。根据本发明的第三个方面，提供了一种其上存储有指令集的机器可读介质，当所述指令被执行时，会使所述机器执行包括如下步骤的方法第一计算设备的执行器产生声信号；第二计算设备的传感器接收所述声信号；生成所述声信号从所述执行器到达所述传感器的时间估测值，其中所述传感器和执行器是不同步的；以及第三计算设备基于所述时间估测值，计算包括所述第二计算设备的所述传感器和所述第一计算设备的所述执行器的组中的至少一个的物理定位。根据本发明的第四个方面，提供了一种其上存储有指令集的机器可读介质，当所述指令被执行时，会使所述机器执行包括如下步骤的方法第一计算设备向第二计算设备和第三计算设备发送无线信号，所述信号请求所述第二计算设备的执行器产生将要被所述第三计算设备的传感器接收的声信号；以及所述第一计算设备基于所述声信号从所述第二计算设备的所述执行器到达所述第三计算设备的所述传感器的时间估测值，计算包括所述第二计算设备的所述执行器和所述第三计算设备的所述传感器的组中的至少一个的物理定位。图1示出了根据一个实施例的分布式计算平台的示意图。图2是描述根据一个实施例的音频传感器和执行器的产生位置校正的过程的流程图。图3示出了生成位置坐标的计算方案。具体实施例方式这里公开了分布式计算平台中的音频传感器和执行器的三维位置校正的实施例。在下面的描述中，提到了许多具体细节。但是，应该理解没有这些具体细节仍可实施实施例。在其他情况下，为了不混淆对本说明书的理解，公知的电路、结构和技术都没有详细地示出。本说明书中凡提及“一个实施例”或者“实施例”，表示结合该实施例描述的具体特征、结构或者特性包括在至少一个实施例中。因此，通篇说明书中出现在各处的“一个实施例中”或者“实施例中”的字样，未必都是指同一个实施例。而且，所述具体特征、结构或特性可以适当的方式结合在一个或多个实施例中。图1图示了由一组通用计算机(GPC)102-106(有时称之为计算设备)组成的分布式计算平台的示意图。GPC102配置为主计算机(master)，执行定位估测。图1中所示的GPC(102-106)可包括个人计算机(PC)、便携式电脑、PDA、平板PC(tabletPC)或其他计算设备。在一个实施例中，每个GPC具有音频传感器108(例如麦克风)、执行器110(例如扬声器)和无线通信能力112。如以下将详细解释的，多个GPC的传感器和执行器用来估测它们各自的物理定位。例如，在一个实施例中，倘若一组M个声传感器和S个声执行器在未知位置处，一个实施例估测它们各自的三维坐标。利用预定的校正信号来激励声执行器，例如最大长度序列信号或线性调频信号(chirpsignal)，并估测每对声执行器和传感器的到达时间(TOA)。在一个实施例中，指定一对麦克风和扬声器的TOA被定义为声信号由扬声器到达麦克风的时间。测得TOA，并已知声音在声介质中的速度，就可计算每个声信号源与声传感器之间的距离，从而确定执行器和传感器的三维位置。图2是更详细地描述根据一个实施例在分布式计算平台中产生音频传感器和执行器的三维位置校正的过程的流程图。图2流程图中所描述的过程周期性地提及图1所示的分布式计算机平台的多个GPC。在方框202，可视为分布式平台的主GPC的第一GPC102将无线信号发送给分布式平台中的周围GPC集(分布式平台中所包括的GPC的实际数目可根据实现而变化)。第一GPC102的信号包括请求激励其中一个GPC(例如，第二GPC103)的特定执行器以产生将要被周围多个GPC(例如GPC102、104-106)的传感器接收的声信号。在一个实施例中，来自主GPC102的初始无线信号标识要被激励的特定执行器110。响应于来自主GPC102的信号，在方框204，第二GPC103激励执行器110以产生声信号。在一个实施例中，声信号可以是最大长度序列信号或线性调频信号，或另一种预定信号。在方框206，第二GPC103还向其他GPC104-106传输第一全局时间戳。在一个实施例中，全局时间戳标识第二GPC103何时启动第二GPC103的执行器110的动作。在方框208，GPC102，104-106的传感器接收由第二GPC103所产生的声信号。在方框210，估测声信号从第二GPC103的执行器110到达各个传感器的时间(以下称之为到达时间(TOA))。在一个实施例中，指定一对麦克风和扬声器的TOA被定义为声信号从扬声器到达麦克风所需的时间。在一个实施例中，通过其传感器接收声信号的多个GPC继续估测各自的TOA。在一个实施例中，分布式平台中存在共用时钟，使得GPC102-106能够确定被各自的传感器捕捉的音频样本的到达时间。结果，基于由第二GPC103发出的第一全局时间戳与传感器接收到声信号的时间之间的差别可估测TOA。但是，考虑到传感器分布在不同平台，所以不同GPC间的音频流一般在时间上不同步(例如不同GPC的执行器和传感器的模数转换器和数模转换器是不同步的)。结果，所估测的TOA未必等于实际的TOA。具体地，声信号的TOA可包括发出开始时间，其被定义为一旦各个GPC(例如GPC103)已发出命令，则扬声器(例如执行器110)实际发出声音之前的时间。实际的发出开始时间一般不为0，并且取决于各个GPC的声卡和处理器负荷实际上可能在时间上有变化。因此，为说明发出开始时间的变化，可使用多个替换例。例如，在一个实施例中，如果在GPC激励执行器时有多个音频输入信道可利用，则可将其中一个输出信道直接与其中一个输入信道相连接，形成回路(loop-back)。然后可估测指定扬声器的源发出开始时间，并可将其全局地发送给其他GPC102，104-106，以更精确地确定各个TOA。而且，在一个实施例中，在利用回路的情况下，所估测的发出开始时间将包括在由各个GPC传输的全局时间戳中。一旦接收GPC104-106已估测了声信号的TOA，其可包括说明如上所述的未知发出开始时间，则TOA被传输给主GPC102。在可替换的实施例中，主GPC102可计算TOA，在这种情况下GPC104-106的每个传感器分别产生声信号何时到达的第二全局时间戳。在可替换的实施例中，主GPC102使用第一全局时间戳(标识第二GPC103何时启动执行器110的动作)和第二全局时间戳来估测各对执行器和传感器的TOA。这种情况下，主GPC102也可估测声信号的发出开始时间以估测TOA。在判定方框212，如果分布式平台中仍有另外的执行器，则重复方框202-210的过程，使得平台中的每个执行器产生声信号来确定其与各个接收传感器之间的TOA。在可替换的实施例中，可并行地启动多个独立的执行器，其中每个执行器利用唯一的信号(例如线性调频信号或MLS信号的不同参数)来复用执行器信号。在并行地启动多个独立的执行器的情况下，主GPC102为每个执行器标识唯一的信号参数，当激励执行器时，这些参数将要用到。一旦所有的不同对的执行器和传感器的TOA已被计算出并传输给主GPC102，在方框214，主GPC102计算传感器和执行器的坐标。更具体地说，如图3的位置计算方案所示的，在一个实施例中，主GPC102利用非线性最小平方(NLS)计算法302来确定执行器和/或传感器的坐标304。在一个实施例中，NLS计算法302考虑TOA306，平台中麦克风的数目308和扬声器的数目310，以及执行器和扬声器的坐标的初始估测值312。主GPC102所用的基于TOA来计算执行器和传感器的坐标的实际计算法可基于实现而变化。例如，在计算具有未知发出开始时间的传感器和执行器的位置的可替换实施例中，NLS程序用来一起估测位置和发出时间。发出时间将额外的S个(执行器的数目)变量加入计算程序中。为提供如NLS所用的初始估测值，几种替换方法可利用。例如，如果麦克风和扬声器位置的近似概念可利用，则可手工完成初始化。在另一个实施例中，使用一个或多个摄像机可提供粗略估测以作为初始估测值使用。产生初始估测值的另外实施例包括假定在指定计算平台上的麦克风和扬声器大致在同一位置处，并且如果给定了所有独立的GPC之间的对偶(pairwise)距离的估测值，则在一个实施例中可用多维定标方法(multidimensionalscalingapproach)从几何距离(Euclideandistance)矩阵来确定坐标。这种方法包括将对称对偶距离矩阵转化为关于某个原点的标量积矩阵，然后进行单值分解(singularvaluedecomposition)来获得坐标矩阵。矩阵坐标依次可用作各个GPC以及位于其上的麦克风和扬声器的坐标的初始推测或估测值。上述技术可存储在其中一个计算设备或GPC的存储器中，作为要执行的指令集。此外，执行上述过程的指令还可以存储在其他形式的计算机和/或机器可读介质上，包括磁盘和光盘。另外，指令可以编译和链接版本的形式被下载到数据网络上的计算设备中。或者，执行如上讨论的技术的逻辑可在另外的计算机和/或机器可读介质中实现，例如诸如大规模集成电路(LSI)、专用集成电路(ASIC)之类的分立硬件组件，诸如电可擦除可编程只读存储器(EEPROM)之类的固件；以及电、光、声和其他形式的传播信号(例如载波、红外信号、数字信号等)等。已参照其具体示例性实施例描述了这些实施例。但是，对于受益于本公开的人来说很明显，在不偏离这里所述的实施例的更广泛精神和范围的情况下，可对这些实施例进行各种改进和变化。因此，本说明书及附图应视为是示意性的，而非限制性的。权利要求1.一种方法，包括第一计算设备的执行器产生声信号；第二计算设备的传感器接收所述声信号；生成所述声信号从所述执行器到达所述传感器的时间估测值，其中所述传感器和执行器是不同步的；以及第三计算设备基于所述时间估测值，计算包括所述第二计算设备的所述传感器和所述第一计算设备的所述执行器的组中的至少一个的物理定位。2.如权利要求1所述的方法，其中所述方法还包括第四计算设备的传感器接收所述声信号；以及生成所述声信号从所述执行器到达所述第四计算设备的所述传感器的第二时间估测值，其中所述第一计算设备的所述执行器和所述第四计算设备的所述传感器是不同步的；以及所述第三计算设备基于所述第二时间估测值，计算包括所述第四计算设备的所述传感器和所述第一计算设备的所述执行器的组中的至少一个的物理定位。3.如权利要求2所述的方法，其中所述方法还包括所述第二计算设备的执行器产生第二声信号；第一计算设备的传感器接收所述声信号；生成所述第二声信号从所述第二计算设备的所述执行器到达所述第一计算设备的所述传感器的第三时间估测值；以及所述第三计算设备基于所述第三时间估测值，计算包括所述第一计算设备的所述传感器和所述第二计算设备的所述执行器的组中的至少一个的物理定位。4.如权利要求3所述的方法，其中所述执行器是扬声器。5.如权利要求4所述的方法，其中所述传感器是麦克风。6.如权利要求5所述的方法，其中由所述第一计算设备和所述第二计算设备产生的所述声信号选自由最大长度序列信号和线性调频信号组成的组。7.如权利要求1所述的方法，还包括估测所述声信号何时由所述执行器发出的发出开始时间。8.如权利要求7所述的方法，其中所述发出开始时间的估测包括所述第一计算设备利用回路设备来估测所述发出开始时间；以及利用所述发出开始时间来确定所述声信号从所述第一计算设备的所述执行器到达所述第二计算设备的所述传感器的时间估测值。9.如权利要求1所述的方法，其中所述方法还包括在所述第三计算设备计算所述物理定位之前，通过视频形态来计算所述第二计算机的所述传感器和所述第一计算机的所述执行器的所述物理定位的初始估测值。10.如权利要求1所述的方法，其中所述方法还包括在所述第三计算设备计算所述第二计算机的所述传感器的所述物理定位之前，通过多维定标来计算所述第二计算机的所述传感器和所述第一计算机的所述执行器的所述物理定位的初始估测值。11.一种方法，包括第一计算设备向第二计算设备和第三计算设备发送无线信号，所述信号请求所述第二计算设备的执行器产生将要被所述第三计算设备的传感器接收的声信号；以及所述第一计算设备基于所述声信号从所述第二计算设备的所述执行器到达所述第三计算设备的所述传感器的时间估测值，计算包括所述第二计算设备的所述执行器和所述第三计算设备的所述传感器的组中的至少一个的物理定位。12.如权利要求11所述的方法，其中所述方法还包括所述第一计算设备向所述第二计算设备和第四计算设备发送所述无线信号，所述信号请求所述第二计算设备的所述执行器产生将要被所述第四计算设备的传感器接收的所述声信号，其中所述第四计算设备的所述执行器和所述传感器是不同步的；以及所述第一计算设备基于所述声信号从所述第二计算设备的所述执行器到达所述第四计算设备的所述传感器的时间估测值，计算包括所述第二计算设备的所述执行器和所述第四计算设备的所述传感器的组中的至少一个的物理定位。13.如权利要求12所述的方法，其中所述方法还包括所述第一计算设备向所述第二计算设备和第三计算设备发送第二无线信号，所述信号请求所述第三计算设备的执行器产生将要被所述第二计算设备的传感器接收的声信号，其中所述第三计算设备的所述执行器和所述第二计算设备的传感器是不同步的；以及所述第一计算设备基于所述声信号从所述第三计算设备的所述执行器到达所述第二计算设备的所述传感器的时间估测值，计算包括所述第三计算设备的所述执行器和所述第二计算设备的所述传感器的组中的至少一个的物理定位。14.如权利要求13所述的方法，其中所述执行器是扬声器。15.如权利要求14所述的方法，其中所述传感器是麦克风。16.如权利要求15所述的方法，其中由所述第二计算设备和所述第三计算设备产生的所述声信号选自由最大长度序列信号和线性调频信号组成的组。17.如权利要求11所述的方法，还包括估测所述声信号何时由所述第二计算设备的所述执行器发出的发出开始时间。18.如权利要求17所述的方法，其中所述发出开始时间的估测包括所述第二计算设备利用回路设备来估测所述发出开始时间；利用发出开始时间来确定所述声信号从所述第二计算设备的所述执行器到达所述第三计算设备的所述传感器的时间估测值。19.如权利要求11所述的方法，其中所述方法还包括在所述第一计算机确定包括所述第二计算设备的所述执行器和所述第三计算设备的所述传感器的组中的至少一个的物理定位之前，所述第一计算机通过视频形态来计算所述第二计算机的所述执行器和所述第三计算设备的所述传感器的所述物理定位的初始估测值。20.如权利要求11所述的方法，其中所述方法还包括在所述第一计算机确定包括所述第二计算设备的所述执行器和所述第三计算机的所述传感器的组中的至少一个的物理定位之前，所述第一计算机通过视频形态来计算所述第二计算机的所述执行器和所述第三计算设备的所述传感器的所述物理定位的初始估测值。21.一种其上存储有指令集的机器可读介质，当所述指令被执行时，会使所述机器执行包括如下步骤的方法第一计算设备的执行器产生声信号；第二计算设备的传感器接收所述声信号；生成所述声信号从所述执行器到达所述传感器的时间估测值，其中所述传感器和执行器是不同步的；以及第三计算设备基于所述时间估测值，计算包括所述第二计算设备的所述传感器和所述第一计算设备的所述执行器的组中的至少一个的物理定位。22.如权利要求21所述的机器可读介质，其中所述方法还包括第四计算设备的传感器接收所述声信号；以及生成所述声信号从所述执行器到达所述第四计算设备的所述传感器的第二时间估测值，其中所述第一计算设备的所述执行器和所述第四计算设备的所述传感器是不同步的；以及所述第三计算设备基于所述第二时间估测值，计算包括所述第四计算设备的所述传感器和所述第一计算设备的所述执行器的组中的至少一个的物理定位。23.如权利要求22所述的机器可读介质，其中所述方法还包括所述第二计算设备的执行器产生第二声信号；第一计算设备的传感器接收所述声信号；生成所述第二声信号从所述第二计算设备的所述执行器到达所述第一计算设备的所述传感器的第三时间估测值；以及所述第三计算设备基于所述第三时间估测值，计算包括所述第一计算设备的所述传感器和所述第二计算设备的所述执行器的组中的至少一个的物理定位。24.如权利要求23所述的机器可读介质，其中所述执行器是扬声器。25.如权利要求24所述的机器可读介质，其中所述传感器是麦克风。26.如权利要求25所述的机器可读介质，其中由所述第一计算设备和所述第二计算设备产生的所述声信号选自由最大长度序列信号和线性调频信号组成的组。27.如权利要求21所述的机器可读介质，还包括估测所述声信号何时由所述执行器发出的发出开始时间。28.如权利要求27所述的机器可读介质，其中所述发出开始时间的估测包括所述第一计算设备利用回路设备来估测所述发出开始时间；以及利用所述发出开始时间来确定所述声信号从所述第一计算设备的所述执行器到达所述第二计算设备的所述传感器的时间估测值。29.如权利要求21所述的机器可读介质，其中所述方法还包括在所述第三计算设备计算所述物理定位之前，通过视频形态来计算所述第二计算机的所述传感器和所述第一计算机的所述执行器的所述物理定位的初始估测值。30.如权利要求21所述的机器可读介质，其中所述方法还包括在所述第三计算设备计算所述物理定位之前，通过多维定标来计算所述第二计算机的所述传感器和所述第一计算机的所述执行器的所述物理定位的初始估测值。31.一种其上存储有指令集的机器可读介质，当所述指令被执行时，会使所述机器执行包括如下步骤的方法第一计算设备向第二计算设备和第三计算设备发送无线信号，所述信号请求所述第二计算设备的执行器产生将要被所述第三计算设备的传感器接收的声信号；以及所述第一计算设备基于所述声信号从所述第二计算设备的所述执行器到达所述第三计算设备的所述传感器的时间估测值，计算包括所述第二计算设备的所述执行器和所述第三计算设备的所述传感器的组中的至少一个的物理定位。32.如权利要求31所述的机器可读介质，其中所述方法还包括所述第一计算设备向所述第二计算设备和第四计算设备发送所述无线信号，所述信号请求所述第二计算设备的所述执行器产生将要被所述第四计算设备的传感器接收的所述声信号，其中所述第四计算设备的所述执行器和所述传感器是不同步的；以及所述第一计算设备基于所述声信号从所述第二计算设备的所述执行器到达所述第四计算设备的所述传感器的时间估测值，计算包括所述第二计算设备的所述执行器和所述第四计算设备的所述传感器的组中的至少一个的物理定位。33.如权利要求32所述的机器可读介质，其中所述方法还包括所述第一计算设备向所述第二计算设备和第三计算设备发送第二无线信号，所述信号请求所述第三计算设备的执行器产生将要被所述第二计算设备的传感器接收的声信号，其中所述第三计算设备的所述执行器和所述第二计算设备的传感器是不同步的；以及所述第一计算设备基于所述声信号从所述第三计算设备的所述执行器到达所述第二计算设备的所述传感器的时间估测值，计算包括所述第三计算设备的所述执行器和所述第二计算设备的所述传感器的组中的至少一个的物理定位。34.如权利要求33所述的机器可读介质，其中所述执行器是扬声器。35.如权利要求34所述的机器可读介质，其中所述传感器是麦克风。36.如权利要求35所述的机器可读介质，其中由所述第二计算设备和所述第三计算设备产生的所述声信号选自由最大长度序列信号和线性调频信号组成的组。37.如权利要求31所述的机器可读介质，还包括估测所述声信号何时由所述第二计算设备的所述执行器发出的发出开始时间。38.如权利要求37所述的机器可读介质，其中所述发出开始时间的估测包括所述第二计算设备利用回路设备来估测所述发出开始时间；利用发出开始时间来确定所述声信号从所述第二计算设备的所述执行器到达所述第三计算设备的所述传感器的时间估测值。39.如权利要求31所述的机器可读介质，其中所述方法还包括在所述第一计算机确定包括所述第二计算设备的所述执行器和所述第三计算设备的所述传感器的组中的至少一个的物理定位之前，所述第一计算机通过视频形态来计算所述第二计算机的所述执行器和所述第三计算设备的所述传感器的所述物理定位的初始估测值。40.如权利要求31所述的机器可读介质，其中所述方法还包括在所述第一计算机确定包括所述第二计算设备的所述执行器和所述第三计算机的所述传感器的组中的至少一个的物理定位之前，所述第一计算机通过视频形态来计算所述第二计算机的所述执行器和所述第三计算设备的所述传感器的所述物理定位的初始估测值。全文摘要本发明公开了一种方法，所述方法包括第一计算设备向第二计算设备和第三计算设备发送无线信号，所述信号请求所述第二计算设备的执行器产生将要被所述第三计算设备的传感器接收的声信号，其中所述执行器和传感器是不同步的。所述第一计算设备基于所述声信号从所述第二计算设备的所述执行器到达所述第三计算设备的所述传感器的时间估测值，计算所述第二计算设备的所述执行器和所述第三计算设备的所述传感器的物理定位。文档编号G01C9/00GK1550790SQ200410034740公开日2004年12月1日申请日期2004年5月9日优先权日2003年5月9日发明者维卡斯·C·雷卡尔,伊戈尔·科津采夫,赖纳·林哈特,科津采夫,林哈特,维卡斯C雷卡尔申请人:英特尔公司
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
