微软专利更新介绍了控制AR/VR头显设备的指环控制器
控制相关终端设备的指环控制器
(映维网Nweon 2023年12月28日)诸如苹果和Meta等巨头都有在探索用于AR/VR的各种输入方式,例如指环。实际上,微软同样有在研究。在名为“Wearable device enabling multi-finger gestures”的专利申请中,这家公司就介绍了一种用于控制相关终端设备的指环控制器,例如头显。
在一个实施例中,诸如指环这样的可穿戴设备包括两个传感器和一个控制器。第一传感器配置为检测用户第一手指的一个或多个运动,而第二传感器配置为检测与第一手指不同的第二手指的一个或多个运动。
控制器配置为基于第一和第二手指的运动来确定第一手指和第二手指之间的相对运动。这种相对运动可以定义一个多指手势。然后,控制器可以基于多指手势控制相关联的终端设备,例如头显。
诸如指环这样的可穿戴设备100可以佩戴在用户的手指。所述可穿戴设备100配备一组传感器以检测两个或多个手指的相对运动,例如第一根手指201和第二根手指202。所述可穿戴设备100基于不同手指的这种相对运动识别多指手势,然后基于所述多指手势控制关联的终端设备300。这样,用户就可以更高效、更灵活地控制终端设备并与之交互。
如图11c所示,诸如指环这样的可穿戴设备100与头显一起使用。微软表示,现有的头显控制方法是使用语音、悬空手势或传统控制器。然而,语音控制将不可避免地涉及隐私问题,悬空手势会导致严重疲劳。相比之下,可穿戴设备100不需要用户举手,并且足够私密,可以在口袋里完成。
图2显示了可穿戴设备100的示例结构。如图所示,所述可穿戴设备100具有环形外壳101,其包括外侧121、内侧122及其之间的侧部123。
可穿戴设备100包括至少两个传感器105、106,分别称为第一传感器105和第二传感器106。这两个传感器用于检测用户至少两个不同手指的运动。
第一传感器105和/或第二传感器106可以是红外接近传感器。红外接近传感器具有体积小、重量轻、低功耗和低成本的特点,使得可穿戴设备进一步轻量化和低功耗。应该了解的是,其他种类的距离测量传感器,如光学传感器、电容式传感器和超声波传感器都可以使用。在不需要光传输的情况下,可以根据需要省略或调整成其他结构。
第一传感器105配置为检测第一手指201或其一段的至少一个运动,第二传感器106配置为检测第二手指202或其一段的至少一个运动。
第一和第二传感器105,106中的一个或两个可以检测相应手指的多个部分的运动。与高强度的运动相比,需要由第一和第二传感器检测到的手指运动105、106只是两个不同手指之间的相对运动。这是非常微妙的动作,需要小的肌肉运动,没有举手动作。因此,需要检测的动作较少疲劳,使用户可以像戴普通戒指一样长时间佩戴可穿戴设备100。
另外,只需要两个手指参与交互,这比单手操作更可取,因为其他三个手指依然可以执行其他任务,比如拿袋子。
所述可穿戴设备100同时包括控制模块102。控制模块102可以包括控制器107、电池115和通信模块114。如图2所示,控制模块102可以设置在环形外壳101的顶部,类似于菱形外壳顶部的菱形。这样可以减小环形外壳101的厚度。例如,外壳101的厚度可以小于1mm,可以轻松地整天佩戴而没有任何不适。
控制器107通过接收和分析第一、第二传感器105、106检测到的手指的运动数据来确定两根手指201、202之间的相对运动。这样的两个手指之间的相对运动定义了一个两指手势。另外,由于只需要检测相当简单和微小的手指运动,控制器107可以实现为低功耗和低成本的微型微控制器,例如8位MCU。这样可以进一步缩小可穿戴设备100的尺寸。
为了检测手指201、202的运动,可穿戴设备100可以包括多个导体组件,例如第一导体组件103和第二导体组件104。第一导体组件103具有第一端110和第二端111。所述第一端110与所述第一传感器105耦合,所述第二端111面向所述第一手指201。同样,第二导体组件104可以具有耦合到第二传感器106的第三端112和面向第二手指202的第四端113。这样,通过排列导体组件两端的方向,可以检测到不同手指的运动。
第二端111和第四端113可以位于环形外壳101的底部,如图2所示。第二端111和第四端113中的至少一个可以位于环形外壳101的底部和侧面之间的任何位置。
作为示例,第一导体组件103可包括第一光纤116和第二光纤117。例如,第一和第二光纤116、117可以设置在外壳101内的第一通道108中。第一通道108可以是可以减轻可穿戴设备100的重量的中空结构。
控制模块102可以包括用于与图1中关联的终端设备300通信的通信模块114,所述终端设备300可以是有线的或无线的。例如,可以使用基于蓝牙低能量的模块作为通信模块114。
仍然参照图2,在一些实施例中,控制模块102可以包括电池115。由于控制器107、第一和第二传感器105、106和其他必要组件的功耗低,电池115的尺寸可以非常小。
下面是多指手势的例子。
参照图1,本例中假定可穿戴设备100佩戴在食指201的基段206。在这种情况下,第一导体组件103的第二端111朝向拇指202的侧面,使得第一传感器105可以检测到从拇指202的侧面到第一传感器105的第一距离301。
第二导体组件103的第四端113定向于食指201的中间部分205的腹侧部分,使得第二传感器106能够检测到从食指201的中间部分205的腹侧部分(到第二传感器106的第二距离302。
由于环形外壳101的尺寸较小,第一距离301基本上是拇指202的侧面部分到食指201的基段206的相关距离,而第二距离302基本上是中间部分205的腹侧部分到食指201的基段206的相关距离。这样,第一和第二传感器105,106可以检测到一组或多个运动。
在单动作手势模式下,如图4a所示,在拇指202未接触食指201并保持静止的情况下,第一传感器105检测到的距离(称为距离X 301)和第二传感器106检测到的距离(称为距离Y 302)分别保持恒定。例如,距离x301保持X1,距离y302保持Y1。
同样,在如图4b所示的拇指202接触食指201并保持静止的情况下,第一传感器105和第二传感器106分别检测到的距离保持不变。由于拇指202位置的变化,距离x301保持X2,可能小于X1。
在这种情况下,距离X的值可以指示拇指202是否接触到食指,而食指又可以指示运动是开始还是结束。可以看出,控制器107可以通过确定第一、第二指201、202的相关距离来检测多指手势。
在一个实施例中,控制器107可以通过基于第一和第二组动作确定第一和第二指201、202之间的相关滑动来检测多指手势。为了响应不同的滑动方向,控制器107可以触发不同的动作。
例如,为了检测到第一手指201沿着第二手指202从左向右滑动,控制器107可以触发与终端设备300关联的相应动作,并且为了检测到第一手指201沿着第二手指202从右向左滑动,控制器107可以触发与终端设备300关联的另一个相应动作。
图4c-4d表示在拇指202沿着食指滑动的情况下,距离X 301和距离Y 302将如何变化。针对拇指202的腹侧沿食指201自左向右滑动,第二传感器106能够检测到拇指202的滑动并将检测到的数据发送给控制器107。同时,第一传感器105能够检测到食指201保持其位置并将检测到的数据发送给控制器107,如图4d所示。
基于上述第一组和第二组运动,控制器107可以通过确定食指201和拇指202之间的上述相对运动来检测多指手势。然后,基于多指手势,控制器107触发与终端设备300关联的动作。
例如,控制器107可以产生与“右”操作相对应的控制信号以控制终端设备300。同样,针对拇指202的腹侧沿食指201从右向左滑动,如图4c所示,基于通过确定食指201与拇指202之间的上述相对运动而检测到的多指手势,控制器107通过产生与“左”操作相对应的控制信号,并触发与终端设备300关联的动作。
图4e-4f表示在食指201沿着拇指202上下滑动时,距离X 301和距离Y 302的变化情况。与上述类似,针对食指201侧边部分沿拇指202向下滑动,第二传感器106可以检测到食指201中段205的腹侧部分正在向下移动,并将检测到的数据发送给控制器107。同时,第一传感器105可以检测到拇指202处于静止状态,并将检测到的数据发送给控制器107,如图4e所示。
基于上述第一组和第二组运动,控制器107可以通过确定食指201和拇指202之间的上述相对运动来检测多指手势。然后,控制器107基于多指手势,通过产生与“下”操作相对应的控制信号,触发与终端设备300相关联的动作,控制终端设备300,如图4e所示。
同样,针对如图4f所示,通过确定食指201与拇指202之间的上述相对运动而检测到的多指手势,针对食指201中段205的腹侧部分沿拇指202向上滑动,控制器107通过产生与“上”操作相对应的控制信号,触发与终端设备300相关联的动作。
在一个实施例中,控制器107可以通过确定第一和第二手指201、202之间的相关运动来检测敲击手势。
针对手指的不同敲击段,控制器107可以触发不同的动作。例如,控制器107可以响应检测到第一手指201轻击第二手指202的第二部分而触发第一动作,并且响应检测到第一手指201轻击第二手指202的第三部分而触发与第一动作不同的第二动作。
图4示出在拇指202轻击食指最外侧段204(即第三段)或轻击最外侧段204附近时,距离X 301和距离Y 302如何变化。在这种情况下,第一传感器105可以检测到拇指202正在靠近和/或远离最外侧段204,并将检测到的数据发送给控制器107,同时,第二传感器106可以检测到食指保持静止,并将检测到的数据发送给控制器107,如图4e所示。
基于上述第一组和第二组运动,控制器107通过确定食指201和拇指202之间的上述相对运动来检测多指手势。然后,基于多指手势,控制器107通过产生与OK操作相对应的控制信号来触发与终端设备300关联的动作。
图4h显示了在拇指202轻击食指中间段205或轻击中间段205附近时,距离X 301和距离Y 302的变化情况。在这种情况下,第一传感器105可以检测到拇指202正在移动接近和/或远离中间段205,并将检测到的数据发送给控制器107。同时,第二传感器106可以检测到食指不动,并将检测到的数据发送给控制器107,如图4e所示。
基于上述第一组和第二组运动,控制器107通过确定食指201和拇指202之间的上述相对运动来检测多指手势。然后,基于多指手势,控制器107通过产生与“取消”操作相对应的控制信号,触发与终端设备300关联的另一动作。
由上面可以看出,第一传感器105和第二传感器106可以检测食指201与拇指202之间的一个或多个微妙的相对运动,控制器107可以通过确定一个或多个运动的集合来检测多指手势,并基于多指手势控制相关终端设备300。与“悬空”或“举手”动作相比,上述动作使用的肌肉较少,因此可以减少操作时的疲劳。
另外,第一、第二传感器105、106所能检测到的动作非常直观,容易理解。同时,在执行所述动作时,可以获得自然的触觉反馈,因此执行星官动作可以完全不需要眼睛。
除了常规的方向光标操作外,在单运动手势模式下,通过检测特定的多指手势,可穿戴设备100可以实现X-Y滑块(7a)和双按键(7b)功能。因此,可穿戴设备100可以作为诸如头显这样的设备的输入方式。
除了单指手势外,相关手势可以包含多指手势,如8a和8b所示。在这种情况下,控制器107可以通过根据一组动作产生控制信号来触发一个或多个动作,如第一指201沿第二指202的有节奏地重复穿梭滑动运动,第一指201相对于第二指202的多次轻击运动,或它们的组合。
例如,在多动作手势模式下,针对第一指201沿第二指202有节奏地重复穿梭滑动运动,控制器107可以通过确定上述动作组来检测多手指手势。基于所检测到的多指手势,控制器107可以通过产生例如对应于激活所关联终端设备特定功能的激活操作的控制信号来触发动作,即第一动作。
为了响应第二指202沿着第一指201有节奏地重复穿梭滑动运动,控制器107可以通过确定上述一组运动来检测多指手势。基于检测到的多指手势,控制器107可触发另一动作,即第二动作。
例如,在响应第一个手指201沿第二个手指202的快速(如超过约120/min)有节奏重复的穿梭滑动运动的多次(例如超过3次)时,控制器107可以通过确定上述一组运动来检测多手指手势。基于检测到的多指手势,控制器107可以通过产生控制信号来触发动作。
可以看出,在多动作手势模式下,控制器107可以基于多组动作触发更多动作,即可穿戴设备100可以通过多种方式控制终端设备。
在多动作手势模式下,能够引起控制器107触发一个动作的一组动作应该是我们日常生活中很少出现的一组特殊动作。例如,通过使用一组很少出现的带有节奏的动作,如快-快-慢-快或慢-快-慢-快。这里的“快”是指第一指201沿第二指202的一次快速滑动运动,而“慢”是指一次快速滑动运动。
图9显示了在可穿戴设备100实现的方法流程图。
在1320,用第二传感器106检测不同于第一手指201的第二指202的一个或多个运动的第二组。
然后在1330中,控制器107通过基于第一和第二组运动确定第一和第二个手指201、202之间的相对运动来检测多手指手势。
在1340中,基于多指手势控制与可穿戴设备100相关联的终端设备300。
图10示出了当可穿戴设备100佩戴在食指201时,控制器107在单运动手势模式下识别算法1400的识别流程示例。
在1401中,启用单运动手势模式,然后在1402中,控制器107根据最大距离Y与最小距离Y之间的差值大于或小于阈值差Y来确定距离y302是否改变,最大距离Y表示第二传感器106在一个识别周期内检测到的最大值。同样,最小距离Y表示第二传感器106在一个识别周期内检测到的最小值。最大距离X是指第一传感器105在一个识别周期内检测到的最大值,最小距离X是指第一传感器105在一个识别周期内检测到的最小值。
在1406中,在距离y302改变的情况下,即最大距离Y与最小距离Y之差大于阈值差Y,然后,控制器107通过确定最后距离Y是否大来检测多指手势,通过确定最后距离Y是否大于最大距离Y和最小距离Y的平均值。
如果最后距离Y大于平均值,即最后距离Y较大,控制器107可以检测到食指201的中段205的腹侧向上移动的动作集合所对应的多指手势。然后控制器107通过产生“上”操作对应的控制信号触发动作。反之,如果最后距离Y小于平均值,即最后距离Y较小。这样,控制器107可以检测到与食指201的中节205的腹侧向下移动的一组动作相对应的多指手势。控制器107通过产生“下”操作对应的控制信号触发动作。
在距离y302不变的情况下,即最大距离Y与最小距离Y之差基本上等于阈值差Y,控制器107通过判断最大距离X与最小距离X之差是否大于阈值差X来判断距离x301是否发生了变化。然后,控制器107通过判断最后距离X是否大于最大距离X和最小距离X的平均值来确定最后距离X是否大,从而检测多指手势。
如果最后距离X大于平均值,即最后距离X较大,则控制器107可以检测到与拇指202腹侧沿食指201从右向左滑动的一组动作相对应的多指手势。然后控制器107通过产生与“左”操作相对应的控制信号触发动作。
如果最后距离X小于平均值,即最后距离Y较小,则控制器107可以检测到与拇指202腹侧沿食指201从左向右滑动的一组动作相对应的多指手势。然后,控制器107通过产生与“右”操作相对应的控制信号触发动作。
同样,多动作手势的识别算法也很简单。如上所述,多动作手势的特殊动作集可以由用户预先设置或手动设置。然后,识别算法可以通过检测用户执行的一组运动是否与特殊运动基本一致,从而产生特定的控制信号,并致使控制器107触发动作。
通过使用识别算法的简单性,并且例如使用基于蓝牙低功耗的模块作为通信模块114,可以实现可穿戴设备100的低功耗。
相关专利:Microsoft Patent | Wearable device enabling multi-finger gestures
名为“Wearable device enabling multi-finger gestures”的微软专利申请最初在2023年8月提交,并在日前由美国专利商标局公布。
需要注意的是,一般来说,美国专利申请接收审查后,自申请日或优先权日起18个月自动公布或根据申请人要求在申请日起18个月内进行公开。注意,专利申请公开不代表专利获批。在专利申请后,美国专利商标局需要进行实际审查,时间可能在1年至3年不等。
另外,这只是一份专利申请,不代表一定通过,同时不确定是否会实际商用及实际的应用效果。