La AR de Apple podría usar marcadores invisibles en los iPhone y hacer un modelo 3D de tu dedo

Los planes de realidad aumentada de Apple podrían implicar la creación de un modelo 3D de los dedos de un usuario para interactuar con pantallas táctiles virtuales, mientras que el uso de marcadores ópticos infrarrojos puede facilitar que los sistemas AR ajusten lo que se ve en la pantalla de un iPhone o iPad.

Se cree que Apple está trabajando en algún tipo de hardware de realidad virtual o realidad aumentada, y también se cree que está trabajando en las gafas inteligentes Apple Glass AR. Si bien los productos aún no se han lanzado, Apple ha sentado las bases con una extensa investigación y desarrollo en el campo.

Sin embargo, si bien la RA existe desde hace un tiempo, todavía hay una serie de problemas y cuestiones que deben abordarse antes de que pueda convertirse en una tecnología convencional.

En un par de patentes otorgadas a Apple por la Oficina de Patentes y Marcas de EE. UU. el martes, Apple busca mejorar la RA en dos áreas.

Marcadores de dispositivos

Una de las formas en que la RA puede proporcionar beneficios es mostrarle al usuario una pantalla virtual prácticamente en cualquier lugar dentro de su campo de visión. Estas pantallas virtuales podrían superponerse fácilmente en paredes o elementos físicos, o incluso dejarse suspendidas en el aire.

El uso de un visor AR puede causar problemas a los usuarios que esperan poder usar sus teléfonos inteligentes y tabletas al mismo tiempo, ya que no hay garantía de que la pantalla sea realmente visible desde el visor.

También existe la posibilidad de que unos auriculares AR aprovechen la presencia de un dispositivo móvil como método de interacción para los usuarios, reemplazando potencialmente lo que aparece en la pantalla del dispositivo con gráficos diferentes o una versión más fácilmente visible. Incluso podría ser factible que la pantalla se vea completamente dentro del auricular AR con la pantalla del dispositivo apagada por completo, dejando intactas las capacidades táctiles y otras funciones.

En elpatentarTitulado "Dispositivos electrónicos con marcadores ópticos", Apple cree que podría mejorar la interoperabilidad entre teléfonos inteligentes y auriculares AR al facilitar que los sistemas AR detecten que hay un teléfono inteligente cerca. En la patente, esto simplemente implica agregar marcadores visuales que los auriculares pueden usar.

La idea es que haya marcadores adheridos al exterior del dispositivo que puedan ser leídos por cámaras y otros sensores en un auricular AR. Al ver los marcadores, esto podría permitir que el sistema AR determine el tipo de dispositivo que es, su orientación, dónde está la pantalla y otros factores.

Estos marcadores podrían proporcionar datos de posicionamiento, junto con otra información como un identificador único, proporcionado a través de un código de barras bidimensional como un código QR. Este identificador único podría ser incluso el uso de marcadores con un "código de reflectancia espectral".

Si bien los marcadores podrían ser visibles para el usuario, Apple propone que en realidad podrían ser completamente invisibles para los usuarios. Potencialmente formados a partir de partículas fotoluminiscentes en una capa de polímero, o con una capa retrorreflectante que utiliza esferas transparentes, los marcadores sólo podrían hacerse visibles mediante luz infrarroja.

La patente enumera a sus inventores como Christopher D. Prest, Marta M. Giachino, Matthew S. Rogers y Que Anh S. Nguyen. Fue presentado originalmente el 27 de septiembre de 2018.

modelado de dedos 3D

La capacidad de un sistema AR para mostrar pantallas en cualquier superficie puede resultar útil en la mayoría de los casos, pero no necesariamente cuando se espera interacción. Un sistema AR puede pretender que una pantalla virtual aplicada a una pared funcione como una pantalla táctil, pero como no hay sensores en la pared para detectar toques, no puede detectar un toque.

Podría ser factible detectar el toque de una pantalla virtual en una pared usando un guante u otro mecanismo de entrada, pero hacerlo sin el guante es un problema más difícil.

El segundopatentartitulado “Generación de un modelo 3D de la punta de un dedo para la detección visual del tacto” intenta resolver este problema.

Como su nombre lo detalla, la patente gira en torno a un sistema que crea un modelo 3D de la punta del dedo, el dedo o la mano de un usuario. Una vez que se ha generado un modelo, el sistema puede examinarlo analizando los datos del sensor de imágenes para detectar toques intencionados de pantallas virtuales.

Se cree que el modelo puede generarse monitoreando la mano del usuario cuando toca una superficie real sensible al tacto. Utilizando múltiples cámaras o sensores de imágenes, el dedo o la mano podrían capturarse desde múltiples ángulos al momento de tocar un objeto.

Estos datos visuales podrían usarse para formar un modelo 3D del dedo en el punto de un evento táctil. Los toques posteriores de una superficie sensible al tacto pueden generar más imágenes, lo que puede refinar aún más el modelo 3D.

Una vez que se ha generado el modelo, el sistema puede usar los datos para detectar el dedo o la mano del usuario, incluidos los casos en los que interactúa con una superficie física que no es sensible al tacto pero que se utiliza con fines de RA.

La patente fue inventada por Rohit Sethi y Lejing Wang y presentada el 24 de septiembre de 2019.

Esta no es la primera vez que Apple intenta resolver el problema de detección táctil.

En julio de 2020, apareció una solicitud de patente que proponía el uso de imágenes térmicas para detectar lugares de un dispositivo donde el usuario tocaba. Los sensores podrían captar pequeñas cantidades de transferencia de calor de los dedos de un usuario y, a su vez, utilizarlas para detectar exactamente en qué parte de una superficie tocó el usuario.

Otras ideas han girado en gran medida en torno a guantes y controladores, incluida una de marzo de 2016 en la que un controlador de mano tenía elementos que se extendían sobre los dedos para detectar los movimientos de los dedos, e incluso si un usuario toca la superficie.