Virtual Tools, Virtual Hand

Implementation of Virtual Chopsticks
A conventional glove-type hand gesture input device is used to measure the motion of the userfs hand and fingers while handling the virtual chopsticks. But if a one-to-one mapping between the corresponding joint angles is used, the output motion is not always the same as the input motion because of measurement errors, differences of skeletal structures, and so on. The problem is even more serious when the motion data is used in an interactive environment such as a virtual reality system. The motion that a user imagines (mental model) is deviated from the reproduced motion (system behavior), and this seriously degrades the intuitiveness, making the user interface hard to use.

Therefore, we propose a technique to use a multiple regression formula that establishes the relationship between multiple motion data sequences measured by joint angle sensors of a hand gesture input device and the status of the hand gesture while operating the chopsticks. Multiple regression analysis is a method of representing the relationship between the predictor variables and the criterion variable. Here, the joint angles measured by a hand gesture input device are used as the predictor variables, and the distance between the tips of the chopsticks is used to estimate the status of the task of using chopsticks.

Once the multiple regression formula is established for each user, this method should enable even users who cannot handle real chopsticks properly to operate the virtual chopsticks in a way that matches his/her mental image obtained from multiple joint angles, which are measured as a finger motion. Therefore, this formula is used to represent the basic chopsticks. With this method, exact calibration is not necessary, even for a group of users who have a variety of skeletal structures.

Generating sign language by using the userfs intuitive hand action might be a promising application. Application of the proposed method using multiple regression analysis is not limited to operatingl chopsticks. It can also be applied to the motion of other hand gestures and/or any body part that can be represented by a few parameters.

Publicidad tridimensional

La Holografia

- Definición

LA HOLOGRAFÍA se puede describir en muy pocas palabras como un sistema de fotografía tridimensional, sin el uso de lentes para formar la imagen. Ésta es una de las técnicas ópticas que ya se veían teóricamente posibles antes de la invención del láser, pero que no se pudieron volver realidad antes de él.

- La historia de la Holografia

El inventor de la holografía fue Dennis Gabor (1900-1981), nacido en Budapest, Hungría. Estudió y recibió su doctorado en la Technische Hochschule en Charlottenburg, Alemania, y después fue investigador de la compañía Siemens & Halske en Berlín, hasta 1933. Después se trasladó a Inglaterra, donde permaneció hasta su muerte. Viajaba muy frecuentemente a los Estados Unidos, donde trabajaba durante parte de su tiempo en los laboratorios CBS en Stanford, Conn. Dennis Gabor recibió el premio Nobel de Física, en 1971.

En 1947, más de diez años antes de que se construyera el primer láser de helio-neón, Dennis Gabor buscaba un método para mejorar la resolución y definición del microscopio electrónico, compensando por medios ópticos las deficiencias de su imagen. Gabor se propuso realizar esto mediante un proceso de registro fotográfico de imágenes al que llamó holografía, que viene del griego holos, que significa completo, pues el registro que se obtiene de la imagen es completo, incluyendo la información tridimensional. El método ideado por Gabor consistía en dos pasos, el primero de los cuales era el registro, en una placa fotográfica, del patrón de difracción producido por una onda luminosa (o un haz de electrones en el caso del microscopio electrónico) cuando pasa por el objeto cuya imagen se desea formar. El segundo paso era pasar un haz luminoso a través del registro fotográfico, una vez revelado. La luz, al pasar por esta placa, se difractaba de tal manera que en una pantalla colocada adelante se formaba una imagen del objeto. Gabor no tuvo éxito con su propósito fundamental, que era mejorar las imágenes del microscopio electrónico, pero si obtuvo un método nuevo e interesante para formar imágenes. Había formado el primer holograma, aunque obviamente era muy rudimentario si lo comparamos con los modernos. Para comenzar, la imagen era muy confusa debido a que las diferentes imágenes que se producían no se separaban unas de otras. Por otro lado, las fuentes de luz coherente de la época no permitían una iluminación razonablemente intensa del holograma, lo que hacía muy difícil su observación. Sin embargo, las bases de la holografía quedaron así establecidas.

En 1950 Gordon Rogers exploró la técnica de Gabor, obteniendo una idea mucho más clara de los principios ópticos que estaban en juego. Dos años más tarde, en 1952, Ralph Kirkpatrick y sus dos estudiantes, Albert Baez y Hussein El-Sum, se interesaron en la holografía y contribuyeron a ampliar los conocimientos sobre ella. El-Sum produjo la primera tesis doctoral en holografía. Adolph Lomann aplicó por primera vez en Alemania las técnicas de la teoría de la comunicación a la holografía, y como consecuencia sugirió lo que ahora se conoce como el "método de banda lateral sencilla", para separar las diferentes imágenes que se producían en el holograma. Así, los conocimientos sobre holografía avanzaban cada vez más, pero en todos estos estudios el obstáculo principal era la falta de fuentes de luz coherentes suficientemente brillantes.



Figura 36. Esquemas de la exposición y reconstrucción de un holograma: (a) exposición y (b) reconstrucción.

Desconociendo totalmente los trabajos sobre holografia, Emmett N. Leith, un investigador en ingeniería eléctrica de la Universidad de Michigan, buscaba en 1956 un método para registrar y mostrar gráficamente la forma de onda de las señales de radar, usando técnicas ópticas. En 1960, cuando ya prácticamente tenía la solución a su problema, se enteró de los trabajos de Gabor y de sus sucesores, dándose así cuenta de que en realidad habían redescubierto la holografía. A partir de entonces el objetivo de esos trabajos fue perfeccionar el método. La solución que encontró Leith, con la colaboración de su colega Juris Upatnieks, eliminaba el principal problema de la holografía de Gabor, de que no solamente se producía una imagen del objeto deseado sino dos, una real y una virtual, que mezcladas entre sí y con la luz incidente producían una imagen muy difusa. La técnica inventada por Emmett N. Leith y Juris Upatnieks resuelve el problema, pues encuentra la forma de separar estas imágenes. Como además ya existía el láser de gas, los resultados encontrados en poco tiempo fueron impresionantes. Los logros de Leith y Upatnieks se publicaron en los años de 1961 y 1962.



Figura 37. Formación de un holograma, sobre una mesa estable, en el Centro de Investigaciones en Óptica.

- DIFERENTES TIPOS DE HOLOGRAMAS

La holografía ha progresado de una manera impresionante y rápida debido a la gran cantidad de aplicaciones que se le están encontrando día a día. Los hologramas se pueden ahora hacer de muy diferentes maneras, pero todos con el mismo principio básico. Los principales tipos de hologramas son los siguientes:

a) Hologramas de Fresnel. Éstos son los hologramas más simples, tal cual se acaban de describir en la sección anterior. También son los hologramas más reales e impresionantes, pero tienen el problema de que sólo pueden ser observados con la luz de un láser.



Figura 39. Formación de un holograma de reflexión.

b) Hologramas de reflexión. Los hologramas de reflexión, inventados por Y. N. Denisyuk en la Unión Soviética, se diferencian de los de Fresnel en que el haz de referencia, a la hora de tomar el holograma, llega por detrás y no por el frente, como se muestra en la figura 39. La imagen de este tipo de hologramas tiene la enorme ventaja de que puede ser observada con una lámpara de tungsteno común y corriente. En cambio, durante la toma del holograma se requiere una gran estabilidad y ausencia de vibraciones, mucho mayor que con los hologramas de Fresnel. Este tipo de holograma tiene mucho en común con el método de fotografía a color por medio de capas de interferencia, inventado en Francia en 1891 por Gabriel Lippmann, y por el cual obtuvo el premio Nobel en 1908.

c) Hologramas de plano imagen. Un holograma de plano imagen es aquel en el que el objeto se coloca sobre el plano del holograma. Naturalmente, el objeto no está físicamente colocado en ese plano, pues esto no sería posible. La imagen real del objeto, formada a su vez por una lente, espejo u otro holograma, es la que se coloca en el plano de la placa fotográfica. Al igual que los hologramas de reflexión, éstos también se pueden observar con una fuente luminosa ordinaria, aunque sí es necesario láser para su exposición.

d) Hologramas de arco iris. Estos hologramas fueron inventados por Stephen Benton, de la Polaroid Corporation, en 1969. Con estos hologramas no solamente se reproduce la imagen del objeto deseado, sino que además se reproduce la imagen real de una rendija horizontal sobre los ojos del observador. A través de esta imagen de la rendija que aparece flotando en el aire se observa el objeto holografiado, como se muestra en la figura 40. Naturalmente, esta rendija hace que se pierda la tridimensionalidad de la imagen si los ojos se colocan sobre una línea vertical, es decir, si el observador está acostado. Ésta no es una desventaja, pues generalmente el observador no está en esta posición durante la observación. Una segunda condición durante la toma de este tipo de hologramas es que el haz de referencia no esté colocado a un lado, sino abajo del objeto.

Este arreglo tiene la gran ventaja de que la imagen se puede observar iluminando el holograma con la luz blanca de una lámpara incandescente común. Durante la reconstrucción se forma una multitud de rendijas frente a los ojos del observador, todas ellas horizontales y paralelas entre sí, pero de diferentes colores, cada color a diferente altura. Según la altura a la que coloque el observador sus ojos, será la imagen de la rendija a través de la cual se observe, y por lo tanto esto definirá el color de la imagen observada. A esto se debe el nombre de holograma de arco iris.



Figura 40. Formación de un holograma de arco iris.

e) Hologramas de color. Si se usan varios láseres de diferentes colores tanto durante la exposición como durante la observación, se pueden lograr hologramas en color. Desgraciadamente, las técnicas usadas para llevar a cabo estos hologramas son complicadas y caras. Además, la fidelidad de los colores no es muy alta.

f) Hologramas prensados. Estos hologramas son generalmente de plano imagen o de arco iris, a fin de hacerlos observables con luz blanca ordinaria. Sin embargo, el proceso para obtenerlos es diferente. En lugar de registrarlos sobre una placa fotográfica, se usa una capa de una resina fotosensible, llamada Fotoresist, depositada sobre una placa de vidrio. Con la exposición a la luz, la placa fotográfica se ennegrece. En cambio, la capa de Fotoresist se adelgaza en esos puntos. Este adelgazamiento, sin embargo, es suficiente para difractar la luz y poder producir la imagen. Dicho de otro modo, la información en el holograma no queda grabada como un Sistema de franjas de interferencia obscuras, sino como un sistema de surcos microscópicos. La figura 41 muestra un holograma prensado.

El siguiente paso es recubrir el holograma de Fotoresist, mediante un proceso químico o por evaporación, de un metal, generalmente níquel. A continuación se separa el holograma, para que quede solamente la película metálica, con el holograma grabado en ella. El paso final es mediante un prensado con calor: imprimir este holograma grabado en la superficie del metal, sobre una película de plástico transparente. Este plástico es el holograma final.

Este proceso tiene la enorme ventaja de ser adecuado para producción de hologramas en muy grandes cantidades, pues una sola película metálica es suficiente para prensar miles de hologramas. Este tipo de hologramas es muy caro si se hace en pequeñas cantidades, pero es sumamente barato en grandes producciones.

g) Hologramas de computadora. Las franjas de interferencia que se obtienen con cualquier objeto imaginario o real se pueden calcular mediante una computadora. Una vez calculadas estas franjas, se pueden mostrar en una pantalla y luego fotografiar. Esta fotogralía sería un holograma sintético. Tiene la gran desventaja de que no es fácil representar objetos muy complicados con detalle. En cambio, la gran ventaja es que se puede representar cualquier objeto imaginario. Esta técnica se usa mucho para generar frentes de onda de una forma cualquiera, con alta precisión. Esto es muy útil en interferometría.

Fuente: http://omega.ilce.edu.mx:3000/index2.html

AIST develops 3D image projector

Japan’s National Institute of Advanced Industrial Science and Technology (AIST) has developed a device that uses lasers to project real three-dimensional images in mid-air. The institute unveiled the device on February 7 in a demonstration that showed off the device’s ability to project three-dimensional shapes of white light.

AIST developed the projector with the cooperation of Keio University and Burton Inc. (Kawasaki, Japan). Until now, projected three-dimensional imagery has been “artificial” — optical illusions that appear 3D due to the parallax difference between the eyes of the observer. Prolonged viewing of this conventional sort of 3D imagery can cause physical discomfort.

The newly developed device, however, creates “real” 3D images by using laser light, which is focused through a lens at points in space above the device, to create plasma emissions from the nitrogen and oxygen in the air at the point of focus. Because plasma emission continues for a short period of time, the device is able to create 3D images by moving the point of focus.



At the demonstration, bursts of laser light were emitted 100 times per second to form shapes in the air up to 50 cm above the device. Heat from the laser caused the air to expand, producing a crackling sound that resembled a series of tiny explosions.

At the moment, the distance at which the device can project images is limited to between 2 and 3 meters. Improved laser technology will enable images to be projected at greater distances and with more color, so we may soon see 3D images floating above our city skylines.

The chief scientist at AIST’s Photonics Research Institute says, “We believe this technology may eventually be used in applications ranging from pyrotechnics to outdoor advertising.”

Fuente: http://www.pinktentacle.com

Para los que creen en que todo se puede

Proyectos de Investigacion en Holografia y Proyeccion 3D

Estimados amigos y compañera (Teresa), los productos en fase de investigación des los cuales se acercan a la idea de desarrollar (PLV Hológrafico) encontrados al día de hoy son los siguientes:

- 3D Projection Without the Glasses

LAS VEGAS -- Perhaps the most exciting technology at Comdex this year was a 3D display that projected volumetric images into thin air, prompting show goers to gasp, burst out laughing and run around the booth in excitement.

At the back of one of the exhibit halls, Dimensional Media set up a booth full of 3D displays that projected images -- of objects such as cell phones or soda cans -- into space in front of the viewer.

The effect was not unlike the famous special effect in Star Wars where R2D2 projects a holographic display. But unlike R2D2's grainy video, the images at Comdex were often as vivid and concrete as real objects.

And unlike most other 3D displays, Dimensional Media's does not require special glasses or any kind of headgear.

"It's magic," said Anna Zharkova, an event manager from Russia, who was running around the booth like a headless chicken. "I cannot believe it. It's just magic."

Her colleague, Natasya Savina, said: "I think it is incredible. I never thought at this exhibition to see something so wondrous. Everything is quite common. But this is so new, so amazing. Next year, I would like to use it for myself so that my image can be at the booth, and I can be somewhere else."

Dimensional Media, which is based in New York, originally developed the technology for the military with funding from Defense Advanced Research Projects Agency (DARPA). The military wanted a true, volumetric 3D display that didn't require special glasses or complex electronics.

The simplest version of the technology is based on a system of mirrors and lenses. The object whose image is being projected sits inside a pedestal, which projects the object's light into space above the pedestal, where the image is reformed. The effect is as if the object itself is hovering above the pedestal's surface.

The company also demonstrated video versions of the technology, which projected video images in 3D.

The Russians played with a 3D teller-machine whose buttons floated in space in front off the viewer. To activate the system's virtual "buttons," the viewer simply pointed a finger at the image of the button. The system uses a grid of infrared lights -- similar to systems in stores that beep when a shopper enters -- to calculate the position of the viewer's finger.

Dimensional Media said its images are already starting to turn up in advertising displays at shopping malls and airports around the world, and they should become quite common this year as more and more are installed.

"We are really starting to sell these systems," said CEO Daniel Pfeffer.

Dimensional Media said the company will start testing the first volumetric 3D computer monitor early next year, which it hopes to sell to medical providers, the military and CAD/CAM companies.

Pfeffer said for the first time, the display will give viewers full "look around" of a projected image.

"I could project the image of your face and have full look-around, like you were really in front of me," he said.

As an example of its use, Pfeffer said the monitor could project X-Ray or NMR data in 3D, creating a precise image of the inside of a patient's skull and the location of, say, a tumor. The display could then overlay another image onto the patient's actual skull, showing the surgeon the exact place to cut.

"It's the most unbelievable technology," he said.

Fuente: http://www.wired.com

- The Return of the 3D Crystal Ball

A true 3D display has been a dream of many for years. Although various three-dimensional technologies have been developed in recent years, few are able to display real time 3D images and video from any angle in the same way an object would appear to us in the real world. This article will present one such technology called Perspecta and explore its current and future capabilities and uses.

Perspecta for medical use

About four years ago, I reviewed a fascinating display called the Perspecta Spatial 3-D System, which was developed by the Massachusetts-based company Actuality Systems. Perspecta is a true three-dimensional display that allows users to view moving objects from any angle with the unaided eye, simply by walking around them as you would if you were looking at real 3D objects. Perspecta consists of a rotating round white polymer screen resting on box containing software, hardware, and an optical system. Moving images that seemingly float inside a crystal ball-like structure are generated by slices of successive 2D images, rapidly projected one after another onto the screen, creating an illusion of a real 3D image.

Perspecta was first revealed to the public as a prototype in 2001 when it was only able to display still 3D images. Since then, Perspecta has come a long way and is now capable of full 768 x 768 3D video. Initially Perspecta was very expensive and, although the current version, Perspecta 1.9, still costs tens of thousands of dollars, Actuality Systems found a few specialized markets in which the benefits of real 3D technology justify this price. Among these niche markets is the medical market where the new Perspecta aids in the treatment of cancer patients receiving radiation therapy. The 3D technology enables doctors to clearly observe the path of focused radiation, thereby minimizing damage to nearby critical organs. Perspecta can also help simulate the 3D structure of complex molecules useful to both chemists and biologists, as well as in drug development. Actuality Systems also claims that it has customers in the gas and oil industry as well as the military, which is interested in Perspecta's ability to display 3D topography.

A CT scan on the Perspecta

The evolution of Perspecta hardware over the past five years has paralleled that of the commercial hardware market. Early Perspecta models used a Texas Instruments 200 MHz processor as CPU, had 16 MB of RAM, and a very early model of DDR SDRAM running at 66 MHz dedicated to graphics. Current Perspecta models are equipped with a modern AMD CPU, high end NVIDIA or ATI GPU, and a Dual Gigabit Ethernet which are used as inputs to connect to a standard PC. This huge jump in hardware capability generated a leap in performance that has made real time 3D animation on Perspecta possible.

When Actuality Systems originally launched its 3D technology, it was suggested that real 3D gaming could be applied to a Perspecta-like screen. Currently the price of the hardware is still too high and the technology remains unsuited for such applications.


Interview with Actuality Systems In an interview TFOT recently conducted with Gregg Favalora, Actuality Systems' CTO and Founder, this question was raised along with others regarding Actuality Systems' 3D technology and vision of the future.


--------------------------------------------------------------------------------

Q: What are the basic components of the Perspecta system and how do they work to create a 3D image?

The Perspecta Spatial 3D System

A: The basic components of the Perspecta System are the Spatial Visualization Environment, Core Rendering Electronics / Volume Rendering Unit, and 3D projection optics. For example, if a doctor wants to view a CT scan of a patient's heart, the application "Perspecta Medical" loads in the CT data as standard "DICOM" (Digital Imaging and Communications in Medicine) data. Proprietary-rendering algorithms in the Spatial Visualization Environment perform image processing to compute 396 (198 x 2) 2D "slices" or intersections of the data around a central vertical axis. This computation is performed on a high-end NVIDIA GPU within the Volume Rendering Unit, and the results are stored in the Core Rendering Electronics (CRE). The CRE drives three Texas Instruments DMDs (Digital Micromirror Device) at approximately 6,000 frames per second with these slices, which are projected onto a diffuse screen that rotates at 900 rpm. The result is a crisp, bright, 3D image that can be viewed from any angle.


--------------------------------------------------------------------------------

Q: When the Perspecta 3D display was first introduced around 2002, one of your biggest concerns was the device's refresh rate (then around 24 Hz). What is the current status of this issue with current Perspecta models and what should we expect in 2-3 years?
A: The refresh rate has improved from 24 Hz to the current 30 Hz in Perspecta 1.9, which was accomplished by increasing the screen's rotational rate to 900 rpm. Perspecta 1.9 is still a prototype. Within the next 2 years, we anticipate releasing Perspecta 2.0, with a refresh rate of 42 Hz. This improvement entailed a significant optical and mechanical system redesign. The dome and optical assembly have been replaced with one that should have extraordinary image quality. Perspecta 1.9 has very little flicker; in most images it is barely perceptible. However, we want to do even better, so Perspecta 2.0's refresh of approximately 42 Hz should look fantastic. It is worth noting in this context that CRTs require a much higher refresh rate than volumetric displays. We have built 3D displays at 20 Hz that exhibited no flicker.

Q: The original Perspecta used a 200 MHz Texas Instruments processor and had a very weak graphic processor by today's standards. Where do you stand today in terms of CPU & GPU power and how important is the strength of the hardware in general to the continued improvement of your technology?

A: Perspecta 1.9's graphics performance absolutely flies. Whereas the original Perspecta took 45 minutes to position, scale, and render a medical CAT scan, today's Perspecta can show 4D (animated) CAT scans of breathing lungs at approximately 4 volumes per second! This is an extraordinary performance improvement. In the last two months alone, performance increased by 270%.

We use an NVIDIA graphics card and a custom embedded "voxel router" in our CRE to achieve this. It's easy for the customer, too, because now Perspecta is a network device. It connects to a Windows XP PC using Gigabit Ethernet. This performance is important because it allows our medical collaborators at major hospitals to perform cancer treatment planning and review, interactively. We are working with Chicago's Rush University Medical Center and Philips Medical Systems to improve the accuracy and effectiveness of radiation oncology. (Of the one million Americans treated each year for cancer, 2/3 receive radiation therapy.) In Perspecta, the doctors can position and check multiple radiation beams as they intersect on tumors in the brain, chest, or prostate. We are beginning a large pre-clinical trial this month at three institutions.

: Would you describe how your company focus has changed since 2002 and what about the possibility of a gaming-oriented 3D display that you suggested at the time?
A: Like many development-stage companies, our strategy has evolved over the years. For example, we are focused on more than displays - we develop application software and entire solutions for medical and petroleum-industry applications. We use our Visualization Analysis Platform (VISAP) to: load 3D medical data, integrate it with existing (e.g., Philips) therapy systems, and then review and change treatment.

We are developing additional technology for the entertainment and medical diagnostic industries. I cannot say much about it at this stage, but we are working on exciting, hologram-like displays for the desktop and arcade. They are very different from the Perspecta display.

Q: Recently you added the ability to use Perspecta as a multi-touch screen. Would you briefly describe this new feature?

A: The University of Toronto published an award-winning paper that created the first volumetric GUI for MCAD (mechanical computer-aided design).

Our PerspectaRad medical imaging system includes a "virtual ruler" directed by a SensAble Phantom 3D haptic mouse. Doctors can click and drag within the anatomy, and measurements float within the 3D display.

Fuente: http://www.tfot.info

Toda aquella información sobre este tema en concretó o relacionado con el mismo que me puedan aportar, me ayudara a desarrollar una mejor propuesta de investigación