Optical Tracking - From User Motion To 3D Interaction
No Thumbnail Available
Files
Date
Dec 2002
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Dorfmüller - Ulhaas
Text.PhDThesis
Abstract
Das Verfolgen von Benutzerbewegungen ist eine der grundlegenden Aufgaben, die von jedem System für Virtual Reality (VR) bereitgestellt werden muß. Es sind unterschiedliche Methoden bekannt, wie diese Verfolgung durchgeführt werden kann. Gebrächliche Trackingsysteme verwenden magnetische oder Ultraschall-Sensoren in verschiedensten Varianten sowie mechanische Hilfsmittel. Allerdings weist jedes dieser Syteme Nachteile auf, die in ihrem Funktionsprinzip begründet sind. Fast alle Techniken erfordern eine Verbindung des Benutzers mit einer Meßstation, entweder durch Kabel oder, was den Benutzer noch mehr in seiner Bewegung einschränkt, durch eine mechanische Verbindung. Während mechanische Systeme außerordentlich präzise arbeiten, werden magnetische und akkustische Trackingsysteme von unterschiedlichen Störquellen beeinflusst. Aus diesem Grund wurde ein optisches Trackingsystem entwickelt, das nicht die bekannten Nachteile konventioneller Syteme aufweist. Diese Arbeit konzentriert sich auf die Verwendung stereoskopischer Trackingverfahren, die unter anderem sehr effektiv die Genauigkeit optisch basierter Systeme verbessern. Auf Computer-Vision basierte Tracker ermöglichen im allgemeinen eine kabellose 3D-Interaktion. Zudem ist das vorgestellte System aufgrund der Verwendung von Standard-Sensor-Technologie sehr wirtschaftlich. Das beschriebene Trackingsystem bietet eine Genauigkeit im Submillimeterbereich und erfüllt somit die Anforderung der meisten VR-Anwendungen. Der beschriebene optische Tracker arbeitet mit langwelligem Licht und basiert auf der Verfolgung reflektierender Kugeln, die mit infrarotem Licht beleuchtet werden. Der verwendete Wellenlängenbereich ermöglicht, dass die Wahrnehmung des Benutzers von einer virtuellen Szene bei Verwendung von projektionsbasierten Ausgabegeräten und gedämpftem Licht nicht gestört wird. Im Gegensatz zu kommerziellen Systemen arbeitet das Ergebnis dieser Forschungsarbeit in Echtzeit. Desweiteren können mit dem vorgestellten System sehr kleine Kameras verwendet werden, so dass es für inside-out Trackingaufgaben anwendbar ist. Diese Arbeit zeigt neue Ansätze für die Kalibrierung einer stereoskopischen Kameraanordnung auf. Verwendet werden gebrächliche Kalibrationsgeräte kommerzieller optischer Systeme aus der Computeranimation, aber im Gegensatz zu den heutzutage zur Verfügung stehenden Kalibrierungsverfahren werden hier interne und externe Kameraparameter gleichzeitig kalibriert, was auch die Linsenverzeichnung mit einschließt. Diese Kalibrierung ist einfach anzuwenden und arbeitet schnell und präzise. Um eine hohe Zuverlässigkeit zu bieten, die von den meisten VR-Anwendungen vorausgesetzt wird, muss die menschliche Bewegung über die Zeit hinweg beobachtet werden. Das geschieht häfig mithilfe eines Kalmanfilters, wodurch eine Vorhersage der Bewegung ermöglicht wird. Dies erhöht nicht nur die Frequenz des Trackingsystems, sondern gleicht auch Verzögerungen bei der Darstellung komplexer virtueller Szenen oder Verzögerungen bei der Datenkommunikation aus. Eine neue Formulierung der Filtergleichungen wird vorgestellt, die auch für nicht-optisch arbeitende Tracker einsetztbar ist und die Lage eines Objektes mit sechs Freiheitsgraden bestimmt. Schließlich folgen einige Ausführungen zur Verfolgung einer Bewegung auf der Grundlage von natürlichen Merkmalen, wobei das vorgestellte Verfahren die Konturen eines Objektes verfolgt. Erste experimentelle Ergebnisse einer Implementierung zum Erkennen einer menschlichen Zeigegeste in Umgebungen mit unterschiedlichen Lichtverhältnissen und Hintergründen werden vorgestellt. Perspektiven werden aufgezeigt, wie diese Methode auf dreidimensionales modellbasiertes Hand- Tracking mithilfe stereoskopischen Sehens ausgeweitet werden kann. - Tracking user movements is one of the major low-level tasks which every Virtual Reality (VR) system needs to fulfill. There are different methods how this tracking may be performed. Common tracking systems use magnetic or ultrasonic trackers in different variations as well as mechanical devices. All of these systems have drawbacks which are caused by their principles of work. Typically, the user has to be linked to a measurement instrument, either by cable or, even more restraining for the user, by a mechanical linkage. Furthermore, while mechanical tracking systems are extremely precise, magnetic and acoustic tracking systems suffer from different sources of distortions. For this reason, an optical tracking system has been developed which overcomes many of the drawbacks of conventional tracking systems. This work is focused on stereoscopic tracking that provides an effective way to enhance the accuracy of optical based trackers. Vision based trackers in general facilitate wireless interaction with 3D worlds for the users of a virtual reality system. Additionally, the proposed tracker is very economic through the use of standard sensor technology that will furthermore reduce cost. The proposed tracker provides an accuracy in the range of sub-millimeters, thus it meets the requirements of most virtual reality applications. The presented optical tracker works with low frequency light and is based on retro-reflective sphere shaped markers illuminated with infrared light to not interfere with the user s perception of a virtual scene on projection based display technology systems in environments with dim light. In contrast to commercial optical tracking systems, the outcome of this work is operating in real-time. Furthermore, the presented sytem can make use of very small cameras to be applicable for inside-out tracking. This work presents novel approaches to calibrate a stereoscopic camera setup. It utilizes the standard equipment used for commercial optical trackers in computer animation, but contrarily to calibration methods available today, it calibrates internal and external camera parameters simultaneously, including lens distortion parameters. The calibration is very easy to use, fast and precise. To provide the robustness required by most virtual reality applications, human motion needs to be tracked over time. This has been often done with a Kalman filter facilitating a prediction of motion which may not only enhance the frequency of the tracking system, but may also cope with display lags of complex virtual scenes or with acquisition or communication delays. A new filter formulation is presented that may also be used with non-optical based trackers providing the pose of an object with six degrees of freedom. Finally, some extensions to natural landmark tracking are presented using a contour tracking approach. First experimental results of an early implementation are shown, detecting a human pointing gesture in environments with different lighting conditions and backgrounds. Perspectives are given how this method could be extended to 3D model based hand tracking using stereoscopic vision.
Description