Kijken doe je met je vingers!

Op dit moment vindt er een interessante verschuiving plaats wat betreft de manier van input leveren op een systeem. Nu gebeurt de meeste invoer nog met toetsenbord + muis, maar wat nu sterk in opkomst is, is dat je objecten van een systeem direct kan manipuleren met je handen. Je ziet dit terug in systemen waarin je virtuele objecten kan aanraken, bewegen, draaien etc. Veel van deze input wordt gedaan door middel van “gestures”, ofwel “gebaren”. Bijvoorbeeld het sluiten van een applicatie door een kruis te tekenen, of 1 stap terug in je browser door een pijl naar links te tekenen. Erg leuke ontwikkelingen.

De meeste hype op dit moment is rondom multi-touch mogelijkheden. Toch is het idee zeker niet nieuw; een eerste apparaat dat deze mogelijkheden ondersteunt stamt uit 1982 en is afkomstig van de universiteit van Toronto. Wel bijzonder dat we 25 jaar later dit pas terug zien in commerciele producten.

De echte hype is voornamelijk begonnen na het meemaken van de presentatie van Jeff Han. Om te zien waar dit toe zal leiden heb ik de huidige mogelijkheden om virtuele objecten met je handen te bedienen eens op een rijtje gezet.

Per mogelijkheid een link naar het apparaat in actie

  • Microsoft Surface
    Dit op een salontafel lijkende apparaat kan objecten herkennen door middel van camera’s. Bijvoorbeeld wanneer je je telefoon op de tafel legt, zullen de foto’s die op je telefoon staan op het tafelblad getoond worden. Met de foto’s kunnen verschillende dingen gedaan worden, bijvoorbeeld beetpakken, verslepen en zoomen.
  • MPX
    Dit is een open source tegenhanger van MS Surface
  • IPhone
    Hierin is erg goed gebruik gemaakt van multi point touch, gestures en is er een speciale interface ontwikkeld voor de bediening met je vingers. Er zit een geïntegreerde bewegingscensor zodat je browser bijvoorbeeld automatisch op landscape gaat als je ‘m horizontaal houdt
  • HTC Touch
    Tegenhanger van de IPhone, maar met een geheel andere interface.
  • NVIDIA Tegra
    Deze chip van NVIDIA is zo groot als een euro, maar in staat om HD en 3D beelden uit te spugen tegen een zeer laag stroomverbruik. Dit gaan we zeker terug vinden in moderne mobieltjes, uiteraard weer met touch ondersteuning.
  • Eyetoy
    Met deze camera is 3D manipulatie van objecten mogelijk.
  • Touch wall
    Met dit apparaat kan elk mogelijk oppervlak in een touchscreen verandert worden. Het werkt op basis van een grid met lasers die detecteren of de straal onderbroken wordt. De verwachtte marktprijs is iets meer dan 100 dollar.

Voor developers leveren deze nieuwe mogelijkheden tal van nieuwe uitdagingen. Input is nu niet meer serieel maar veelal parallel. Er moeten dan 2 of meer vingers parallel verwerkt worden, in plaats van 1 muispointer. Daarnaast moet een “gesture” herkend worden. Dat alles bij elkaar is een stuk lastiger dan afhandelen dat een toets wordt ingedrukt.

Een ander aspect is dat de interface veelal vector-based moet zijn, bijvoorbeeld om eindeloos inzoomen mogelijk te maken. Hierdoor worden andere interfaces mogelijk. Denk bijvoorbeeld aan een presentatie waarin je alle informatie (gegroepeerd) in 1 scherm laat zien, waarbij je de vakken vergroot waar je iets over wil vertellen. Zo hoef je niet lineair door je verhaal heen te gaan, wat bijvoorbeeld bij de huidige powerpoint presentaties nog wel het geval is. Deze manier van presenteren is ook terug te vinden in de Touch wall demo.

Doorgetrokken naar business applicaties brengt dit ook interessante mogelijkheden met zich mee. Wanneer alle schermen van een applicatie gelijk bij de start zichtbaar zijn en je alleen maar hoeft te zoomen naar een scherm waar je op wil invoeren, dan zal het wegwijs worden in de applicatie vele malen sneller gaan dan nu het geval is.

Maar gaat dit het toetsenbord met muis helemaal vervangen? Je vingers zijn wel minder precies dan de muis, maar dat kan eventueel opgevangen worden met een digitale pen. Daarnaast zie je dat de nieuwe touch interfaces gemaakt worden met vingers in het achterhoofd door grotere knoppen te gebruiken. Voor tekst invoeren zou je naast een gewoon toetsenbord kunnen denken aan een virtueel toetsenbord, of handschriftherkenning op een touchscreen. Een setup die volgens mij heel goed kan werken is een buro met 2 schermen: 1 liggend op de plek van je toetsenbord, en 1 op de plaats van je monitor. Op het liggende scherm kan je dan je gestures en andere invoer doen, en de monitor dan meer gebruiken voor leeswerk.

Microsoft en Apple zetten alvast breed in op dit principe. Zowel windows 7 als windows mobile 7 worden rondom touch opgebouwd, en Apple biedt al ondersteuning in hun nieuwe macbooks, iphones / ipods. De visie van microsoft is ook dat alle bestaande apparaten uitgerust kunnen worden met een touch interface, op een soortgelijke manier als de touch wall (dus ook betaalbaar).

Als je zelf alvast aan de slag wil met gestures op je mobiele telefoon, kijk dan hier eens: http://www.codeproject.com/KB/mobile/MouseGestures.aspx

Ik ben benieuwd was voor uitwerking dit alles zal hebben op toekomstige interfaces van business applicaties!