Kijken doe je met je vingers!

 
05 juni 2008

Op dit moment vindt er een interessante verschuiving plaats wat betreft de manier van input leveren op een systeem. Nu gebeurt de meeste invoer nog met toetsenbord + muis, maar wat nu sterk in opkomst is, is dat je objecten van een systeem direct kan manipuleren met je handen. Je ziet dit terug in systemen waarin je virtuele objecten kan aanraken, bewegen, draaien etc. Veel van deze input wordt gedaan door middel van “gestures”, ofwel “gebaren”. Bijvoorbeeld het sluiten van een applicatie door een kruis te tekenen, of 1 stap terug in je browser door een pijl naar links te tekenen. Erg leuke ontwikkelingen.

De meeste hype op dit moment is rondom multi-touch mogelijkheden. Toch is het idee zeker niet nieuw; een eerste apparaat dat deze mogelijkheden ondersteunt stamt uit 1982 en is afkomstig van de universiteit van Toronto. Wel bijzonder dat we 25 jaar later dit pas terug zien in commerciele producten.

De echte hype is voornamelijk begonnen na het meemaken van de presentatie van Jeff Han. Om te zien waar dit toe zal leiden heb ik de huidige mogelijkheden om virtuele objecten met je handen te bedienen eens op een rijtje gezet.

Per mogelijkheid een link naar het apparaat in actie

  • Microsoft Surface
    Dit op een salontafel lijkende apparaat kan objecten herkennen door middel van camera’s. Bijvoorbeeld wanneer je je telefoon op de tafel legt, zullen de foto’s die op je telefoon staan op het tafelblad getoond worden. Met de foto’s kunnen verschillende dingen gedaan worden, bijvoorbeeld beetpakken, verslepen en zoomen.
  • MPX
    Dit is een open source tegenhanger van MS Surface
  • IPhone
    Hierin is erg goed gebruik gemaakt van multi point touch, gestures en is er een speciale interface ontwikkeld voor de bediening met je vingers. Er zit een geïntegreerde bewegingscensor zodat je browser bijvoorbeeld automatisch op landscape gaat als je ‘m horizontaal houdt
  • HTC Touch
    Tegenhanger van de IPhone, maar met een geheel andere interface.
  • NVIDIA Tegra
    Deze chip van NVIDIA is zo groot als een euro, maar in staat om HD en 3D beelden uit te spugen tegen een zeer laag stroomverbruik. Dit gaan we zeker terug vinden in moderne mobieltjes, uiteraard weer met touch ondersteuning.
  • Eyetoy
    Met deze camera is 3D manipulatie van objecten mogelijk.
  • Touch wall
    Met dit apparaat kan elk mogelijk oppervlak in een touchscreen verandert worden. Het werkt op basis van een grid met lasers die detecteren of de straal onderbroken wordt. De verwachtte marktprijs is iets meer dan 100 dollar.

Voor developers leveren deze nieuwe mogelijkheden tal van nieuwe uitdagingen. Input is nu niet meer serieel maar veelal parallel. Er moeten dan 2 of meer vingers parallel verwerkt worden, in plaats van 1 muispointer. Daarnaast moet een “gesture” herkend worden. Dat alles bij elkaar is een stuk lastiger dan afhandelen dat een toets wordt ingedrukt.

Een ander aspect is dat de interface veelal vector-based moet zijn, bijvoorbeeld om eindeloos inzoomen mogelijk te maken. Hierdoor worden andere interfaces mogelijk. Denk bijvoorbeeld aan een presentatie waarin je alle informatie (gegroepeerd) in 1 scherm laat zien, waarbij je de vakken vergroot waar je iets over wil vertellen. Zo hoef je niet lineair door je verhaal heen te gaan, wat bijvoorbeeld bij de huidige powerpoint presentaties nog wel het geval is. Deze manier van presenteren is ook terug te vinden in de Touch wall demo.

Doorgetrokken naar business applicaties brengt dit ook interessante mogelijkheden met zich mee. Wanneer alle schermen van een applicatie gelijk bij de start zichtbaar zijn en je alleen maar hoeft te zoomen naar een scherm waar je op wil invoeren, dan zal het wegwijs worden in de applicatie vele malen sneller gaan dan nu het geval is.

Maar gaat dit het toetsenbord met muis helemaal vervangen? Je vingers zijn wel minder precies dan de muis, maar dat kan eventueel opgevangen worden met een digitale pen. Daarnaast zie je dat de nieuwe touch interfaces gemaakt worden met vingers in het achterhoofd door grotere knoppen te gebruiken. Voor tekst invoeren zou je naast een gewoon toetsenbord kunnen denken aan een virtueel toetsenbord, of handschriftherkenning op een touchscreen. Een setup die volgens mij heel goed kan werken is een buro met 2 schermen: 1 liggend op de plek van je toetsenbord, en 1 op de plaats van je monitor. Op het liggende scherm kan je dan je gestures en andere invoer doen, en de monitor dan meer gebruiken voor leeswerk.

Microsoft en Apple zetten alvast breed in op dit principe. Zowel windows 7 als windows mobile 7 worden rondom touch opgebouwd, en Apple biedt al ondersteuning in hun nieuwe macbooks, iphones / ipods. De visie van microsoft is ook dat alle bestaande apparaten uitgerust kunnen worden met een touch interface, op een soortgelijke manier als de touch wall (dus ook betaalbaar).

Als je zelf alvast aan de slag wil met gestures op je mobiele telefoon, kijk dan hier eens: http://www.codeproject.com/KB/mobile/MouseGestures.aspx

Ik ben benieuwd was voor uitwerking dit alles zal hebben op toekomstige interfaces van business applicaties!


Werken met ?
Kijk dan bij onze mogelijkheden voor starters en/of ervaren IT'ers.


Categorieën: Development

Tags: ,


Reacties (6)

  • Vanmiddag in de trein heb ik een interessant artikel gelezen in het Psychologie magazine van mijn vriendin : dat ging er over dat we tijdens onze slaap en wanneer we aan het dromen zijn, dat we dus helemaal niet meer logisch nadenken en sterk associatief denken. Op die manier kunnen we in onze dromen op nieuwe ideeën komen. Dat kan met behulp van Droomincubatie. Je kunt je dromen dus zien als een soort brainstormproces, maar dan de advanced class. Erg interessant allemaal en ik ga het uitproberen!

    Geplaatst op 06 juli 2008 om 23:30 Permalink

  • Jasper Floor schreef:

    Er wordt al jaren gesproken over een revolutie in user interface maar het komt maar matig op gang. De muis is eerder uitzonderlijk omdat het zo snel ingeburgerd is, de meeste technologieen hebben uberhaupt 30 jaar nodig om een beetje de consument te bereiken.

    Kennis is er veelal wel maar wat er vaak mist is de wil om het te implementeren op de juiste manier. Daar komt bij dat mensen zelf ook conservatief zijn. Mensen zijn niet happig om nieuwe dingen te leren.

    Ik ga niet mijn adem inhouden voor de nieuwe interface mogelijkheden. Persoonlijk denk ik dat de muis wel vervangen zal worden door beweging danwel door touch danwel door cameras. De keyboard zal echter de hoofd input blijven leveren voor mensen die iets met woorden/symbolen willen doen.

    Toch is het aan ons om de eerste stap te zetten. Als experts zijn wij beter in staat om nieuwe dingen uit te proberen en te omarmen dan wel verwerpen. Dus ga aan de slag en zorg er voor dat je computer thuis voledig geoptimaliseerd wordt op user interface…en gooi alles af en toe om, anders wordt je er lui van.

    Geplaatst op 25 juni 2008 om 10:09 Permalink

  • Ivo Limmen schreef:

    @Bert-Jan Diedering misschien niet bijzonder voor jou. Een goed idee hoeft ook niet super nieuw te zijn. Guitar Hero vind ik een goed voorbeeld van een goede interface.

    Geplaatst op 06 juni 2008 om 12:07 Permalink

  • Kijk dat is nog eens innovatie :-) Interessant artikel Stefan! Minority Report wordt gewoon realiteit! Die auto’s die aansluiten in een ketting van auto’s en dat je niets hoeft te doen zijn we ook al dichtbij : denk aan adaptieve cruisecontrol wat André heeft.

    @Ivo : Guitar hero is toch niet zo bijzonder? Volgens mij had de ps2 dat ook al…

    Geplaatst op 06 juni 2008 om 10:16 Permalink

  • Ivo Limmen schreef:

    Eigenlijk hoort de Wii hier ook tussen. Het is dan wel maar een game console maar de interactie met het apparaat is leuk en uniek dat niet alleen jongeren er mee spelen.
    Ik heb er sinds afgelopen weekend ook een. Inclusief pistool, WiiFit & Guitar Hero. Guitar Hero is echt een mooi voorbeeld van moderne interactie, niks geen knoppen gewoon een bijna echt gitaar.
    Er gaat op de Wii echter nog meer gebeuren op interactie gebied. Electronic Arts komt, als het goed is, dit jaar uit met een spel voor de Wii die nog realistischer 3D heeft dan andere spellen. Dit komt door een hacker die met een Wii heeft lopen spelen. Hij is zelfs op de TED geweest om er over te praten (en demoen).

    Ik denk dat we over 10 jaar geheel anders met computers omgaan. En het word alleen maar leuker, makkelijker en intuïtiever.

    Geplaatst op 05 juni 2008 om 11:34 Permalink

  • Sjors Miltenburg schreef:

    Misschien eentje extra voor in de lijst?

    ken je de philips entertaible al?
    http://www.youtube.com/watch?v=SD9HXRWIHPw

    Geplaatst op 05 juni 2008 om 11:01 Permalink