play my face

Interactive sound installation, 2012

PHOTO ◹

play my face, by Michel Winterberg is an interactive sound installation, with four speakers, an iMac, Mac mini and video camera.
Exhibited during the Open House on January 13 and 14, 2012 at the Institute HyperWerk HGK FHNW Basel.

With its eyes, the machine watches and follows the recipient. It interprets the facial expressions and transforms them into soundscapes. Once the recipient opens her mouth, she will hear sounds. These are modulated e. g. through opening the mouth wide or not so wide, and also through the position and slow movement of the head. The spatial effect of six different soundscapes is deepened through the quadraphonic speaker configuration. The recipient herself turns into a communicator observed. She and the machine can look each other in the eyes – «the eye as a mirror of the soul».

play my face, von Michel Winterberg ist eine interaktive Toninstallation, mit vier Lautsprechern und einem iMac, Mac mini und einer Kamera.
Ausgestellt während dem Open House am 13. und 14. Januar 2012 im Institut HyperWerk HGK FHNW Basel.

Die Maschine beobachtet und verfolgt «mit ihren Augen» den Rezipienten, interpretiert dessen Mimik und wandelt sie in Klanglandschaften um. Sobald der Rezipient den Mund öffnet, ertönen Klänge. Sie werden unter anderem mit der Höhe und Breite der Mundöffnung sowie der Position und der langsamen Neigung des Kopfes moduliert. Die Raumwirkung der sechs verschiedenen Klanglandschaften wird durch die quadrophonische Lautsprecheranordnung vertieft. Der Rezipient selbst wird so zum beobachteten Kommunikator. Er und die Maschine schauen sich gegenseitig in die Augen – «das Auge als Spiegel der Seele».

Conception, sound, Max MSP Jitter-programming: Michel Winterberg ©

Camera and Editing: Gabriel Wolf
Sound: Michel Winterberg
Recipient: Daniela Vieli

Team:
Video textures: Eliane Gerber and Felicia Schäfer
Open Frameworks: Adrian Demleitner

Thanks to:
Institute Kunst HGK FHNW Basel
Institute HyperWerk HGK FHNW Basel
Jason Saragih, FaceTracker, www.jsaragih.com
Kyle McDonald, FaceOSC, www.kylemcdonald.net