El contrapunto[6] nos ofrece un universo de análisis para desarrollar y potenciar las posibilidades de la imagen en multipantallas, a lo largo de mi trabajo con este formato y de la colaboración con compositores clásicos y electroacústicos puedo ver cómo mis storyboards son más comprensibles sobre partituras musicales, y encuentro que muchos directores ya los dibujaban así.

La técnica polifónica de la que se aprovecha el contrapunto es una serie de alteraciones matemáticas a un juego de cuatro instrumentos o de dos voces por ejemplo. Los resultados son variaciones que cubren las ejecuciones libres, las imitativas, el canon, la fuga y posteriormente el Jazz.

Aunque este es un tema muy apasionante sería muy largo de desarrollar en este trabajo, pero está bien anotar que aquel lienzo incesante que mencioné anteriormente es la figura del contrapunto, que evoluciona entrelazando varias composiciones de manera horizontal, un trabajo que además de técnicamente arduo requiere mirar hacia el horizonte y no sólo al punto de corte inmediato, que sería una disección de la trenza de relatos para conseguir la más fácil armonía.

Por Carlos Talaga. 2007/08

This work is licensed under a Creative Commons Attribution-Noncommercial-No Derivative Works 2.5 Spain License.

———–

[6] El término contrapunto se refiere a una parte de la teoría musical que estudia la técnica que se utiliza para componer música polifónica mediante el enlace de dos o más melodías (también denominadas voces o líneas) independientes que se escuchan simultáneamente. El término contrapunto deriva de “punctum contra punctum”,”nota contra nota” o “melodía contra melodía” y por sí mismo describe el pasaje musical consistente en dos ó más líneas melódicas que suenan simultáneamente. En el canto gregoriano de la Edad Media las notas se escribían como puntos o “puncta”.

Sabios Animales Nostálgicos – Performance
Carlos Tálaga – 2006

Sabios Animales Nostálgicos es una performance donde el performer establece un diálogo en tiempo real con un dispositivo de programación (patch), para crear un espectáculo de cinema.

Los relatos tratan sobre la vida de diferentes mujeres que son la misma mujer, enfrentada a la soledad, el tedio, la deriva y la angustia. Cada relato es una pieza de video fragmentada en decenas de segmentos, cada uno con una capacidad simbólica. De esta manera el dispositivo digital se alimenta de más de quinientos fragmentos de video que se mezclan en tres pantallas, las dos extremas controladas por el patch y la central, que es el eje de la mirada, controlada por el performer. El relato final es un producto aparentemente inconexo, sin embargo en el proceso de guión las historias han sido escritas precisamente para adecuarse a la mezcla en tiempo real y tanto en la duración breve de los segmentos así como en la ausencia de diálogos y sonido incidental se evidencia el propósito para el que fueron creados.

En el diagrama podemos ver el flujo de los datos del patch en relación al performer. Un estímulo externo genera dos imágenes en el extremo, procedentes de la misma selección de videos pero programadas para no coincidir, y el performer elige de un conjunto propio la imagen que aparecerá en el centro y dará sentido al relato que se está presentando al público.

Sabios Animales Nostálgicos – Flujograma de decisiones

Carlos Talaga – 2005

Un caso que pone en evidencia el sentido de estas experiencias respecto a lo que el público finalmente percibe lo encontramos comparando “Sabios Animales Nostálgicos” con “The Tulse Lupper Suitcases” de Peter Greenaway, donde es el autor quien controla directamente las tres pantallas sin la intervención del código. La reflexión es que finalmente el público no percibe en el resultado final la diferencia en el origen de estas imágenes.

Este es un tema que estoy trabajando y documentando con casos específicos pues es tal vez el más grande de los retos para los artistas digitales, y es determinar qué tanto de estas creaciones pueden existir sin ser explicadas.

The Tulse Lupper Suitcases – Montaje en tiempo real

Peter Greenaway y DJ Radar

Retomaremos el ejemplo de Petimento de Dennis Del Favero para centrarnos en la historia detrás del dispositivo técnico.

“La historia reconstruye los acontecimientos que conducen al descubrimiento de un cuerpo descompuesto y no identificado en las cercanías de Sydney. Después del descubrimiento arrestan a un hermano y a una hermana, que están implicados incestuosamente y se acusan mutuamente de asesinar a su padre.”

Pentimento
Dennis Del Favero
2002
Video instalación interactiva

El guión del relato tiene 7 versiones y cada una de ellas es completamente creíble, una donde la hermana es culpable y otra donde es inocente, así mismo dos para el caso del hermano y dos para el padre, y la séptima es el punto de vista del cuarto octagonal donde sucede todo.

La presentación puede ocurrir con o sin la intervención física del espectador (cuenta con un sistema de detección de movimientos). Los puntos de vista (versiones) son como capas, y el verdadero potencial narrativo del sistema surge cuando estas capas son estimuladas y presentadas a la vez.

En este punto marcamos una característica de Pentimento, y es que aquí el usuario puede tener un papel activo en cuanto a activar las capas pero no en cuanto a modificar a conveniencia la historia.

En la instalación “Conversations” se usa una tecnología más avanzada que permite la inmersión de usuarios simultáneos en el relato, teniendo la capacidad de participar de los recuerdos de los personajes, y pudiendo presenciar los sucesos determinantes del curso de la narración al tiempo que viajan en este universo tridimensional interactuando con los otros viajantes, comentando y siendo partícipes del paisaje sobre el que van ocurriendo los acontecimientos.

Conversations
Dennis Del Favero, Ross Gibson, Ian Howard, Jeffrey Shaw
2004-06
Entorno Virtual Distribuido Multi-Usuario

Universidad de Sydney, Universidad Tecnológica de Sydney y el ZKM Centre for Art and Media de Alemania.

En “Conversations” el guión tiene un giro a lo que hemos visto y es que probablemente se escribe sobre una línea de tiempo similar a la usada en la programación visual de software multimedia. Escribir sobre una línea de tiempo sería como pintar sobre un lienzo que discurre incesantemente frente a nosotros.

En el entorno multimodal de “Conversations” se narran los acontecimientos relacionados con el escape, recaptura, juicio y ahorcamiento de Ronald Ryan, ocurrido en 1967. Ryan fue la última persona ejecutada en Australia.

Eija-Liisa Athila y Isaac Julien son dos autores que trabajan el relato en multipantallas, lo hacen guionizando historias que se sincronizan visualmente, es decir que tal como vemos en el ejemplo de “Consolation Service”, existe una relación entre la acción del cuadro izquierdo y lo que se muestra en el izquierdo (sonido e imagen de la cerradura, el personaje fija su atención).

Eija-Liisa Athila
Consolation Service
1999
Video proyección de dos canales en DVD
Color, sonido
23:40 min

Isaac Julien
Baltimore
2003
16mm / DVD Transfer
Blanco & Negro / Color Transfer, Sound
11 mins

Consolation Service y Baltimore son piezas de formato análogo, usan DVDs sincronizados para generar la sensación de simultaneidad en las pantallas, no cambian, están totalmente anticipadas desde su creación y el ejercicio narrativo se limita aquí al estudio del formato y su impacto estético.

En el cine ya no son las lentes las que determinan los avances más esperanzadores y revolucionarios, el código abre un camino de investigación para el dispositivo de montaje, proyección, manipulación y distorsión de la imagen.

La perspectiva es una forma de representar la realidad y evolucionó desde las cajas de Durero. También hubo un momento en que las técnicas tradicionales de la perspectiva no fueron suficientes para mostrar enfoques exigidos por una nueva capacidad conceptual de la visión, y entonces aparecieron los lentes, que inicialmente fueron vistos como artilugio científico más que artístico, pero que luego demostraron al igual que la perspectiva tener un valor que trasciende en los resultados y hace desaparecer de vista su función mecánica.

La perspectiva o los lentes son la ejecución práctica de ideas y conceptos filosóficos, teológicos e intrínsecos al ansia de ver más en una sola mirada, de entender en una observación significados subcutáneos que no se saben explicar o proponer claramente hasta que una prótesis óptica ayuda a entender que los puntos de fuga además de converger pueden curvarse y engañar hasta que una situación imposible parezca totalmente normal.

¿Cuánto tiempo toma a las sociedades la asimilación de estas nuevas formas de ver? Pensemos en el siglo que le tomó a la imprenta desde el punto de vista del lenguaje, y comparémoslo con la vertiginosa adaptación que tenemos para las imágenes, un día son nuevas y al siguiente nos parece que hubiesen existido toda la vida.

Herramientas de dibujo en perspectiva

El código es como las cajas de Durero y los lentes de Vermeer, pero también es como la fórmula de la expresión asociativa de los colores para los impresionistas, un modelo mental es un código, una forma de crear sin abandonarse a la subjetividad total de las emociones.

El código permite generar un nuevo narrador, un ente digital programado con reglas y patrones de comportamiento, dotado de características de inteligencia artificial y actuando sobre dispositivos de hardware y aparatos mecánicos. El código además permite la creación y el diálogo con otro narrador que puede cumplir la función de performer, proyeccionista o pantalla (display).

La obra “Variable Montage” aporta un ejemplo de instalación donde el ejecutante es la base de datos y el artista se ha limitado a programar los comportamientos. Marc Lafia y Didi Fire trabajan el montaje como una construcción de múltiples posibilidades, Seleccionan 27 fotogramas de un filme ruso, y los ordenan en 5 segmentos que se van permutando de manera variable en tres ventanas dentro del mismo monitor.

Variable Montage – (Captura de pantalla)

Marc Lafia y Didi Fire - 2002

Video digital – Software Quicktime Video, patch de MAX/MSP

Cada uno de los cinco segmentos está asociado a una pequeña frase de la Novena Sinfonía de Mahler y estos segmentos sonoros se alteran en tono, frecuencia, alternancia y superposición de acuerdo al ordenamiento y velocidad de las imágenes.

La consecuencia de este montaje es la sorpresa, la deformación, choque y ambigüedad propias del código, al cual no podemos considerar como autor pues más bien actúa como un narrador que lee frases de un guión a su libre albedrío.

También puede analizarse el código como un instrumento de proyección que además de la función de proyectar el filme hace más, pues ha recibido instrucciones para mostrar, detener, seleccionar y en concreto componer una película multipantalla.

Cae entonces la sospecha sobre las instrucciones que tiene ese código y finalmente la rigidez de las mismas que enmarcaría las múltiples posibilidades en un cerco limitado de acciones monótonas y previsibles para el espectador paciente y aguzado. Sin embargo la naturaleza misma del código le compele a ser variable y a regenerar las formulas que recibe para otorgar a los resultados ese carácter de lo imprevisible que es intrínseco a lo humano.

Variable Montage – (Captura de pantalla donde se aprecia el patch de MAX/MSP)

Marc Lafia y Didi Fire - 2002

Video digital – Software Quicktime Video, patch de MAX/MSP

El software contribuye a esta libertad de experimentación pues permite “simular” experiencias sensitivas, crear entornos visuales que aportan nuevas palabras y expresiones al lenguaje de la imagen.

Daniel Shiffman es un artista digital y profesor en el ITP (Interactive Telecommunications Program) Tisch School of the Arts – NY University. En su obra Run Lola, Run hecha en colaboración con Chris Kairallas se apropia de la película del mismo nombre para dividirla en fotogramas, con la connotación de que cada fotograma (60×32 píxeles) es la película completa en una escala temporal de un segundo respecto al anterior y al siguiente fotograma, de tal manera que al centrar nuestra mirada en uno solo de ellos logramos ver la película completa, pero también lo lograríamos si nuestra mirada leyera ordenadamente en la sucesión de monitores, de izquierda a derecha igual que en una gigantesca impresión.

Run Lola, Run - 2006

Daniel Shiffman

Patch de Processing - Open source Java framework for spanning real-time graphics applets/applications across multiple screens.

La estructura de hardware requerido para esta instalación es de tres Mac Pro conectados a seis pantallas LCD de 32 pulgadas[5]. Uno de los Mac está funcionando como servidor y le indica a cada cliente el tamaño de los píxeles que debe ocupar cada pantalla (en el caso de las imágenes ejemplo 8160×768). Cada cliente recibe la información para administrar el segmento de píxeles que le corresponde (2720×768) así como la localización de sus fotogramas en relación al resto de la instalación (por ejemplo 5040,0).

El servidor mantiene a cada cliente en línea asegurando la sincronización de todos los fotogramas.

Run Lola, Run - Detalle de la imagen anterior.

Video en http://www.shiffman.net/2007/08/25/run-lola-run-lola-run-lola-run/

El trabajo de Shiffman y Kairallas puede considerarse como una evolución de la pieza Cinema Redux de Brendan Dawes, que plantea el mismo cuestionamiento conceptual pero congelando el movimiento.

Como se puede ver en los resultados de Cinema Redux, el verdadero mérito no es lograr una imagen cada segundo de una película, sino conseguir que un software procese una película y logre imprimir en formato gráfico, una secuencia de fotogramas que son una especies de fotografía instantánea del relato.

Cinema Redux -Taxi Driver (Martin Scorsese)

Brendan Dawes

Vértigo

Alfred Hitchcock

Cada film analizado (ocho en total) es procesado con Java y Processing obteniendo capturas de 8 x 6 píxeles cada segundo, de tal manera que cada línea horizontal representa un minuto. Esta “huella” es una especie de DNA que representa el ritmo de la película y el proceso de edición, pudiendo observarse en los colores y formas la duración de las escenas, el uso de los espacios o la cadencia de los movimientos de cámara.

Kinetoscopio

Animal Locomotion – (Fotogramas)

Eadweard Muybridge

242pilots, «242.pilots live in Bruxelles», 2002

Manipulación de imagen de video en tiempo real | Patch de MAX/MSP Nato

Cada uno de estos ejemplos está compuesto de multitud de imágenes estáticas (creadas previamente o en tiempo real), que sólo se pueden apreciar individualmente cuando las separamos de su formato de exposición, cuando el mecanismo está detenido o el filme yace expuesto a la mirada, y aquí se aprecia un relato subyacente que aísla el tiempo y espacio de ese fotograma o momento de la mirada del espectador, para configurarlo en sí mismo como un completo significado, un fractal que se expresa individualmente y que define en su unidad todas las características expresivas que realizan la multitud de fragmentos al ser animados.

Podemos comparar entonces lo que ocurrió con la pintura de un solo plano y el políptico con lo que ocurre con la actual imagen cinemática y los entornos digitales multipantalla.

El tríptico es drásticamente definido por el formato del marco, que permite cambios de tamaño entre los diferentes cuerpos y que aporta un elemento creativo al ser articulado.  Así como en el cine esperamos ver los trailers de próximos estrenos antes de la película, en las guardas del armazón cerrado del tríptico tenemos una anticipación - introducción a la pieza central.

The Garden of Early Delights - Aspecto cerrado

Hieronymus Bosch

El tríptico es un antecesor de los formatos mediáticos actuales en el uso de la expectativa y la anticipación, es un formato que crea inquietud desde el momento en que lo encontramos plegado, encerrando un contenido que se nos oculta pero del que tenemos una vaga anticipación en sus guardas.

En las guardas del “Jardín de las Primeras Delicias” de Bosch, se elige un versículo para aumentar esta tensión y curiosidad.  El texto que acompaña la ilustración de la esfera gris y muerta es el Noveno verso del salmo 33, “Ipse dixit et fact su[n]t - Ipse ma[n] davit et crata su[n]t.  (For He spoke, and it was; He commanded, and it stood)”.

La aparición de este versículo induce a buscar el significado del resto del tríptico en los subsiguientes versículos, abriendo el camino para una lectura interconectada entre las secuencias de los cuerpos del tríptico y los versículos que deberían corresponder a cada uno.  Se insinúa así un modelo de lectura pictórica identificado en lexias que se agrupan físicamente en el formato  (cuerpos del triptico) dispuesto para ellas.

The Garden of Early Delights - Aspecto abierto

Hieronymus Bosch

La situación es que más allá de conocer las historias, el tipo de pintura de un solo plano exigía un importante entendimiento del medio para percibir los pormenores del cuadro y tal vez la necesidad de narrar eventos tan complejos hizo que el políptico adquiriera la virtud, no por la mezcla sino por la yuxtaposición, de crear de una nueva categoría semántica propia de la imagen.

El políptico establece las coordenadas para uno de los primeros ejercicios de montaje en la historia, y es el que se produce al yuxtaponer una serie de imágenes que conforman un relato aprovechando diversas acciones que por asociación, contraposición, continuidad o secuencia nos permiten la idea de un sentido completo.

Jan van Eyck

Óleo sobre tabla

1432

Catedral de San Bavón - Gante, Bélgica

En la antigüedad la búsqueda de puntos de vista diferentes para contar historias ocurrió, periódica y cíclicamente.  Cada época aporta diferentes ejemplos de formatos alternativos en la escultura, pintura y música.

En la técnica pictórica la planitud (flatness) y el marco son una regla tácita, y una alteración a la posibilidad representativa de esta norma fue el uso de polípticos, que permite una forma expresiva alternativa dentro de la problemática de la representación pictórica convencional.

Con el políptico se pueden unir acciones dispuestas en planos yuxtapuestos, y  el significado del conjunto surge de la lectura asociativa, que como posibilidad narrativa marca un paso adelante dentro de las limitantes expresivas que impone mezclar en uno sólo plano diferentes acciones.

En la “Natividad de María” del Giotto observamos cómo el pintor hila en un mismo plano varias acciones correspondientes a la misma historia y que se mezclan en el plano aunque corresponden a diferentes tiempos. 

Natividad de María

Giotto di Bondone

1302-05

Capilla de los Scrovegni

Fresco

En el plano izquierdo la mujer de la puerta usa el pretexto de entregar algo para atisbar el interior, y llama nuestra atención al centro de la composición, donde se ve a la madre recibiendo a su hija, probablemente de manos de la misma mujer que atisbaba en el plano izquierdo.  En el segmento inferior del plano observamos una acción posterior en donde dos mujeres cuidan de la misma niña. 

Así nuestra mirada ha hecho una lectura de izquierda a derecha y del tramo superior al inferior.

Para entender esta pieza además de poder descifrar el lenguaje pictórico es necesario conocer las escrituras bíblicas donde se describe el evento, y si consideramos que este tipo de obras estaban guionizadas por un exegeta podemos entender que estas representaciones tuviesen un aire críptico que al igual que en los principios del cine requieren un “explicador” para ser entendidos. 

Una obra más compleja sería “Los siete gozos de la virgen” de Hans Memling, donde ocurren en el mismo plano tres acciones narrativas (actos) divididos a su vez en varias escenas, las cuales como serpientes se enrollan una en otra y que al compartir protagonistas nos ofrecen la disociación de los planos temporal y espacial, comprobando la evolución de los personajes en cada escena y mirados desde diferentes puntos de vista.  Jesús existe en el periplo de los reyes magos, en la secuencia de su crucifixión y también lo hace en la historia de María, es feto, recién nacido, adulto y cadáver a la vez en cada una de las historias.

El primer relato se compone de siete escenas y narra el periplo de los reyes magos, su escena central sería la adoración.  El segundo relato muestra la historia de la virgen en 9 escenas y el tercero describe la resurrección de Cristo en seis escenas.

En total encontramos tres historias con 22 unidades simbólicas de sentido completo en un mismo cuadro, y sólo siguiendo pistas como el vestuario y el mismo conocimiento de lo que trata de representarse en la pintura podemos seguir la historia. 

Los siete gozos de la virgen

Hans Memling

1480

Munich - Bayerische

Los siete gozos de la virgen (fragmento)

Hans Memling

1480

Munich - Bayerische