El cinema1, la performance y las artes escénicas, danza y teatro, evolucionan en varias vertientes, a veces algunas de ellas se adelantan a otras formando miembros que proliferan antes de que se logre darles un nombre.  Este es el caso del código aplicado a la programación de objetos que se utiliza cada vez con más frecuencia en diferentes escenarios, y del cual sólo apreciamos los resultados estéticos sin tener verdaderamente conciencia de las reglas de programación que generalmente contienen las motivaciones conceptuales de su uso.

El arte digital2 existe desde hace muchos años con identidad propia sin embargo la convergencia de medios hace casi imposible pensar la evolución de una disciplina artística sin la mezcla y apropiación de otras disciplinas, este fenómeno transmedial implica por su complejidad llegar finalmente, para las audiencias, al desconocimiento de los ingredientes que conforman las mezclas.

En este texto me interesa revisar algunas piezas performáticas en relación al código surgido desde el cinema experimental, para mostrar cómo el código informático de procesamiento audio visual es responsable de articular con mayor o menor intensidad la construcción de situaciones y espacios dramáticos en la escena contemporánea.

Las experimentaciones en el terreno de las artes digitales y escénicas son motivo de aprovechamiento en el espectáculo, pero no sólo el artístico. La industria publicitaria es responsable de la asimilación temprana de las novedades provenientes de la esfera artística experimental y de reciclarla y distorsionarla para conseguir nuevos productos, al punto de aniquilar su potencial de transformación cultural y utilizarla de manera “efectista” y en pro de los resultados de mercadeo que rigen el mundo de los medios tradicionales.

Considero importante que se revise la función y aportación del código (orientado al cinema) en las artes escénicas, y se haga el análisis de un dispositivo de creación que  está definiendo su propio lenguaje, que crece insertado en una serie de obras que permiten su presencia ante audiencias masivas y permiten así el desarrollo de los significados que puede aportar desde la artes.   Una lectura más positiva y esperanzadora que la espera a recibir estas propuestas en forma de anuncios, instalaciones comerciales de última generación o  funcionalidades nuevas de los móviles.

_________________________

1 Gene Youngblood – Cinema and the Code. “When we refer to the phenomenology of the moving image, we call it cinema.  For us it is important to separate cinema from its medium, just as we separate music from particular instruments.  Cinema is the art of organizing a stream of audiovisual events in time.  It is an event-stream, like music.

2 El arte digital es una disciplina ligada directamente a la producción de código informático bajo diferentes lenguajes de programación, pero generalmente enfocado a aquellos softwares de programación gráfica, aptos para ser usados por personas provenientes de disciplinas diferentes a la informática, artistas, músicos, arquitectos.

El montaje es una disciplina que ha logrado crear unidades de significado, podemos entender sus códigos y crear composiciones complejas a nivel narrativo.  Si nos planteamos el código como instrumento de montaje encontramos que usando la programación se pueden realizar montajes en tiempo real que aunque están preconcebidos en las reglas de un código generan una multitud de efectos y situaciones probablemente jamás realizados en el montaje clásico.

Lo interesante de esta situación es destacar que el montaje se ha construido cuando los efectos producto de la experimentación toman significado.  Siendo más específico podemos tomar el caso del “fade to white”, comúnmente usado para indicar un sueño o recuerdo.  Es obvio que antes de tomar este significado en la conciencia colectiva estaba apilado junto a cientos de otros efectos de la imagen y lo que ahora nos importa de él no es tanto su logro técnico como el significado que ha adquirido posteriormente.

La experimentación es un proceso incesante, pero también limitado a la motivación de los artistas, cuando algo es novedoso todos participan de su evolución hasta que poco a poco va cayendo en la monotonía.  Por ello se requieren siempre nuevas formas de trabajar que alimenten la máquina hambrienta de símbolos y recursos que luego desechará rápidamente.

El montaje dentro del lenguaje del cine ha ido acelerándose poco a poco con el paso del tiempo, en “La película que no se ve” de Jean-Claude Carrière se trata sobre el continuo incremento de velocidad de las imágenes, un plano que antes podía durar 30 segundos y mostrar una acción ahora es reemplazado por 3, 4 ó 5 tomas que aceleran el ritmo y nos mantienen “atentos”, para que no cambiemos de canal durante los anuncios, para que no nos aburramos.

Pero además de la velocidad, el montaje también evoluciona en cuanto a los mecanismos de proyección, la forma en que las audiencias entienden las imágenes y el tipo de historias o eventos no-narrativos que pueden ser del uso común de los medios futuros.

La video instalación “Variable Montage” de Marc Lafia y Didi Fire toma 27 fotogramas de un filme ruso, y los ordena en 5 segmentos que se van permutando de manera variable en tres ventanas dentro del mismo monitor.

El código está creado en MAX/MSP6 y además de generar una proyección variable en tiempo y orden de las imágenes, asocia cada uno de los cinco segmentos con una pequeña frase de la Novena Sinfonía de Mahler y los altera en tono, frecuencia, alternancia y superposición de acuerdo al ordenamiento y velocidad de las imágenes.

Max es un entorno de desarrollo gráfico para música y multimedia. El programa ha sido usado durante más de quince años por compositores, artistas y diseñadores de programas interesados en la creación de programas interactivos.  Originalmente creado por Miller S. Puckette para el IRCAM ahora es comercializado y soportado por Cycling 74.

Max es bastante modular, y la mayoría de las rutinas forman parte de una biblioteca compartida. La IPA (Interfaz de Programación de Aplicaciones) permite el desarrollo de nuevas rutinas (llamadas «objetos externos») por terceras personas. Por consecuencia, muchos de los usuarios de Max son programadores no afiliados a Cycling ’74 que mejoran el programa, creándole extensiones comerciales y no comerciales. Debido a su diseño extensible e interfaz gráfica (que de manera novedosa representa la estructura del programa y el IGU presentadas simultáneamente al usuario), Max es considerado por muchos como la lengua franca para el desarrollo de programas de música interactiva.

Otra pieza interesante desde la experimentación “Soft Cinema” Lev Manovich y Andreas Kratky, en ella lo que se visualiza  generado por la navegación de una base de datos sobre datos en continua permutación y clasificación. El software edita películas en tiempo real eligiendo elementos de la base de datos (etiquetados previamente) y usando sistemas de reglas predefinidos por los autores.

lev manovich

lev manovich

Lev Manovich, »Soft Cinema«, 2002
Ausstellung »Future Cinema«, ZKM, 2003 | Fotograf: Andreas Kratky | © Lev Manovich

Soft Cinema ilustra bien los primeros pasos de la experimentación donde el objetivo era un filme que al igual que el código pudiese correr infinitamente sin interrupción, combinando segmentos de películas sin mostrar jamás las mismas combinaciones de secuencias, disposición de las imágenes en la pantalla o narrativas.
Hoy una de las cosas importantes que se pretenden es lograr un sentido  en las piezas que básicamente proponen “narrativas nunca antes vistas”, pues esto no es creíble.  El código hasta ahora no se explica por sí mismo al punto de haber creado ya las unidades de significado que identifiquen un lenguaje fílmico que traspase los recursos de la repetición y  la aleatoriedad para significar algo por sí mismo.

En Sabios Animales Nostálgicos es el performer quien establece un diálogo en tiempo real con un dispositivo de programación (patch), para crear un espectáculo de cinema. La obra cuenta a manera de pillow books varias historias de mujeres en relación a los núcleos de ansiedad, spleen, y el rompimiento de la unidad interior de las protagonistas.

La experiencia visual consiste en un tríptico de videos construidos a partir de fragmentos relacionados con las ideas de tiempo y espacialidad del relato cinematográfico, buscando desagregar el punto de vista y temporalidad de los elementos de cada escena.

carlos talaga performer artist

3D Artist: Christiano Mahler

El tono es logrado en la programación de una herramienta que se sirve de la base de datos para generar símbolos y un discurso de lo aleatorio y narrativa interactiva, el performer utiliza una herramienta programada para estimular el discurso entre la base de datos y su presencia como “narrador”, así inicia un proceso de generación aleatoria de videos en dos de las pantallas, mientras la tercera es controlada manualmente, para realizar un montaje en tiempo real, una experiencia narrativa-sensible única en cada presentación, por cuanto cada combinación será irrepetible.

Cada relato es una pieza de video fragmentada en decenas de segmentos, cada uno con una capacidad simbólica.  De esta manera el dispositivo digital se alimenta de más de quinientos fragmentos de video que se mezclan en tres pantallas, las dos extremas controladas por el patch y la central, que es el eje de la mirada, controlada por el performer.
En el diagrama podemos ver el flujo de los datos del patch en relación al performer.  Un estímulo externo genera dos imágenes en el extremo, procedentes de la misma selección de videos pero programadas para no coincidir, y el performer elige de un conjunto propio la imagen que aparecerá en el centro y dará sentido al relato que se está presentando al público.

El código en sí mismo es un modelo conceptual, un dispositivo de experimentación no mecánico, pertenece a un marco donde el planteamiento de un conjunto de reglas conceptuales facilita la creación.  Algo como la teoría del color en el caso de los impresionistas, que buscaron en la asociación de colores la construcción de consecuentes efectos cromáticos y sensaciones.

Estamos en las primeras etapas de las posibilidades del código y por tanto en uno de los momentos en que más interés despierta en los creadores, independientemente de la calidad de las obras está ocurriendo un movimiento gigantesco en la exploración de las  posibilidades del código en relación a la danza, el cinema, la música y el teatro.

El código es una especie de dispositivo que en parte cumple reglas mecánicas pero que además es un concepto de creación.  Uno de los papeles del código en el arte digital es el de acercar los diferentes logros estéticos y conceptuales de otras disciplinas al metamedio del universo digital, aunque esta translación implique que los elementos transferidos aporten tan sólo una parte de sus capacidades expresivas y de significación al nuevo medio.

El código es una forma de integrar en un mismo dispositivo de creación lo que antes debía estar repartido en diferentes unidades de producción.  La música por ejemplo tiene una evolución mucho más avanzada que la imagen cinemática en lo referente al software.  Además existe una división entre los artistas enfocados a la música o al video, sin embargo el trabajo de músicos y videastas confluye en herramientas de código que sincronizan la imagen con los beats, y que son un simple indicador de las múltiples aplicaciones que están evolucionando para hacer confluir las ejecuciones de música e imagen en una misma interfaz.

Cada vanguardia artística en cierta medida es responsable y dependiente de uno o más formatos y dispositivos que le transmiten una identidad.  Las exploraciones en el área de la imagen en movimiento han pasado por el trabajo de alteración de los materiales, la película, el medio de proyección e innumerables factores más. Dörte Zbikowski* (Dörte Zbikowski – Painting, the Power of Illusion and the Moving Pictures ) plantea que los artistas del cinema experimental de los 60 no estaban tan interesados en crear películas como en explorar el medio, y esto tiene sentido en la escena actual del arte digital experimental, donde la mayor parte del tiempo se sabe lo que no se quiere hacer pero no tanto lo que se quiere hacer.

En el cinema digital creado en el marco del arte digital el aspecto más claro de las obras es la experimentación, pero también es claro que la necesidad de relación con las audiencias motiva la creación de productos entendibles y  más narrativos.

La experimentación ocurre en varias esferas, y es difícil ubicar los productos que están marcando logros que valgan la pena, la proliferación de los dispositivos de imagen, cámaras digitales, software, ordenadores, internet, hacen que la escena artística se vea bombardeada con producciones que en su mayor parte no tienen conceptos estéticos o creativos de base, respecto a la imagen, aunque sí los tengan en relación al código que se usa para obtener las imágenes.

En una conversación con el compositor mexicano Edgar Barroso (Harvard University Department of Music), se planteó el caso de la proliferación de festivales y eventos de música electroacústica, donde es claro que muchos de los concertistas no han recibido formación académica musical, y sin embargo son aceptados porque sus códigos de creación son novedosos y aportan nuevas situaciones que contribuyen al desarrollo de la tecnología musical.  Por ejemplo, quien atrapa el ruido producido por las frecuencias televisivas y lo sintetiza con parámetros contenidos en los objetos de un software de programación visual.   Obviamente estos logros podrían ser catalogados como “efectos”, que con suerte engrosarán la lista de herramientas de algún software.

No podríamos decir que estas piezas tengan algún valor musical y sin embargo el código que le subyace si puede aportar algo a la historia de la música.  También subrayo que la novedad tiende pronto a desaparecer avasallada por las reutilizaciones y variaciones al mismo motivo, y sólo cuando adquiere algún significado cambia de categoría para convertirse en una frase más dentro de un lenguaje, por ejemplo el fade out y los recuerdos en el lenguaje del cinema.

Esta ambigüedad en el contexto de producción de nuevos materiales es algo  inherente a lo experimental, si bien el uso del código marca muchas diferencias respecto a lo que ocurría en los 60.  En la actualidad el software y el hardware son menos costosos y permiten la simulación, las redes de distribución se pueden acceder desde casa y si bien en los 60 se adolecía de canales de distribución faltos de criterio en la actualidad se peca por tener canales saturados de contenidos en donde la proliferación hace que sea casi imposible la búsqueda y selección efectiva.

Artículo por: Carlos Talaga (Estudiante de doctorado, Teoría e Historia de la Representación)
Barcelona, Spain

Introducción

El código es el conjunto de reglas y flujos aplicados a los datos en un entorno informático. En este texto quiero centrar el análisis en el código que se utiliza dentro del arte digital enfocado específicamente al cinema*.

Gene Youngblood – Cinema and the Code. “When we refer to the phenomenology of the moving image, we call it cinema.  For us it is important to separate cinema from its medium, just as we separate music from particular instruments.  Cinema is the art of organizing a stream of audiovisual events in time.  It is an event-stream, like music.

Es necesario hacer esta aclaración pues el cinema digital generalmente se asocia con la tecnología digital de la captura, edición, postproducción y proyección de las imágenes, sin embargo mi intención se orienta a otro círculo de producción, y es aquel donde el cinema es objeto de experimentación a través de patches de programación*.

Un patch es una secuencia de código programado visualmente con herramientas de software que usan objetos prediseñados para facilitar la tarea de creación.  Lo que se desarrolla con estas herramientas es conocido como Patch.

Este círculo se encuentra ubicado en el terreno del arte digital, es allí donde el conjunto de técnicas de creación y posibilidades  expresivas que implican el uso de programación y recursos informáticos no sólo sirven como elemento técnico, sino que específicamente forman parte de la narración y la construcción estética.

Las obras de arte digital que usaré como ejemplos tienen su núcleo en el cinema, pues el material primario desde el que se construyen (input) son imágenes provenientes de cámaras (filmación – video), y su procesamiento posterior o en tiempo real es hecho con patches orientados a finalidades específicas y originales.  Esto marcaría una separación clara con las obras basadas en imágenes que surgen de la síntesis* y que no trataré en este trabajo.

La imagen de síntesis es una de las formas de imagen digital y son aquellas imágenes que se han escrito desde cero a través del código, por ejemplo las imágenes de 3D en las películas de Phixar, que si bien son cinematográficas no proceden de las capturas normales de video o filmación propias del “cinema”.  Otro caso de imágenes “escritas en código” es la holografía pero tampoco será tratada en este trabajo.

El punto de inflexión entre el cinema y el arte digital ocurre cuando los creadores de imagen en movimiento exploran posibilidades algorítmicas para alterar o cambiar la estructura y composición de la imagen y alteran el dispositivo de proyección clásico (material fílmico, proyector, proyección) para usar interfaces que aprovechan las características de multiplicidad, duplicación,  fractalidad y posibilidades decompositivas de lo digital.

El código informático es una forma de crear inteligencia, nos permite dotar a un ente intangible de voluntad y además colocarlo en un contexto predeterminado para observar sus reacciones, que a fuerza de ser múltiples y vertiginosas acaban por mostrarnos situaciones que antes no hubiésemos imaginado.

El arte digital es una de las áreas que aprovecha esta posibilidad para llegar a espacios aún no colonizados, usando los resultados como parte estructurante de su propia justificación como disciplina artística.

Sin embargo el código tiene puntos débiles y puntas afiladas que amenazan el trabajo de los artistas, situaciones como la preservación de las obras, la distribuciín, el recambio del software y el hardware, la limitación creativa latente en los software supuestamente abiertos y otras circunstancias hacen necesaria una mirada más detenida sobre la producción actual.

La escena del arte digital es tan vasta como lo es la presencia de lo digital en nuestras vidas, y a veces pasa tan rápido que los productos artísticos sólo nos llegan cuando ya han sido reciclados una y más veces por la industria, la publicidad y el espectáculo.

Existen una serie de entornos donde los artistas no necesariamente ingenieros pueden trabajar y desarrollar aplicaciones de audio y video en tiempo real.
Al igual que los lenguajes de programación de alto nivel, estas herramientas permiten la comunicación entre objetos, algo que facilita la labor de quienes quieren realizar determinada acción, pues pueden enfocarse en la acción y no en entender cada uno de los eventos de programación que hacen posible la tarea en sí.

A manera de breve referencia (imagen de las interfaces):
*Lista en permanente actualización

PD (Pure Data)
Lo más destacado de PD es que tiene un código completamente accesible, esto se debe a que su desarollador Miller S.Puckette tuvo la feliz idea de dar a la comunidad artística una alternativa de programación gratuita, y si cabe más poderosa, del software MAX desarrollado por él mismo en el IRCAM.

MAX/MSP JITTER
La diferencia de este software con PD, además de que es una versión comercial, consiste en que el acceso al código no es total y en cambio ofrece a los usuarios una serie de comandos que realizan acciones predeterminadas, de tal manera que el trabajo de programación se simplifica mucho, pues las acciones complejas ya están agrupadas en paquetes de fácil acceso que se integran con cualquier idea de patch que quiera desarrollar el usuario.
La programación por objetos permite detectar cualquier suceso cuando los programas crecen, pues los comandos se pueden observar gráficamente anidados unos dentro de otros.

VVVV
Este software está diseñado específicamente para la síntesis y control de video en tiempo real, su característica especial es el soporte a hardware de aceleración gráfica 3D en DirectX. Es gratuito y esto significa que es usado por una gran parte de la comunidad de artistas que no pueden acceder a software como MAX/MSP JITTER.  Un inconveniente es que sólo tiene versión Windows

vvvv patch

PROCESSING

EYESWEB

NODEBOX
NodeBox es una plicación Mac OS X que permite crear visuales 2D (estáticas, animadas o interactivas) usando el código de programación de Phyton, y exporta sus códigos como PDF o QuickTime movies. NodeBox es gratuito y está bien documentado.

nodebox mac free

ISADORA
Es un software que fue destacado con una mención honorífica en el Prix Ars Electronica de Linz.  Su entorno de programación es muy amigable, siendo una mezcla de los estilos visuales de EyesWeb (Infomus Lab) y MAX/MSP, sin legar a la complejidad de este último.
Isadora enfatiza en la manipulación de Video en tiempo real y dispone de una centena de objetos llamados “actores” que se pueden disponer y conectar en una interfaz de programación gráfica para conseguir un patch llamado “User Actor”.

artista digital

“Una sociedad se define por sus aleaciones, no por sus herramientas… Las herramientas sólo existen en relación a las combinaciones que hacen posibles, o que las hacen posibles”

GILLES DELEUZE. Deleuze y Guattari, 1987.

Finalmente una reflexión sobre la naturaleza narrativa de la multipantalla y especialmente del tríptico en comparación con la polifonía en la música.

El contrapunto[6] nos ofrece un universo de análisis para desarrollar y potenciar las posibilidades de la imagen en multipantallas, a lo largo de mi trabajo con este formato y de la colaboración con compositores clásicos y electroacústicos puedo ver cómo mis storyboards son más comprensibles sobre partituras musicales, y encuentro que muchos directores ya los dibujaban así.

La técnica polifónica de la que se aprovecha el contrapunto es una serie de alteraciones matemáticas a un juego de cuatro instrumentos o de dos voces por ejemplo. Los resultados son variaciones que cubren las ejecuciones libres, las imitativas, el canon, la fuga y posteriormente el Jazz.

Aunque este es un tema muy apasionante sería muy largo de desarrollar en este trabajo, pero está bien anotar que aquel lienzo incesante que mencioné anteriormente es la figura del contrapunto, que evoluciona entrelazando varias composiciones de manera horizontal, un trabajo que además de técnicamente arduo requiere mirar hacia el horizonte y no sólo al punto de corte inmediato, que sería una disección de la trenza de relatos para conseguir la más fácil armonía.

Por Carlos Talaga. 2007/08

Derechos
This work is licensed under a Creative Commons Attribution-Noncommercial-No Derivative Works 2.5 Spain License.

———–

[6] El término contrapunto se refiere a una parte de la teoría musical que estudia la técnica que se utiliza para componer música polifónica mediante el enlace de dos o más melodías (también denominadas voces o líneas) independientes que se escuchan simultáneamente. El término contrapunto deriva de “punctum contra punctum”,”nota contra nota” o “melodía contra melodía” y por sí mismo describe el pasaje musical consistente en dos ó más líneas melódicas que suenan simultáneamente. En el canto gregoriano de la Edad Media las notas se escribían como puntos o “puncta”.