Sneak Peak of Documentary under Production. - Avance del Documental en Producción.

State of the Art Computer Graphics Techniques - Técnicas de Vanguardia en Gráficos por Computadora.

TL;DR: Is a messy and dirty job, but someone have to get it done.

English:

Hello Everybody!

I continue working on developing my own custom pipeline / workflow to create the best possible visuals for this documentary project.

A common issue I need to overcome, to achieve the desired visual quality, is the old archive footage handling.

The obvious Issue is the image and audio quality degradation.

I will Breakdown the core causes of the problem.

Because the scale of this project, having access to the original tapes or films is limited,
Most of the media footage presented will be the best available online.

And this footage had experince a multi layered degradation Process.

The First degradation issue occurs at the recording time. Across many years there were many different types of video and film cameras available. Each one with it's own characteristic "Color Space" and Focal Properties.

For example, many (even professional) video equipment in late 70's and early 80's have some color and light sensitivity issues.

The second, and most obvious, is resolution. TV archive footage for many years in history was recorded on "Standard Definition" (SD) witch is quite low for today standards.

And There is an additional issue related to this. Even if the original recording was capture on SD, doesn't mean it is available on such resolution. For many years online videos where limited to be lightweight enough to be watched trough slow internet connections.

So many times the videos are scaled down to a resolution inferior to SD.

And here is when it became more complex. Having scaled down video is bad, but when it comes to the compression it gets even worst.

The video compression algorithms make a near representation of the image, but how much near to the original the representation really is, will be an issue of the Digital Video CODEC and the compression level.

Near all image and video CODECs "Break" the image on heavy compression.

This distortions are commonly refereed as "Artifacts"

And each CODEC family have it's own catalog of Artifacts.

For example, some videos have been trough many of this issues more than once.

Imagine a live TV Broadcasts, with an imperfectly calibrated camera, been transmitted via coaxial and then aired. This transmission been captured on a domestic VCR from an imperfectly syntonized channel on an, interference exposed, home antenna. Recorded on a used VHS Cassette from a, not very clean, recording head.

Then digitized on lower resolution, and uploaded, only to be downloaded trans-coded to other codec (For Additional competing compression Artifacts) and then re-uploaded.

Is like a nightmare, any so heavily degradation will render the video unwatchable. But some times this damaged video is the best available copy.

Very dark panorama to this point...

But hope is not lost!

There exists many techniques to "Enhance" the image "A LA CSI" Style.

First and most useful is a technique called "Super Resolution"
This techniques attempts to discover and reconstruct obfuscated data from a low resolution image and create a new image with better resolution and additional detail.
This technique is commonly used on satellite images, electronic microscopy and many other scientific work fields.

Other useful technique is call Artifact Removal. This technique essentially analyze the image and identify the artifacts affecting each region of the image, generating a cleaner version from the original.

Currently i'm working on developing my own video cleaning/enhancement software suit. Implementing the latest methods and algorithms from papers and open source libraries. Majority of the most recent breakthroughs on this discipline have been achieved by the use of artificial intelligence, based on neural networks learning algorithms.

And being performance, also, a significant issue. My system is implemented on OpenCL to make use of the great computing power of the video card (GPU).

By performing all this development work is possible to have the best tool for this project. Is very exhausting effort but I think the results will make it worth it.

Greetings M.-

---

---

TL;DR: Es un trabajo sucio y enredado, pero alguien tiene que hacerlo.

Español:

¡Hola a todos!

Continúo trabajando en el desarrollo de mi propio flujo de trabajo personalizado para crear la mejor visual posible para este Proyecto Documental.

Un problema común que debo superar para lograr la calidad visual deseada es el manejo de metraje de archivo antiguo.

El problema obvio es la degradación de la calidad de la imagen y el audio.

Desglosaré las causas principales del problema.

Debido a que la escala de este proyecto, el acceso a las cintas o películas originales es limitado,
La mayoría de las imágenes de medios presentadas serán las mejores disponibles en línea.

Y este metraje ha experimentado un proceso de degradación de varias capas.

El primer problema de degradación ocurre en el momento de la grabación. A lo largo de muchos años, hubo muchos tipos diferentes de cámaras de vídeo y fílmico disponibles. Cada una con su propio "espacio de color" característico y propiedades focales.

Por ejemplo, muchos equipos de vídeo (incluso profesionales) de finales de los 70 y principios de los 80 tienen algunos problemas de sensibilidad a la luz y al color.

El segundo, y el más obvio, es la resolución. Las imágenes de archivo de televisión durante muchos años en la historia se grabaron en "Definición Estándar" (SD), que es bastante bajo para los estándares actuales.

Y hay un problema adicional relacionado con esto. Incluso si la grabación original fue capturada en SD, no significa que esté disponible en dicha resolución. Durante muchos años, los vídeos en línea se limitaron a ser lo suficientemente livianos para ser vistos a través de conexiones lentas a Internet.

Muchas veces los vídeos se reducen a una resolución inferior a SD.

Y aquí es cuando se vuelve más complejo. Tener vídeos reducidos es malo, pero cuando se trata de la compresión es incluso peor.

Los algoritmos de compresión de vídeo hacen una representación cercana de la imagen, pero lo cerca que está la representación, realmente, de la original será un problema del CODEC de vídeo digital y del nivel de compresión.

Casi todos los CODEC de imagen y vídeo "rompen" la imagen cuando la compresión es intensa.

A Estas distorsiones se las conoce comúnmente como "Artefactos" (Artifacts)

Y cada familia CODEC tiene su propio catálogo de artefactos.

Por ejemplo, algunos vídeos han atravesado muchos de estos problemas más de una vez.

Imagínese una emisión de televisión en vivo, con una cámara imperfectamente calibrada, transmitida por coaxial y luego transmitida por aire. Esta transmisión ha sido capturada en una videograbadora doméstica desde un canal sintonizado imperfectamente en una antena domiciliaria expuesta a interferencias. Grabado en un cassette VHS usado desde un cabezal de grabación no muy limpio.

Luego se digitalizó en una resolución más baja, y se subió a Internet, solo para ser descargado y trenas-codificado a otro códec (para generar Artefactos de compresión adicionales que compiten con los preexistentes) y luego se volvió a subir.

Es como una pesadilla, cualquier degradación tan pesada hará que el vídeo sea imposible de ver. Pero algunas veces este vídeo dañado es la mejor copia disponible.

Un panorama muy oscuro a este punto ...

¡Pero la esperanza no está perdida!

Existen muchas técnicas para "Mejorar" la imagen al mejor estilo "CSI".

La primera y más útil es una técnica llamada "Súper Resolución"
Esta técnica intenta descubrir y reconstruir datos ofuscados de una imagen de baja resolución y crear una nueva imagen con mejor resolución y detalles adicionales.
Esta técnica se usa comúnmente en imágenes satelitales, microscopía electrónica y muchos otros campos de trabajo científicos.

Otra técnica útil se llama Eliminación de Artefactos. Esta técnica esencialmente analiza la imagen e identifica los artefactos que afectan cada región de la imagen, generando una versión más limpia del original.

Actualmente estoy trabajando en el desarrollo de mi propia suite de software de limpieza / mejora de vídeo. Implementando los últimos métodos y algoritmos de documentos académicos y bibliotecas de código abierto. La mayoría de los avances más recientes en esta disciplina se han logrado mediante el uso de inteligencia artificial, basada en algoritmos de aprendizaje con redes neuronales.

Y siendo el rendimiento, también, un problema importante. Mi sistema está implementado en OpenCL para hacer uso de la gran capacidad computo de la tarjeta de vídeo (GPU).

Al realizar todo este trabajo de desarrollo es posible tener la mejor herramienta para este proyecto. Es un esfuerzo muy agotador, pero creo que los resultados harán que valga la pena.

Saludos M.-