Pour comprendre l’intérêt de l’électronique embarquée dans les optiques modernes mais aussi pour répondre à des demandes spécifiques, nous nous sommes demandés comment “fabriquer” les métadonnées utiles aux VFX,  à l’ancienne.

Les MDO (MétaDonnées Optiques) de type FIZ (Focus, Iris, Zoom) bien sûr, mais nous nous sommes aussi pliés à l’exercice des mires de déformation pour ajouter cette donnée qui améliore grandement la précision des effets spéciaux. Cette démarche nous a paru intéressante pour observer le chemin emprunté par les métadonnées mais aussi pour être capables de proposer des solutions techniques dans les cas disons atypiques…

Pour cette deuxième session, ce mercredi 26 avril, nous nous retrouvons à plusieurs membres de l’Union chez notre partenaire Vantage, qui conçoit, fabrique et loue les optiques Hawk (mais pas que !). Côté caméra, nous continuons d’utiliser la Sony Venice 2 ainsi qu’une Arri Alexa Mini LF. S’ajoute pour cette session une URSA Mini Pro 12K de chez Black Magic Design, également partenaire de l’Union.
L’idée est de trouver ce qui fonctionne mais aussi ce qui ne fonctionne pas car, depuis nos premières suppositions, nous constatons sur le terrain qu’il n’y pas de formule qui conviendrait pour toutes les configurations caméras + optiques.

Un nouveau boîtier

Un nouveau boîtier vient compléter notre panoplie d’accessoires utiles à l’exploitation des métadonnées optiques : le LDT-R2 de la compagnie DCS, une société anglaise. Un boitier dédié apparemment peu courant en France, mais qui semble plus répandu outre-Manche. Sur le papier, le LDT-R2 doit potentiellement nous permettre d’encoder les courses FIZ des optiques dépourvues de MDO mais aussi, et c’est là qu’il apporte une nouveauté, d’injecter les données dynamiques dans les fichiers image enregistrés par les caméras. Reste à savoir lesquelles, et surtout comment, notamment via quels matériels !

De l’importance des LDA

Dans la grande salle d’essais que Vantage a mis à notre disposition, nous remarquons d’emblée les QR codes d’accès à la base de données de LDA des optiques en location.
En effet, Vantage s’efforce de créer pour toutes les optiques de son parc de location des fichier LDA, ce qui implique qu’à l’arrivée d’une nouvelle focale, un fichier spécifique incluant les butées de toutes les bagues ainsi que leurs courses est fabriqué. Cela permet aux système de convertir les valeurs de positions angulaires des moteurs en valeurs utiles FIZ. Autrement dit, sans LDA, pas de métadonnées pour ces optiques non électroniques.

L’UMC-4 encore incontournable

La Mini LF positionnée à 4’2’’ d’une mire en damier, nous installons un moteur mini RF (diaph) et un C Force mini (point), opérés avec une commande Arri Hi5. Les LDA déjà présentes sur la carte SD de l’UMC-4 facilitent les opérations. Le boitier Ambient Lockit+ alimente la caméra et donc l’UMC-4, mais sans prise Lemo sur les optiques, il est impossible de récupérer des métadonnées par ce boitier.

S’ensuivent des prises de vues courtes des mires avec les belles optiques dont nous disposons pour pouvoir mettre en évidence le rôle des LDA et enregistrer des métadonnées transmises par les moteurs sur la carte SD de l’UMC-4. Nous allons fournir aux VFX une mire avec en métadonnées: le nom de l’optique, la focale et la distance.

  • Vantage One 17.5 mm (Trop de vignettage avec la Mini LF, on exclut cette optique des tests)
  • Vantage One 21 mm (Bascule de point)
  • Vantage One 25 mm
  • Hawk SuperWide Zoom 10-24mm (Zoom in/out sur 20mm à 24mm)
  • Vantage LightWeight 17-35 mm (Zoom in/out sur une partie de la plage focale)
  • Zeiss Ultra Prime LDS 20 mm
  • Zeiss Ultra Prime LDS 24 mm
  • Fujinon / ARRI Allura 18-80 mm (Zoom in/out)
  • Hawk V-lite Vintage 28 mm 2x (Bascule de point)
  • Hawk V-lite Vintage 35 mm 2x (Bascule de point)
  • Hawk V-lite 24 mm 1.3x (Bascule de point)
  • Hawk V-lite 28 mm 1.3x (Bascule de point)
  • Hawk V-Plus 45-90 mm 2x (Zoom in/out, bascule de point) – Changement de distance, on recule à 6’
  • Hawk Vintage ‘74 55 mm 2x
  • Hawk V-lite 55 mm 1.3x
  • Hawk Vintage ‘74 80 mm 2x
  • Hawk V-lite 110 mm 1.3x
  • Hawk Vintage ‘74 110 mm 2x

Puis nous passons au protocole incluant les trackers mis en place lors de notre première session de travail:

  • Hawk Vintage ‘74 – 28 mm 2x : caméra fixe (bascule de point track 1/track 2 lente et rapide), caméra portée : mouvements latéraux, avant arrière, bascules de point lente, bascules de point rapide, changement de diaph
  • Hawk V-lite – 24 mm 1.3x : caméra fixe (bascule de point track 1/track 2 lente et rapide), caméra portée : mouvements latéraux, avant arrière, bascules de point lente, bascules de point rapide, changement de diaph
  • Vantage One – 25 mm : caméra fixe (bascule de point track 1/track 2 lente et rapide), caméra portée (idem que les précédents)
  • Hawk SuperWide Zoom 10-24mm : caméra fixe (bascule de point track 1/track 2 lente et rapide), caméra portée (idem que les précédents)
  • Zeiss Ultra Prime LDS 20 mm : caméra fixe (bascule de point track 1/track 2 lente et rapide), caméra portée (idem que les précédents)


Le LDT-R2 sur la Venice 2, c’est pas encore ça !

Nous montons un 24mm Zeiss Ultra Prime LDS sur la Venice 2, équipée du boitier LDT-R2 de DCS. Il semble que sur cette série, le LDS Arri ait été implémenté, vraisemblablement avant que Zeiss ne décide de développer son propre protocole eXtended. Les métadonnées doivent en théorie passer par la monture de l’optique.
Avec cette configuration, nous sommes apparemment dans une impasse.

Il semblerait déjà que cette série soit trop ancienne (LDS vs eXtended). Par ailleurs, en essayant désespérément de brancher le boitier à la Venice, nous apprenons que DCS recommande une monture spécifique (Specialist Lens Mount) qui permettrait d’injecter les métadonnées optiques dans les fichiers X-OCN.
Après investigation, il semble que cette fameuse monture soit au stade du prototype, fabriqué en quelques exemplaires mais encore indisponible à la vente ! À ce jour, la transmission des métadonnées aux fichiers RAW ne fonctionnerait qu’avec des caméras RED ou PanaDXL (sur base RED)…
Nous apprenons aussi qu’il existe dans la Venice une fonction spécifique à activer pour exploiter les métadonnées des optiques Zeiss (Enabling Metadata for Sony Workflow – lien du manuel ici).

La roue encodeuse LDT-E1 associée au LDT-R2 permet de calibrer manuellement les butées, il faut en revanche créer soit même une LDA minimale (nom et type de l’optique, valeurs de diaph, valeurs de point). L’interface du menu du boitier est plutôt minimaliste. Nous tentons un enregistrement de données sur la micro SD du LDT-R2 sans succès. En rajoutant le Lockit+ pour générer du timecode l’enregistrement fonctionne, ce qui semble logique : sans timecode, pas de métadonnées dynamiques. Les données sont enregistrées sur la micro SD du boitier et la LDA basique que nous avons créée apparaît.  Sans monture dédiée, les tests avec la Venice nous semblent sans objet avec ce boitier.
Soulignons que DCS propose divers boîtiers qui se différencient selon les corps caméra, les montures, les systèmes de commande, et les types de production (traditionnel ou plateau virtuel). Comme nous l’avons vu, il convient de s’assurer que ces boîtiers sont réellement opérationnels selon la configuration de production.
Notons également qu’à date, le boitier LDT-R2 semblait incompatible avec une monture Arri en LPL.


Les optiques : des instruments de mesure télémétrique fiables ?

En fin de journée nous testons une toute autre configuration, sur une Blackmagic Ursa Mini Pro 12K (capteur S35). L’enregistrement des fichiers image en 12K (17:9 / Q0 / BM RAW / constant bitrate) se fait sur disque externe SSD Samsung T5.
Nous positionnons 10 trackers sur environ 10-15 mètres de profondeur, l’idée étant de vérifier si les métadonnées transmettent correctement les valeurs de distance (entre tracker et caméra et entre trackers) pour créer une caméra virtuelle dans un plateau 3D. Les mesures réelles sont prises au décamètre avec la caméra sur pied.

Nous enregistrons plusieurs fichiers selon notre protocole habituel, incluant caméras portées, mouvements latéraux et bascules de point.
La première optique est un Hawk V-lite 20mm 1.3x, la seconde le 24mm Zeiss Ultra Prime LDS.
Le Hawk V-lite 20 mm 1.3x est accompagné d’un moteur C-Force mini RF pour le point et C-Force mini pour l’iris, une commande Hi-5 et le boitier UMC-4.
Bien qu’étant censée être une optique intelligente, le 24mm n’a communiqué aucune métadonnée aux trois caméras. Nous pensions pourtant que la Mini LF était a priori compatible, mais cela n’a pas été le cas. Nous avons testé une autre focale de la série, mais sans plus de résultat. Peut-être que cette série est trop ancienne alors que la Mini LF est trop récente…
Si l’URSA Mini Pro 12K ne peut enregistrer aucune métadonnée optique dans ses fichiers images avec ces optiques, l’UMC-4 permet néanmoins de récupérer les données FI (Focus et Iris) transmises par les moteurs.

Bilan du jour : dans les configurations que nous avons testées, le boitier Arri UMC-4 semble être un outil essentiel, rustique et efficace si on dispose toutefois de LDA encodées à l’avance. Le boitier Ambient, avec des optiques dépourvues de métadonnées, était aujourd’hui réduit au seul rôle de générateur de timecode.

Dans notre prochain article, le défi sera d’enregistrer des MDO d’optiques vintage (qui en sont donc logiquement dépourvues) dans des fichiers image. À suivre !

 

Merci à Valentine Lequet coprésidente de l’Union, Sara Cornu, Mykhailo Husak, Sarah Guillaumin Haddad, Djamel Bertal et Élise Filaferro, assistante caméra.
Un grand merci à toute l’équipe de Vantage  pour leur accueil et leur implication.

____

🇬🇧 English version

To understand the value of on-board electronics in modern optics, but also to respond to specific requests, we have asked ourselves how we could « create » useful metadata for VFX,  in the old-fashioned way. LD (Lens Data) of the FIZ (Focus, Iris, Zoom) type, of course, but we also tried our hand at deformation test patterns to add this data, which greatly improves the precision of special effects.

We found this approach interesting, not only to observe the path taken by metadata, but also to be able to propose technical solutions in what we might call atypical configurations…

For this second session, on Wednesday April 26, several UCO members met up at our partner Vantage, that designs, manufactures and rents Hawk optics (but not only !). Camera-wise, we continue to use the Sony Venice 2 and an Arri Alexa Mini LF. Added for this session is an URSA Mini Pro 12K from Black Magic Design, also a UCO partner.
The idea is to find out what works and what doesn’t, because since our first guesses, we’ve found in the field that there’s not a unique formula that works for all camera + lens configurations.

A new box

The LDT-R2 from British company DCS is the latest addition to our range of accessories for processing lens metadata. It’s a dedicated device that’s apparently uncommon in France, but seems to be more widespread across the Channel. The LDT-R2 should potentially enable us to encode FIZ data for non smart lenses, as well as inject dynamic data into image files recorded by cameras. The wrapping of data in raw files would be the big improvement for us. It remains to understand how to make this work.

The importance of LDAs

In the large room provided by Vantage, we immediately noticed the QR codes for access to the LDA database for rental lenses.
In fact, Vantage strives to create LDA files for all the lenses in its rental fleet, which means that when a new lens is introduced, a specific file is created including the stops of all the rings. This enables the system to convert the angular position values of the motors into useful FIZ values. In other words without LDA no metadata.

UMC-4 still a must

With the Mini LF positioned 4’2 » from a checkerboard pattern, we install a mini RF motor (iris) and a mini C Force (focus), operated with an Arri Hi5 control. The LDAs already present on the UMC-4’s SD card facilitate operations. The Ambient box feeds the camera and therefore the UMC-4 with timecode, but without a Lemo connector on the lenses, it is impossible to retrieve metadata in the Lockit+.

This is followed by a series of short shots of the test patterns with the beautiful optics we have available, to highlight the role of the LDAs and record the metadata transmitted by the motors on the UMC-4’s SD card. We’re going to supply the VFX with a test pattern with the following metadata : name of lens, focal length and distance.

  • Vantage One 17.5 mm (Too much vignetting on the Mini LF, we’re excluding this lens from the tests)
  • Vantage One 21 mm (Rack focus)
  • Vantage One 25 mm
  • Hawk SuperWide Zoom 10-24mm (Zoom in/out on 20mm to 24mm)
  • Vantage LightWeight 17-35mm (Zoom in/out on part of the focal range)
  • Zeiss Ultra Prime LDS 20 mm
  • Zeiss Ultra Prime LDS 24 mm
  • Fujinon / ARRI Allura 18-80 mm (Zoom in/out)
  • Hawk V-lite Vintage 28 mm 2x (Rack focus)
  • Hawk V-lite Vintage 35 mm 2x (Rack focus)
  • Hawk V-lite 24 mm 1.3x (Rack focus)
  • Hawk V-lite 28 mm 1.3x (Rack focus)
  • Hawk V-Plus 45-90 mm 2x (Zoom in/out, rack focus) – Distance change, step back to 6′
  • Hawk Vintage ’74 55 mm 2x
  • Hawk V-lite 55 mm 1.3x
  • Hawk Vintage ’74 80 mm 2x
  • Hawk V-lite 110 mm 1.3x
  • Hawk Vintage ’74 110 mm 2x

Then we move on to the protocol including the trackers set up during our first work session :

  • Hawk Vintage ’74 – 28 mm 2x: steady camera (slow and fast rack focus betweeen tracker 1 and tracker 2  ), handheld camera: lateral movements, back and forth, slow rack focus, fast rack focus, iris change
  • Hawk V-lite – 24 mm 1.3x: steady camera (rack focus track 1/track 2 slow and fast), handheld camera : side-to-side movement, front-to-back, slow rack focus, fast rack focus, iris change
  • Vantage One – 25 mm: steady camera (slow and fast rack focus track 1/track 2 ), handheld camera (same as above)
  • Hawk SuperWide Zoom 10-24mm: steady camera (slow and fast track 1/track 2  rack focus), handheld camera (same as above)
  • Zeiss Ultra Prime LDS 20mm: steady camera (slow and fast rack focus ), handheld camera (same as above)

The LDT-R2 on the Venice 2 : not quite there yet !

We’re mounting a 24mm Zeiss Ultra Prime LDS on the Venice 2, equipped with DCS’s LDT-R2 box. It seems that LDS Arri was implemented on this series, presumably before Zeiss decided to develop its own eXtended protocol. In theory, metadata should pass through the lens mount.
With this configuration, we seem to have reached a dead end.

It would appear that this series is too old (LDS vs eXtended). Furthermore, while desperately trying to connect the Venice to the camera, we learn that DCS recommends a specific mount (Specialist Lens Mount) that would allow optical metadata to be injected into X-OCN files.
After investigation, it seems that this famous mount is at the prototype stage, manufactured in a few copies but still unavailable for sale ! To date, the transmission of metadata to RAW files would only work with RED or PanaDXL (RED-based) cameras…
We’ve also learned that Venice has a specific function to be activated to use metadata from Zeiss lenses (Enabling Metadata for Sony Workflow – manual link here).

The LDT-E1 encoder wheel associated with the LDT-R2 allows manual calibration of the stops, while a minimal LDA (name and type of lens, iris values, focus values) must be created by the user. The camera’s menu interface is rather minimalist. We tried to record data on the LDT-R2’s micro SD card without success. Adding Lockit+ to feed timecode makes the recording work, which seems logical : without timecode, there’s no dynamic metadata. The data is recorded on the camera’s micro SD and the basic LDA we created appears. Without a dedicated mount, tests with the Venice seem pointless with this DCS box.
It’s worth noting that DCS offers a range of various devices for various camera bodies, mounts, control systems and types of production (traditional or virtual studio set). As we have seen, it’s important to ensure that these devices are actually operational, depending on the production setup.
It should also be noted that, to date, the LDT-R2 box seems incompatible with an Arri LPL mount.

Are lenses reliable telemetric measuring instruments ?

At the end of the day, we test a completely different configuration, on a Blackmagic Ursa Mini Pro 12K (S35 sensor). The 12K image files (17:9 / Q0 / BM RAW / constant bitrate) are recorded on an external Samsung T5 SSD.
We position 10 trackers at depths of around 10-15 meters, the idea being to check whether the metadata correctly transmits the distance values (between tracker and camera and between trackers) to create a virtual camera in a 3D set. The actual measurements are taken using a decameter with the camera on a stand.

We record several files according to our usual protocol, including handheld cameras, lateral movements and focus switches.
The first lens is a Hawk V-lite 20mm 1.3x, the second a 24mm Zeiss Ultra Prime LDS.
The Hawk V-lite 20mm 1.3x is accompanied by a C-Force mini RF motor for focus and C-Force mini for iris, Hi-5 control and UMC-4 box.
Although supposedly a smart lens, the 24mm did not communicate any metadata to the three cameras. We had assumed that the Mini LF would be compatible, but this was not the case. We tested another focal length in the series, but with no further results. Perhaps this series is too old, while the Mini LF is too new…
While the URSA Mini Pro 12K cannot record any optical metadata in its image files with these lenses, the UMC-4 can nevertheless retrieve FIZ data (Focus and Iris) transmitted by the motors.

Today’s assessment : in the configurations we tested, the Arri UMC-4 box seems to be an essential tool, rustic and efficient if you have pre-encoded LDAs. The Ambient, with our metadata-free lenses, was reduced to the role of timecode generator.

In our forthcoming article, the challenge will be to have vintage glass LDs recorded in image files. To be continued !

 

Thanks to Valentine Lequet, co-president of the Union, Sara Cornu, Mykhailo Husak, Sarah Guillaumin Haddad, Djamel Bertal and Élise Filaferro, camera assistant.
Many thanks to the entire Vantage team for their warm welcome and dedication.

 

Par et