Zeiss a annoncé la sortie de son CinCraft Scenario qui facilite le tracking des caméras pour le live, les VFX ou les studios LED, sans avoir besoin de marqueurs ou de systèmes de caméras externes.

Pour en savoir plus sur ce nouvel ajout dans leur catalogue, j’ai pu interviewer Jacques Bouley, directeur des ventes Europe, et Sundeep Reddy, Directeur Produit et concepteur du système CinCraft Scenario.

Vincent Tartar, UCO : Quelle est la genèse de ce système de tracking ?

JB : Je vois Zeiss comme un fournisseur de solutions. Nous savons que vous rencontrez de nombreux soucis lors de la préparation d’un film nécessitant des VFX, et CinCraft Scenario est notre manière de répondre au problème.
Globalement, cela simplifie énormément la post-production et même la pré-production, surtout quand on découvre la simplicité de l’interface utilisateur.

SR : Pour moi, tout a commencé en 2012 quand j’ai découvert la société Ncam, et leur système Mark 1. C’était assez impressionnant de voir tout ce qu’il pouvait faire, et une chose qui revenait constamment était qu’il dépendait des données des objectifs. À cette époque, Zeiss était déjà passé aux métadonnées d’objectif XD.

JB : En 2020, le système Mark 2 a été lancé, donc Sundeep les a approchés et nous avons commencé à parler à Ncam. Nous avions quelque chose dont ils avaient besoin, les métadonnées d’objectif, puis nos deux entreprises ont commencé à travailler ensemble pour développer un nouveau système.

SR : Le système s’est simplifié au fil des années, mais obtenir les données directement du fabricant aurait été une réelle valeur ajoutée. Nous avons donc pensé que nous pourrions tirer le meilleur parti des deux mondes en créant une synergie, pour trouver un moyen d’arrêter ce processus de calibrage chronophage.

JB : Avec le temps, la synergie s’est développée au point que nous avons envisagé un avenir meilleur que d’être simplement compatibles. Que se passerait-il si nous pouvions améliorer les problèmes auxquels les gens sont confrontés sur les plateaux aujourd’hui, si nous pouvions transformer cette interface utilisateur plutôt complexe en quelque chose de beaucoup plus simple à utiliser ?

Ncam a eu dix années assez réussies dans l’industrie, ils étaient renommés dans le domaine de la diffusion, surtout dans les programmes sportifs. Car il est important de le mentionner, et c’est fondammental, c’est un des seuls systèmes capable d’assurer un suivi en extérieur.

SR : Lorsque nous examinions la technologie en profondeur, nous étudiions également d’autres solutions, mais elles dépendaient toutes des points de suivi, materialisés par des cibles sur le plateau. Seul le système Ncam nous permettait de sortir et de suivre une scène sans tracas. L’installation était assez simple, et il était évident que cela allait changer la manière de “tracker” les plans, surtout dans la réalisation de films.

À cette époque dans la production cinématographique, Ncam était utilisé dans des productions d’effets visuels très haut de gamme, mais pas largement dans l’industrie du film de long métrage. Il restait encore des améliorations à apporter pour le rendre convivial, il y avait cette distance supplémentaire à parcourir pour que ce système soit utilisé sur un plateau de tournage. Un plateau de tournage est un endroit très actif, très créatif et dynamique, il change constamment, il faut s’adapter aux façons de filmer, les lumières changent, le décor bouge, et personne ne sait ce qui va suivre. Vous n’avez pas ce niveau d’incertitude en Broadcast.

C’est pourquoi nous avons commencé à créer un système qui fonctionnera dans ce type d’environnement, et pour ce type d’opérateurs également. Parce que vous n’avez pas le temps de faire autant de changements sur un plateau de tournage. Nous avons donc organisé un atelier, passant en revue le modus operandi sur un plateau de tournage, comment cela fonctionne-t-il, et comment pouvons-nous nous y adapter ?

Même si nous savions déjà comment fonctionnait un plateau de tournage, nous avons élaboré un workflow générique pour nous aider à comprendre les besoins sur les plateaux de tournage.

De plus, nous avons découvert des différences culturelles : il y a des attentes différentes sur les plateaux de tournage, d’un pays à l’autre. Ce qui se passe à LA est différent de ce qui se passe à NY, ce qui se passe en Europe est très différent de la façon dont les films sont réalisés en Inde, donc nous devions intégrer tous ces scénarios différents, pour concevoir le système.

Nous l’avons décomposé au point de définir cinq piliers qui nous aideraient à concevoir comment le système devrait fonctionner : comment le logiciel devrait fonctionner, comment configurer le système, où allez-vous faire la configuration, que faire lorsque vous arrivez sur le plateau de tournage, et comment fonctionne l’étalonnage des objectifs ? Ce sont les choses dont nous avons discuté longuement.
Il était évident que l’expérience utilisateur devait changer, le système devait être facile à apprendre et à utiliser. La plupart des systèmes de suivi sont très techniques à utiliser, et nous voulions répondre à cette question : comment un système technique pourrait-il aider à résoudre un problème de manière créative ? Chaque plateau aura un ensemble unique de défis, comment les résoudre de manière créative ?

JB : Une autre ambition, dans ce processus de simplification excessive de son utilisation, était de créer une norme. Imaginons une équipe partant pour un tournage de trois jours, choisissant cette caméra, ces optiques, tout le matériel nécessaire, et pourquoi ne pas prendre une solution de suivi que vous pourriez trouver dans n’importe quelle société de location? Vous vous attendriez à ce que la société de location la prépare de la même manière qu’elle prépare les autres équipements. Les autres systèmes de suivi fonctionnent bien, mais c’est le seul système qui suive facilement à l’intérieur et à l’extérieur, et c’est un véritable avantage lorsque vous tournez en extérieur.

Nous venons d’un milieu cinématographique, nous fabriquons des objectifs de cinéma, nous nous adressons aux maisons de location dans le monde entier, ce sont nos clients. Alors pourquoi ne pas s’adresser à ce réseau particulier, ils sont légitimes pour remettre ce système à leur équipe. C’était l’une des exigences lors de la conception du CinCraft Scenario.

En fait, ce système est le résultat de quelque chose que nous avons commencé à faire il y a quelques années. Vers 2016/2017, lorsque Zeiss a sorti le protocole de données étendues (extended lens data), très peu de gens comprenaient l’utilité de ces données d’optiques, mais nous savions que nous entrions dans l’ère du cinéma numérique. Nous avons ensuite créé tout un écosystème nommé CinCraft. Il y a quelques années, nous avons sorti Mapper, qui consiste à fournir des informations spécifiques aux techniciens et artistes VFX en un clic, sans avoir à estimer à vue d’œil le vignettage de l’objectif, par exemple. Et maintenant, nous avons CinCraft Scenario qui fournit un suivi sur le plateau mais aussi un enregistrement sur le plateau de ces métadonnées que nous pouvons ensuite envoyer à l’équipe de post-production.
Nous abordons donc deux problèmes clés des VFX, pour ceux qui font du match moving, qui est très chronophage et sujet aux erreurs, et pour ceux qui font du compositing qui peuvent facilement ajouter des caractéristiques optiques à leurs images.

SR : Une autre chose est qu’avant que nous puissions suivre en direct, les choses se faisaient à l’envers en quelque sorte. Par exemple, avec le match moving, nous tournions d’abord puis essayions de trouver un moyen d’adapter les VFX à cette image en mouvement parce que la technologie n’était pas là. Maintenant, avec les nouvelles technologies comme Unreal Engine, et les systèmes de suivi, il est possible de fournir toutes ces données. C’est un tout nouveau paradigme.

JB : Si nous entrons un peu dans les détails, nous avons présenté le système à de nombreux superviseurs VFX, et les deux choses immédiates qui ont émergé étaient qu’il n’y avait plus de temps de calibrage et que nous pouvions tourner en extérieur. Mais qu’en est-il des autres objectifs ? La prochaine étape était de proposer le système pour d’autres optiques que Zeiss.

Nous allons fournir un catalogue d’autres objectifs de cinéma et de diffusion, pour permettre à l’utilisateur de peaufiner l’étalonnage, de lui faire gagner du temps.
Si ce système est vu par l’industrie comme une norme, il serait encore mieux que les objectifs tiers soient compatibles et « plug-n-play ». Même si nous faisons la plupart du travail en fournissant des données, l’utilisateur devra affiner l’étalonnage lors de l’utilisation d’objectifs de fabricants tiers. Nous fournirons également un manuel de calibrage car il y aura toujours des objectifs hors gabarit.

SR : En fait, l’une des questions est de savoir comment faire de ce système une norme industrielle ? Pour ce faire, vous devez rendre ce système suffisamment évolutif pour que les gens puissent s’adapter et apprendre. Le système Ncam et tous les autres systèmes de suivi disponibles sont assez complexes. Le nombre de choses que vous devez apprendre avant de pouvoir les utiliser peut être décourageant, et c’est une barrière que nous préférerions éviter à nos utilisateurs.

Si nous parlons d’un point de vue des chefs opérateurs, nous avons besoin qu’ils puissent comprendre immédiatement ce qui se passe sur le plateau. Nous ne voulons pas qu’ils regardent un technicien de suivi, sans avoir aucune idée de ce que ce technicien fait pour que cela fonctionne. Au contraire, nous voulons qu’ils puissent comprendre le processus, d’où viennent les données, où elles seront enregistrées, juste en regardant le système de suivi. Cela devrait être aussi simple à comprendre. Je crois que c’est ainsi que l’on fait une norme qui peut être adoptée.

JB : Nous l’avons simplifié au point qu’il a une logique auto-explicative. Nous mettrons en ligne un portail avec des tutoriels et des modes d’emploi du système. Nous avons également des assistants virtuels dans l’interface qui aideront le nouvel utilisateur, ou quelqu’un qui ne l’a pas utilisé depuis un moment, à être sur la bonne voie. Il y a des techniciens sur le plateau, comme les DIT, qui pourraient facilement apprendre à le configurer. Pour nous, c’est vraiment la clé pour s’ouvrir à un plus grand nombre de personnes.

Cela se résume vraiment aux choix budgétaires, vous dépensez de l’argent pour louer le système, mais cela vous fera économiser du temps et des coûts plus tard. Et globalement, cela augmente très clairement la qualité de résultat. Les sociétés VFX à qui nous avons présenté le système le voyaient comme un soulagement pour permettre un travail plus créatif. Ils le voient comme un système qui fournira des informations techniques et économisant du temps sur des choses qu’ils n’aiment pas vraiment faire, mais doivent faire. Nous souhaitons aider toutes les équipes à se concentrer sur la partie la plus créative du travail.

Aspect technique et fonctionnement

SR : Lorsque vous regardez le matériel, il y a la Barre de Caméra (Camera Bar) avec des objectifs doubles. Elle a un champ de vision assez large qui détecte les marqueurs dans l’environnement qu’elle voit.

Ensuite, il y a un matériel appelé The Link, qui est assez petit pour réduire l’empreinte et le poids de ce qui est sur la caméra. Il agit comme un hub, collectant des données de la Barre de Caméra, mais aussi des métadonnées de la caméra et de l’objectif.

Les données de l’objectif peuvent être collectées de diverses manières, via SDI, Lemo, XD ou même avec des moteurs d’objectif qui ont des encodeurs rotatifs si ce n’est pas un objectif intelligent. Et si les moteurs ne fournissent pas d’encodeur, le système peut fournir un encodeur rotatif qui peut être chaîné pour obtenir les métadonnées de ces objectifs “non intelligents”.

Ensuite, les données sont transmises à un système de traitement, une petite boîte appelée The Origin, où toutes les données de la barre de caméra, mais aussi de l’objectif et de la caméra, sont agrégées et traitées pour créer un modèle d’objectif virtuel construit à partir de ces données. Ce modèle sera transmis à un système de rendu en direct, tel que Unreal Engine, par exemple.

L’Origin enregistre également en time code toutes les métadonnées qu’il reçoit, en particulier celles des objectifs. Ces données enregistrées peuvent ensuite être exportées et utilisées dans le processus de match moving, le rendant plus simple avec les données de suivi. Cela n’éliminera pas le processus de match moving, mais l’accélérera vraiment. Vous pouvez aussi l’utiliser pour les rushes quotidiens.

JB : Une autre caractéristique intéressante est que vous pouvez accéder à l’interface utilisateur en “wireless”, sans fil.

SR : C’est une interface basée sur le web où vous pouvez voir ce que la Barre de Caméra voit, accéder aux données et opérer à partir de là. Elle a été optimisée pour les appareils mobiles.

JB : Pour résumer ce système de suivi : il peut suivre sans marqueurs spécifiques, en se basant sur les imperfections ou les marques naturelles que vous trouverez là où vous filmez. Mais il peut également suivre des marqueurs réfléchissants. Il y a des situations où vous ne pouvez pas suivre des marqueurs naturels parce qu’il n’y en a pas, comme sur les écrans verts ou les surfaces aveugles. Et enfin, il y a une nouvelle technologie de Brompton, celle des marqueurs cachés que vous pouvez trouver sur des panneaux LED, et notre système peut suivre ces marqueurs invisibles. C’est donc vraiment un système trois-en-un, ce qui le rend très ajustable à la situation de tournage dans laquelle vous vous trouvez.

Conclusion

Le CinCraft Scenario propose une solution qui semble pouvoir être mise en oeuvre plus facilement que certains autres systèmes pouvant nécessiter le déploiement d’une logistique plus lourde.

Cependant le CinCraft Scenario conserve tout de même certaines limitations dont nous avons discuté avec Jacques et Sundeep. Dans un premier temps c’est un système filaire qui ne peut pas passer par une technologie sans fil, les risques de pertes de données seraient trop importants. Par ailleurs, sur des scènes d’action intenses par exemple, le système ne sera pas toujours en mesure d’assurer le suivi. Enfin, il faut garder à l’esprit que le système se base sur les données fournies par les constructeurs, et qu’il faudra voir si les autres fabricants d’optiques joueront le jeu et fourniront leurs données optiques au système CinCraft afin que celui-ci réponde au mieux au besoin des utilisateurs.

Ainsi, ce système ouvre d’intéressantes perspectives, le fait de ne pas à avoir à ajouter de marques de tracking dans le décor est clairement un avantage à ne pas négliger, notamment pour les productions à plus petit budget, ou pour les tournages en extérieur. Reste maintenant à essayer le CinCraft Scenario par nous-même, ce qui fera l’objet d’un prochain article où nous aurons l’occasion de le voir fonctionner en conditions réelles et de faire un retour pratique sur ce système, plus que prometteur.

______

English version

Zeiss has announced the release of its CinCraft Scenario which facilitates the tracking of optics for live, VFX, or LED studios, without the need for markers or external camera systems.

Vincent Tartar, UCO: What problem did you address, and what was the genesis of this system?

JB : I look at Zeiss as a solution provider. We know you face so many concerns when you are prepping for a film that will require VFX, and CinCraft Scenario is our way to address the problem. Overall, it over simplifies the post-production and even the pre-production process, especially when you see how simple the user interface is made.

SR : The Ncam company started in 2012, the first I saw was the Mark 1 system. It was pretty stunning to see everything this system could do, and the one thing that kept coming up was that the system was dependent on lens data. By then, Zeiss had already moved to XD lens data.

JB : In 2020 the Mark 2 system was released, so Sundeep approached them, and we started to talk to Ncam. We had something they needed, the lens data, then our two companies started to work together to develop a new system.

SR : The system had simplified over the years, but having the data directly from the manufacturer was gold. So we thought we could harness the best of both worlds to have a synergy, and find a way to stop having this time-consuming calibration process.

JB : Through time, synergy developed to the point that we said : let’s even discuss an acquisition, let’s have a better future than just being compatible. What if we could improve the issues people are facing on set today, what if we could transform this rather complex user interface into something way easier to use. ? Ncam had a pretty successful ten years in the industry, they were renowned in the broadcast industry, especially in sport programs. For it is important to mention, and that’s key, that this is the only system that can track outdoor.

SR : When we were looking at the technology, quite deeply, we were looking at other technologies as well, but they all had tracking points. Only Ncam system allowed us to go outside and track a scene without hassle, the setting up was quite simple, and it was obvious it was going to change the way people track scenes, especially in filmmaking.

By then in film production, Ncam was used on very high-end visual effects productions, but not widely in the feature film industry. There still were improvements to make it user-friendly, there was this extra distance we had to go to have this system to be used on a film set. A film set is a very active place, very creative and dynamic, it is constantly changing, you have to adapt to the ways shots are made, lights are changing, set is moving, and nobody knows what will come next. You don’t have this level of disruption in broadcast.

So that’s when we started to say, we have to create a system that will work with this kind of environment, and for this kind of operators also. Because you don’t have time to make that many changes on a film set. So we made a workshop, walking through the modus operandi on film set, how does it all work, and how can we adapt to that? There was an education for us, even though we knew how film set worked, we came up with a generic workflow to help us understand the needs on film sets.

Furthermore, we discovered cultural differences: there are different expectations on film sets, from one country to another. What happens in LA is different from what happens in NY, what happens in Europe is very different from how films are made in India, so we had to pull in all these different scenarios, to conceive the system.

We broke it down to the point that we defined five pillars that would help us conceive how the system should work : how the software should work, how you set the system up, where will you do the set-up, what to do when you arrive on the film set, and how does the lens calibration work? These are the things we discussed at length.

It was obvious that the user experience had to change, the system needed to be easy to learn and to use. Most of the tracking systems are very technical to use, and we wanted to answer this question : how a technical system could help solve a problem creatively? Every set is going to have a unique set of challenges, how do we solve them in a creative way? It was really where we wanted to go.

JB : Another ambition, in this process of over simplifying its use, is to create a standard. Let’s imagine a crew going on a three day shoot, choosing this camera, these lenses, all the gears needed, and then why not taking a tracking solution that you could find in any rental company? You would expect the rental company to prep it the same way they prep the other equipment. The other tracking systems work well, but this is the only system that will easily track indoor and outdoor, and that’s a real advantage when you’re shooting on location.

We come from a cine background, we make cine lenses, we address to the rental houses worldwide, they are our customers. So why not address this particular network, they are legitimate to hand over this system to their crew. It was one of the requirements while conceiving the CinCraft Scenario.

Actually, this system is the result of something we started to do a few years back. Around 2016/2017, when Zeiss released the eXtended Data protocol, very few people understood what was the purpose of these lens data, but we knew that we were coming to the age of digital filmmaking. Then we created a whole ecosystem named CinCraft. A couple of years ago, we released mapper, which is exactly about delivering specific information to VFX technicians and artists in a click, without having to eyeball the lens vignetting, for instance. And now we have CinCraft scenario which provides onset tracking but also onset recording of this metadata that we can then send to the post-production team.

So we are addressing two particular key VFX people issues, those doing match moving, which is very time-consuming and prone to errors, and those doing compositing who can easily add optical characteristics to their images.

SR : Another thing is that before we could live track, things were done backwards in a way. For instance, with match moving, first we were shooting then trying to find a way to adapt VFX to this moving image because the technology wasn’t there. Now, with new technologies, such as Unreal Engine, and tracking systems, it is possible to provide all these data. It’s a whole new paradigm.

JB : If we go a little into the details, we presented the system to many VFX supervisors, and the two immediate things that emerged were that there is no more calibration time and that we can shoot outdoor. But now what about the other lenses? It’s not just about Zeiss.

We are going to provide a catalog of other cine and broadcast lenses, only to let the user fine-tune the calibration, as we try to make the user save time. Until maybe third-party lens manufacturers will want to embark because in the end, if this system is seen by the industry as a standard, it would be even better for third-party lenses to be compatible and be « plug-n-play ». Since even if we are doing most of the work by providing data, the user will need to fine-tune the calibration when using third-party manufacturers lenses. We will also provide a calibration manual because there will always be off template lenses.

SR : Actually, one of the questions is how do we make this system an industry standard? The way to do this, you have to make this system scalable enough for people to adapt and learn. Ncam system and all the other fantastic tracking systems out there are pretty complex and complicated for people to learn. The number of things you must learn before you can use them can be daunting, and this is a barrier we would rather not have.

If we talk from a cinematographer perspective, we need them to be able to understand what is happening on set while looking at the system. We don’t want them to look at a tracking technician, having no idea what this technician is doing to make this work.  Instead, we want them to be able to understand the process, where the data goes from, where they will be recorded to, just by looking at the tracking system. It should be that simple to understand. Without that scalability for the people, it can be a barrier to learn, this is why we made it simple to use and understand. I believe this is how you make it a standard that can be adopted.

JB : We’ve simplified it to the point it has a self-explanatory approach. We will put online a portal with tutorials and information on how to use the system. So anyone who is eager to learn how to operate it would find the answers there. We also have wizards in the user interface that will help the new user, or someone who hasn’t used it in a while, to be on the right tracks to use the system. There are people on set, like DITs, who could easily learn to set this up. To us, this is really the key to open up to the greater number of people.

It really comes down to budget allocations, you spend some money to rent the system, but it will save you time and cost later. And overall, this is for a greater quality of result. The VFX companies we presented the system to were seeing it as a relief to allow more creative work. They see it as a system that will provide accurate technical and time-saving information about things they don’t really like to do, but have to do. So the whole purpose it to help focus on a more creative work.

Technical

SR : When you look at the hardware, there is the Camera Bar with dual lenses. It has quite a wide field of view that does detect markers in the environment it’s seeing. Then there is a hardware called The Link, which is quite small to reduce the footprint and the weight of what’s on the camera. It acts has a hub, collecting data from the Camera Bar but also metadata from the camera and lens. The lens data can be collected in various ways, through SDI, Lemo, XD or even with lens motors which have rotary encoders if this is not a smart lens. And if the motors don’t provide an encoder, the system can provide a rotary encoder that can be daisy-chained to get the metadata from those non-smart lenses.

Then the data is passed on to a processing system, a little box we call The Origin, where all the data from the camera bar, but also from the lens and the camera, are aggregated and processed, to create a virtual lens model built from this data. This model will be passed on to a live rendering system, such as the Unreal Engine, for instance. The Origin is also recording on time code all the metadata it receives, especially from the lenses. Those recorded data can then be exported and used in the match moving process, making it simpler with the tracking data. It won’t eliminate the match moving process, but it will really accelerate that process. You can also use it for dailies.

JB : Another interesting feature is you can access the user interface without having to be wired to the system.

SR : It is a web-based interface where you can see what the Camera Bar sees, access data, and operate from there. It’s been optimized for mobile devices.

JB : To summarize this tracking system: It can track without markers, relying on imperfections or natural marks you’ll find where you’ll be filming. But it can also track reflective markers. There are situations where you can’t track natural markers because there aren’t any, like on green screens or blind surfaces. Then there is a new technology from Brompton, which is hidden markers that you can find on LED panels, and our system can track these invisible markers. So it’s really a three-in-one system, which makes it very adjustable to the filming situation you find yourself in.

Conclusion

The CinCraft Scenario offers a solution that appears easier to implement than some other systems, which may require more extensive logistics.

However, the CinCraft Scenario does retain some limitations, which we discussed with Jacques and Sundeep. Firstly, it’s a wired system that cannot rely on wireless technology due to the high risk of data loss. Moreover, in intense action scenes, for instance, the system may not always be able to maintain tracking. Lastly, it’s important to remember that the system relies on data provided by manufacturers, and it remains to be seen if other lens manufacturers will cooperate and supply their optical data to the CinCraft system to best meet users’ needs.

Thus, this system opens up intriguing possibilities; the advantage of not having to add tracking markers in the environment is a clear benefit, especially for smaller-budget productions or outdoor shoots. The next step will be to test the CinCraft Scenario ourselves, which will be the focus of an upcoming article where we’ll see it in real-world conditions and provide practical feedback on this highly promising system.

Par