Publicaciones de Unity
2022
Morten S. Mikkelsen - Revista de Técnicas Infográficas (JCGT)
Para proporcionar un enfoque cómodo y fácil de adoptar a las texturas en mosaico aleatorio en el contexto de los gráficos en tiempo real, proponemos una adaptación del algoritmo de ruido por ejemplo de Heitz y Neyret. El método original preserva el contraste utilizando un método de preservación del histograma que requiere un paso de precomputación para convertir la textura de origen en una textura de transformación y una textura de transformación inversa, ambas de las cuales deben ser muestreadas en el shader en lugar de la textura de origen original. Por lo tanto, se requiere una profunda integración en la aplicación para que esto parezca opaco al autor del shader y el material. En nuestra adaptación omitimos la preservación del histograma y la sustituimos por un novedoso método de mezcla que nos permite muestrear la textura fuente original. Esta omisión es especialmente sensata para un mapa de normales, ya que representa las derivadas parciales de un mapa de alturas. Para difuminar la transición entre las baldosas hexagonales introducimos una métrica sencilla para ajustar los pesos de mezcla. Para una textura de color reducimos la pérdida de contraste aplicando una función de contraste directamente a los pesos de mezcla. Aunque nuestro método funciona para el color, en nuestro trabajo hacemos hincapié en el caso de uso de los mapas normales porque el ruido no repetitivo es ideal para imitar los detalles de la superficie perturbando las normales.
Boris N. Oreshkin, Florent Bocquelet, Félix G. Harvey, Bay Raitt, Dominic Laflamme - ICLR 2022 (Oral, 5% de los mejores trabajos aceptados)
Nuestro trabajo se centra en el desarrollo de una representación neuronal aprendible de la pose humana para herramientas avanzadas de animación asistida por IA. En concreto, abordamos el problema de construir una pose humana estática completa a partir de datos de entrada del usuario dispersos y variables (por ejemplo, ubicaciones y/u orientaciones de un subconjunto de articulaciones del cuerpo). Para resolver este problema, proponemos una novedosa arquitectura neuronal que combina conexiones residuales con la codificación prototípica de una pose parcialmente especificada para crear una nueva pose completa a partir del espacio latente aprendido. Demostramos que nuestra arquitectura supera una línea de base basada en Transformer, tanto en términos de precisión como de eficiencia computacional. Además, desarrollamos una interfaz de usuario para integrar nuestro modelo neuronal en Unity, una plataforma de desarrollo 3D en tiempo real. Además, presentamos dos nuevos conjuntos de datos que representan el problema del modelado estático de la pose humana, basados en datos de captura de movimiento humano de alta calidad, que se harán públicos junto con el código del modelo.
Wilhem Barbier, Jonathan Dupuy - HPG 2022
Presentamos el texturizado por medio borde (Htex), un método de texturizado de mallas poligonales arbitrarias sin parametrización explícita que se puede utilizar en la GPU. Htex se basa en la idea de que las semibordes codifican una triangulación intrínseca para las mallas poligonales, en la que cada semiborde abarca un único triángulo con información de adyacencia directa. En lugar de almacenar una textura separada por cara de la malla de entrada, como hacen los métodos anteriores de texturizado sin parametrización, Htex almacena una textura cuadrada para cada media arista y su gemela. Demostramos que este simple cambio de cara a media arista induce dos propiedades importantes para el texturizado sin parametrización de alto rendimiento. En primer lugar, Htex admite de forma nativa polígonos arbitrarios sin necesidad de código específico para, por ejemplo, caras no cuadradas. En segundo lugar, Htex permite una implementación directa y eficiente en la GPU que utiliza sólo tres búsquedas de texturas por cada media arista para producir texturas continuas en toda la malla. Demostramos la eficacia de Htex renderizando activos de producción en tiempo real.
Laurent Belcour, Thomas Deliot, Wilhem Barbier, Cyril Soler - HPG 2022
En este trabajo, exploramos un cambio de paradigma para construir métodos de Transferencia de Resplandor Precomputada (PRT) de una forma basada en datos. Este cambio de paradigma nos permite aliviar las dificultades de construcción de los métodos PRT tradicionales, como la definición de una base de reconstrucción, la codificación de un trazador de trayectorias específico para calcular una función de transferencia, etc. Nuestro objetivo es allanar el camino a los métodos de aprendizaje automático proporcionando un algoritmo de referencia sencillo. Más concretamente, demostramos el renderizado en tiempo real de la iluminación indirecta en cabellos y superficies a partir de unas pocas mediciones de iluminación directa. Construimos nuestra línea de base a partir de pares de renderizados con iluminación directa e indirecta utilizando únicamente herramientas estándar como la descomposición de valores singulares (SVD) para extraer tanto la base de reconstrucción como la función de transferencia.
Laurent Belcour, Thomas Deliot, Wilhem Barbier, Cyril Soler - HPG 2022
En este trabajo, exploramos un cambio de paradigma para construir métodos de Transferencia de Resplandor Precomputada (PRT) de una forma basada en datos. Este cambio de paradigma nos permite aliviar las dificultades de construcción de los métodos PRT tradicionales, como la definición de una base de reconstrucción, la codificación de un trazador de trayectorias específico para calcular una función de transferencia, etc. Nuestro objetivo es allanar el camino a los métodos de aprendizaje automático proporcionando un algoritmo de referencia sencillo. Más concretamente, demostramos el renderizado en tiempo real de la iluminación indirecta en cabellos y superficies a partir de unas pocas mediciones de iluminación directa. Construimos nuestra línea de base a partir de pares de renderizados con iluminación directa e indirecta utilizando únicamente herramientas estándar como la descomposición de valores singulares (SVD) para extraer tanto la base de reconstrucción como la función de transferencia.
Aakash KT, Eric Heitz, Jonathan Dupuy, P.J. Narayanan - I3D 2022
Los cosenos transformados linealmente (LTC) son una familia de distribuciones que se utilizan para el sombreado área-luz en tiempo real gracias a sus propiedades de integración analítica. Los motores de juego modernos utilizan una aproximación LTC del omnipresente modelo GGX, pero actualmente esta aproximación sólo existe para GGX isotrópico, por lo que no se admite GGX anisotrópico. Mientras que la mayor dimensionalidad presenta un reto en sí misma, mostramos que surgen varios problemas adicionales al ajustar, post-procesar, almacenar e interpolar LTCs en el caso anisotrópico. Cada una de estas operaciones debe realizarse con cuidado para evitar artefactos de renderizado. Encontramos soluciones robustas para cada operación introduciendo y explotando propiedades de invariancia de los LTC. Como resultado, obtenemos una pequeña tabla de consulta de 8^4 que proporciona una aproximación LTC plausible y libre de artefactos al GGX anisotrópico y lo lleva al sombreado área-luz en tiempo real.
Heloise de Dinechin, Laurent Belcour - I3D 2022
En este trabajo, introducimos un novedoso método para renderizar, en tiempo real, superficies lambertianas con un recubrimiento dieléctrico rugoso. Demostramos que el aspecto de tales configuraciones se representa fielmente con dos lóbulos de microfacetas que representan las interacciones directas e indirectas, respectivamente. Ajustamos numéricamente estos lóbulos basándonos en las estadísticas direccionales de primer orden (energía, media y varianza) del transporte de luz utilizando tablas 5D y las reducimos a 2D + 1D con formas analíticas y reducción de dimensiones. Demostramos la calidad de nuestro método mediante la representación eficaz de plásticos y cerámicas rugosos, que se asemejan mucho a la realidad sobre el terreno. Además, mejoramos un modelo de material en capas de última generación para incluir interfaces lambertianas.
2021-2019
Boris N. Oreshkin, Arezou Amini, Lucy Coyle, Mark J. Coates (AAAI 2021)
La previsión de series temporales multivariantes es un problema importante que tiene aplicaciones en la gestión del tráfico, la configuración de redes celulares y las finanzas cuantitativas. Un caso especial del problema se plantea cuando se dispone de un gráfico que recoge las relaciones entre las series temporales. En este trabajo proponemos una arquitectura de aprendizaje novedosa que consigue un rendimiento competitivo o mejor que los mejores algoritmos existentes, sin necesidad de conocer el grafo. El elemento clave de la arquitectura que proponemos es el mecanismo de gating de grafos duros totalmente conectados que se puede aprender y que permite el uso de la arquitectura de previsión de series temporales totalmente conectadas de última generación y de alta eficiencia computacional en aplicaciones de previsión del tráfico. Los resultados experimentales de dos conjuntos de datos de redes de tráfico público ilustran el valor de nuestro planteamiento, y los estudios de ablación confirman la importancia de cada elemento de la arquitectura.
Eric Heitz, Kenneth Vanhoey, Thomas Chambon, Laurent Belcour - Pendiente de publicación en CVPR 2021
Abordamos el problema de calcular una pérdida textural basada en las estadísticas extraídas de las activaciones de características de una red neuronal convolucional optimizada para el reconocimiento de objetos (por ejemplo, VGG-19). El problema matemático subyacente es la medida de la distancia entre dos distribuciones en el espacio de características. La pérdida de la matriz de Gram es la aproximación omnipresente para este problema, pero está sujeta a varias deficiencias. Nuestro objetivo es promover la Distancia Wasserstein en rodajas como sustituto de la misma. Está probado teóricamente, es práctico, sencillo de aplicar y consigue resultados visualmente superiores a la síntesis de texturas mediante optimización o entrenamiento de redes neuronales generativas.
Tomas Akenine-Möller, Cyril Crassin, Jakub Boksansky, Laurent Belcour, Alexey Panteleev, Oli Wright - Publicado en Journal of Computer Graphics Techniques (JCGT)
En el trazado de rayos en tiempo real, el filtrado de texturas es una técnica importante para aumentar la calidad de la imagen. Los juegos actuales, como Minecraft con RTX en Windows 10, utilizan conos de rayos para determinar las huellas de filtrado de texturas. En este artículo, presentamos varias mejoras del algoritmo ray-cones que mejoran la calidad y el rendimiento de la imagen y facilitan su adopción en motores de juego. Demostramos que el tiempo total por fotograma puede disminuir en torno a un 10% en un trazador de rutas basado en la GPU, y proporcionamos una implementación de dominio público.
Laurent Belcour, Megane Bati, Pascal Barla - Publicado en ACM SIGGRAPH 2020 Talks and Courses
Presentamos un nuevo modelo aproximado de reflectancia Fresnel que permite reproducir con precisión la reflectancia real del terreno en motores de renderizado en tiempo real. Nuestro método se basa en una descomposición empírica del espacio de las posibles curvas de Fresnel. Es compatible con la preintegración de la iluminación basada en imágenes y las luces de área utilizadas en los motores en tiempo real. Nuestro trabajo permite utilizar una parametrización de la reflectancia [Gulbrandsen 2014] que antes estaba restringida al renderizado offline.
Jonathan Dupuy - HPG 2020
Presentamos el árbol binario concurrente (CBT), una novedosa representación concurrente para construir y actualizar árboles binarios arbitrarios en paralelo. Fundamentalmente, nuestra representación consiste en un montón binario, es decir, una matriz 1D, que almacena explícitamente el árbol de suma-reducción de un campo de bits. En este campo de bits, cada bit de un valor representa un nodo hoja del árbol binario codificado por la CBT, que localizamos algorítmicamente mediante una búsqueda binaria sobre la suma-reducción. Demostramos que esta construcción permite despachar hasta un hilo por nodo hoja y que, a su vez, estos hilos pueden dividir y/o eliminar nodos de forma concurrente mediante simples operaciones bit a bit sobre el campo de bits. La ventaja práctica de los CBT reside en su capacidad para acelerar algoritmos basados en árboles binarios con procesadores paralelos. Para corroborar esta afirmación, aprovechamos nuestra representación para acelerar un algoritmo basado en la bisección del borde más largo que calcula y renderiza geometría adaptativa para terrenos a gran escala íntegramente en la GPU. Para este algoritmo específico, el CBT acelera la velocidad de procesamiento linealmente con el número de procesadores.
Eric Heitz - EGSR 2020
Presentamos un método exacto, analítico y determinista para el muestreo de densidades cuyas Funciones de Distribución Acumulativa (FDA) no pueden invertirse analíticamente. De hecho, el método de la FDL inversa suele considerarse el más adecuado para el muestreo de densidades no uniformes. Si la FCD no es analíticamente invertible, las soluciones alternativas típicas son aproximadas, numéricas o no deterministas, como la aceptación-rechazo. Para superar este problema, mostramos cómo calcular una parametrización analítica que preserve el área de la región bajo la curva de la densidad objetivo. Lo utilizamos para generar puntos aleatorios uniformemente distribuidos bajo la curva de la densidad objetivo y sus abscisas se distribuyen así con la densidad objetivo. Técnicamente, nuestra idea es utilizar una parametrización analítica aproximada cuyo error pueda representarse geométricamente como un triángulo fácil de recortar. Esta parametrización de corte triangular da soluciones exactas y analíticas a problemas de muestreo que presumiblemente no se podían resolver analíticamente.
Philippe Weier, Laurent Belcour - Publicado en Journal of Computer Graphics Techniques (JCGT)
Presentamos un método ligero y eficaz para renderizar materiales estratificados con interfaces anisótropas. Nuestro trabajo amplía nuestro marco estadístico publicado anteriormente para manejar modelos de microfacetas anisotrópicas. Una idea clave de nuestro trabajo es que, cuando se proyectan en el plano tangente, los lóbulos BRDF de una distribución GGX anisótropa se aproximan bien mediante distribuciones elipsoidales alineadas con el marco tangente: su matriz de covarianza es diagonal en este espacio. Aprovechamos esta propiedad y realizamos el algoritmo de capas isotrópicas en cada eje de anisotropía de forma independiente. Además, actualizamos la asignación de la rugosidad a la varianza direccional y la evaluación de la reflectancia media para tener en cuenta la anisotropía.
Jonathan Dupuy, Laurent Belcour & Eric Heitz - Technical Report 2019
Consideremos una variante uniforme en la media esfera superior unitaria de dimensión d. Se sabe que la proyección rectilínea a través del centro de la esfera unitaria sobre el plano situado sobre ella distribuye esta variante según una distribución d-dimensional proyectiva de Cauchy. En este trabajo, aprovechamos la geometría de esta construcción en dimensión d=2 para derivar nuevas propiedades para la distribución bivariante proyectiva de Cauchy. En concreto, revelamos mediante intuiciones geométricas que integrar y simular una distribución proyectiva de Cauchy bivariante dentro de un dominio arbitrario se traduce en medir y muestrear respectivamente el ángulo sólido subtendido por la geometría de este dominio visto desde el origen de la esfera unidad. Para que este resultado sea práctico para, por ejemplo, generar variantes truncadas de la distribución bivariante proyectiva de Cauchy, lo ampliamos en dos aspectos. En primer lugar, proporcionamos una generalización a las distribuciones de Cauchy parametrizadas por coeficientes de correlación de ubicación-escala. En segundo lugar, proporcionamos una especialización para dominios poligonales, que conduce a expresiones de forma cerrada. Proporcionamos una implementación completa en MATLAB para el caso de dominios triangulares, y discutimos brevemente el caso de dominios elípticos y cómo extender nuestros resultados a distribuciones de Student bivariantes.
Morten Mikkelsen 2020
En este artículo se propone un nuevo marco para la estratificación/composición de mapas de relieve/normales que incluye soporte tanto para múltiples conjuntos de coordenadas de textura como para coordenadas de textura y geometría generadas procedimentalmente. Además, proporcionamos el soporte y la integración adecuados para los mapas de protuberancias definidos en un volumen, como los proyectores de calcomanías, la proyección triplanar y las funciones basadas en el ruido.
Adèle Saint-Denis, Kenneth Vanhoey, Thomas Deliot HPG 2019
Investigamos cómo aprovechar las modernas técnicas neuronales de transferencia de estilo para modificar el estilo de los videojuegos en tiempo de ejecución. Las recientes redes neuronales de transferencia de estilos están preentrenadas y permiten transferir rápidamente cualquier estilo en tiempo de ejecución. Sin embargo, un único estilo se aplica globalmente, a toda la imagen, mientras que a nosotros nos gustaría ofrecer al usuario herramientas de autoría más precisas. En este trabajo, permitimos al usuario asignar estilos (mediante una imagen de estilo) a varias cantidades físicas que se encuentran en el búfer G de un pipeline de renderizado diferido, como la profundidad, las normales o el ID del objeto. A continuación, nuestro algoritmo interpola suavemente esos estilos en función de la escena que se vaya a renderizar: por ejemplo, surge un estilo diferente para distintos objetos, profundidades u orientaciones.
2019-2018
Eric Heitz, Laurent Belcour - EGSR2019
Presentamos un muestreador que genera muestras por píxel logrando una alta calidad visual gracias a dos propiedades clave relacionadas con los errores Monte Carlo que produce. En primer lugar, la secuencia de cada píxel es una secuencia de Owen-scrambled Sobol que tiene propiedades de convergencia de última generación. Los errores de Monte Carlo tienen, por tanto, magnitudes bajas. En segundo lugar, estos errores se distribuyen como un ruido azul en el espacio de la pantalla. Esto los hace visualmente aún más aceptables. Nuestro sampler es ligero y rápido. Lo implementamos con una pequeña textura y dos operaciones xor. Nuestro material complementario ofrece comparaciones con trabajos anteriores para diferentes escenas y recuentos de muestras.
Eric Heitz, Laurent Belcour - ACM SIGGRAPH Talk 2019
Presentamos un muestreador que genera muestras por píxel logrando una alta calidad visual gracias a dos propiedades clave relacionadas con los errores Monte Carlo que produce. En primer lugar, la secuencia de cada píxel es una secuencia de Owen-scrambled Sobol que tiene propiedades de convergencia de última generación. Los errores de Monte Carlo tienen, por tanto, magnitudes bajas. En segundo lugar, estos errores se distribuyen como un ruido azul en el espacio de la pantalla. Esto los hace visualmente aún más aceptables. Nuestro muestreador es ligero y rápido. Lo implementamos con una pequeña textura y dos operaciones xor. Nuestro material complementario ofrece comparaciones con trabajos anteriores para diferentes escenas y recuentos de muestras.
Eric Heitz - Tech Report 2019
Introducimos un mapa de baja distorsión entre triángulo y cuadrado. Este mapeo da lugar a una parametrización que preserva el área y que puede utilizarse para muestrear puntos aleatorios con una densidad uniforme en triángulos arbitrarios. Esta parametrización presenta dos ventajas en comparación con la parametrización de la raíz cuadrada utilizada habitualmente para el muestreo triangular. En primer lugar, tiene menos distorsiones y conserva mejor las propiedades del ruido azul de las muestras de entrada. En segundo lugar, su cálculo se basa únicamente en operaciones aritméticas (+, *), lo que hace que su evaluación sea más rápida.
Eric Heitz - JCGT 2018
El muestreo de importancia de las BSDF de microfacetas utilizando su Distribución de Normales Visibles (VNDF) produce una reducción significativa de la varianza en el renderizado Monte Carlo. En este artículo, describimos una rutina de muestreo eficiente y exacta para la VNDF de la distribución de microfacetas GGX. Esta rutina aprovecha la propiedad de que GGX es la distribución de normales de un elipsoide truncado y muestrear el VNDF de GGX equivale a muestrear la proyección 2D de este elipsoide truncado. Para ello, simplificamos el problema utilizando la transformación lineal que mapea el elipsoide truncado a una semiesfera. Dado que las transformaciones lineales preservan la uniformidad de las áreas proyectadas, el muestreo en la configuración hemisférica y la transformación de las muestras de nuevo a la configuración elipsoidal producen muestras válidas del VNDF GGX.
Eric Heitz - Instrumentos y métodos nucleares en la investigación en física 2018
Presentamos un método geométrico para calcular una elipse que subtiende el mismo dominio de ángulo sólido que un elipsoide colocado arbitrariamente. Con este método podemos ampliar a los elipsoides los cálculos analíticos existentes del ángulo sólido de las elipses. Nuestra idea consiste en aplicar una transformación lineal sobre el elipsoide de forma que se transforme en una esfera a partir de la cual se pueda calcular un disco que cubra el mismo dominio de ángulo sólido. Demostramos que aplicando la transformación lineal inversa sobre este disco obtenemos una elipse que subtiende el mismo dominio de ángulo sólido que el elipsoide. Proporcionamos una implementación en MATLAB de nuestro algoritmo y lo validamos numéricamente.
Eric Heitz, Laurent Belcour - Informe técnico 2018
El muestreo de longitudes de pista es el proceso de muestreo de intervalos aleatorios según una distribución de distancias. Significa que, en lugar de muestrear una distancia puntual de la distribución de distancias, el muestreo de longitud de pista genera un intervalo de distancias posibles.El proceso de muestreo de longitud de pista es correcto si la expectativa de los intervalos es la distribución de distancias objetivo. En otras palabras, el promedio de todos los intervalos muestreados debería converger hacia la distribución de distancias a medida que aumenta su número. En esta nota, hacemos hincapié en que la distribución de distancias que se utiliza para el muestreo de distancias puntuales y la distribución de longitudes de vía que se utiliza para el muestreo de intervalos no son las mismas en general. Esta diferencia puede resultar sorprendente porque, hasta donde sabemos, el muestreo de longitudes de vía se ha estudiado sobre todo en el contexto de la teoría del transporte, donde la distribución de distancias suele ser exponencial: en este caso especial, la distribución de distancias y la distribución de longitudes de vía resultan ser ambas la misma distribución exponencial. Sin embargo, no son iguales en general cuando la distribución de distancias no es exponencial.
Eric Heitz, Stephen Hill (Lucasfilm), Morgan McGuire (NVIDIA) - I3D 2018 (comunicación breve) (Premio a la mejor comunicación)
En este trabajo, proponemos un estimador de la ecuación de iluminación directa que nos permite combinar técnicas de iluminación analítica con sombras estocásticas trazadas por rayos manteniendo la corrección. Nuestra principal contribución es demostrar que la iluminación con sombra puede dividirse en el producto de la iluminación sin sombra y la sombra ponderada por la iluminación. Estos términos pueden calcularse por separado -posiblemente utilizando técnicas diferentes- sin que ello afecte a la exactitud del resultado final dado por su producto. Esta formulación amplía la utilidad de las técnicas de iluminación analítica a las aplicaciones de trazado de rayos, donde hasta ahora se evitaban porque no incorporaban sombras. Utilizamos estos métodos para obtener un sombreado nítido y sin ruido en la imagen de iluminación sin sombra y calculamos la imagen de sombra ponderada con raytracing estocástico. La ventaja de restringir la evaluación estocástica a la imagen de sombra ponderada es que el resultado final sólo presenta ruido en las sombras. Además, eliminamos la distorsión de las sombras por separado de la iluminación, de modo que incluso una eliminación agresiva de la distorsión sólo difumina en exceso las sombras, mientras que se conservan los detalles de las sombras de alta frecuencia (texturas, mapas normales, etc.).
Aleksandr Kirillov - HPG 2018
Las funciones de ruido procedimental tienen muchas aplicaciones en gráficos por ordenador, desde la síntesis de texturas a la simulación de efectos atmosféricos o la especificación de la geometría del paisaje. El ruido puede calcularse previamente y almacenarse en una textura, o evaluarse directamente en tiempo de ejecución de la aplicación. Esta elección ofrece un equilibrio entre la varianza de la imagen, el consumo de memoria y el rendimiento.
Se pueden utilizar algoritmos avanzados para reducir la repetición visual. Las baldosas Wang permiten embaldosar un plano de forma no periódica, utilizando un conjunto relativamente pequeño de texturas. Los mosaicos pueden organizarse en un único mapa de texturas para que la GPU pueda utilizar el filtrado por hardware.
En este artículo, presentamos modificaciones a varias funciones de ruido procedimental populares que producen directamente mapas de textura que contienen el conjunto completo de mosaicos Wang más pequeño. Los descubrimientos presentados en este artículo permiten el mosaico no periódico de estas funciones de ruido y texturas basadas en ellas, tanto en tiempo de ejecución como en un paso previo al procesamiento. Estos hallazgos también permiten disminuir la repetición de efectos basados en el ruido en imágenes generadas por ordenador con un pequeño coste de rendimiento, manteniendo o incluso reduciendo el consumo de memoria.
Eric Heitz, Fabrice Neyret (Inria) - HPG 2018 (Premio al mejor artículo)
Proponemos un nuevo algoritmo de ruido por ejemplo que toma como entrada un pequeño ejemplo de una textura estocástica y sintetiza una salida infinita con la misma apariencia. Funciona con cualquier tipo de entradas de fase aleatoria, así como con muchas entradas de fase no aleatoria que son estocásticas y no periódicas, típicamente texturas naturales como musgo, granito, arena, corteza, etc. Nuestro algoritmo consigue resultados de alta calidad comparables a los de las técnicas de ruido procedimental más avanzadas, pero es más de 20 veces más rápido.
Louis Lettry (ETH Zürich), Kenneth Vanhoey, Luc Van Gool (ETH Zürich) - Pacific Graphics 2018 / Computer Graphics Forum
La descomposición intrínseca descompone una escena fotografiada en albedo y sombreado. Eliminar el sombreado permite "deleitar" las imágenes, que luego pueden reutilizarse en escenas prácticamente reiluminadas. Proponemos un método de aprendizaje no supervisado para resolver este problema.
Las técnicas recientes utilizan el aprendizaje supervisado: requiere un gran conjunto de descomposiciones conocidas, que son difíciles de obtener. En su lugar, nos entrenamos con imágenes no anotadas utilizando imágenes de lapso de tiempo obtenidas de cámaras web estáticas. Aprovechamos el supuesto de que el albedo es estático por definición, y el sombreado varía con la iluminación. Transcribimos esto en un entrenamiento siamés para el aprendizaje profundo.
2018-2016
Laurent Belcour - ACM SIGGRAPH 2018
Derivamos un marco novedoso para el análisis y el cálculo eficientes del transporte de la luz dentro de materiales estratificados. Nuestra derivación consta de dos pasos. En primer lugar, descomponemos el transporte de la luz en un conjunto de operadores atómicos que actúan sobre sus estadísticas direccionales. En concreto, nuestros operadores consisten en reflexión, refracción, dispersión y absorción, cuyas combinaciones son suficientes para describir las estadísticas de la dispersión de la luz varias veces dentro de estructuras estratificadas. Demostramos que los tres primeros momentos direccionales (energía, media y varianza) ya proporcionan un resumen preciso. En segundo lugar, ampliamos el método de suma-doble para que admita combinaciones arbitrarias de dichos operadores de forma eficiente. Durante el sombreado, asignamos los momentos direccionales a lóbulos BSDF. Validamos que la BSDF resultante se aproxima a la verdad sobre el terreno de una forma ligera y eficiente. A diferencia de los métodos anteriores, admitimos un número arbitrario de capas de textura, y demostramos un renderizado práctico y preciso de materiales en capas con una implementación tanto offline como en tiempo real que están libres de precomputación por material.
Jonathan Dupuy y Wenzel Jakob (EPFL) - ACM SIGGRAPH Asia 2018
Uno de los ingredientes clave de cualquier sistema de renderizado basado en la física es una especificación detallada que caracterice la interacción de la luz y la materia de todos los materiales presentes en una escena, normalmente a través de la Función de Distribución de Reflectancia Bidireccional (BRDF). A pesar de su utilidad, el acceso a los conjuntos de datos BRDF del mundo real sigue siendo limitado: esto se debe a que las mediciones implican escanear un dominio cuatridimensional con suficiente resolución, un proceso tedioso y a menudo inviable que requiere mucho tiempo. Proponemos una nueva parametrización que se adapta automáticamente al comportamiento de un material, deformando el dominio 4D subyacente de forma que la mayor parte del volumen se mapea en regiones donde la BRDF toma valores no despreciables, mientras que las regiones irrelevantes se comprimen fuertemente. Esta adaptación sólo requiere una breve medición 1D o 2D de las propiedades retrorreflectantes del material. Nuestra parametrización está unificada en el sentido de que combina varios pasos que anteriormente requerían conversiones intermedias de datos: el mismo mapeado puede utilizarse simultáneamente para la adquisición y almacenamiento de BRDF, y admite la generación eficiente de muestras Monte Carlo.
Eric Heitz, Stephen Hill (Lucasfilm), Morgan McGuire (NVIDIA)
En este trabajo, proponemos un estimador de la ecuación de iluminación directa que nos permite combinar técnicas de iluminación analítica con sombras estocásticas trazadas por rayos manteniendo la corrección. Nuestra principal contribución es demostrar que la iluminación con sombra puede dividirse en el producto de la iluminación sin sombra y la sombra ponderada por la iluminación. Estos términos pueden calcularse por separado -posiblemente utilizando técnicas diferentes- sin que ello afecte a la exactitud del resultado final dado por su producto.
Esta formulación amplía la utilidad de las técnicas de iluminación analítica a las aplicaciones de trazado de rayos, donde hasta ahora se evitaban porque no incorporaban sombras. Utilizamos estos métodos para obtener un sombreado nítido y sin ruido en la imagen de iluminación sin sombra y calculamos la imagen de sombra ponderada con raytracing estocástico. La ventaja de restringir la evaluación estocástica a la imagen de sombra ponderada es que el resultado final sólo presenta ruido en las sombras. Además, eliminamos la distorsión de las sombras por separado de la iluminación, de modo que incluso una eliminación agresiva de la distorsión sólo difumina en exceso las sombras, mientras que se conservan los detalles de las sombras de alta frecuencia (texturas, mapas normales, etc.).
Jad Khoury, Jonathan Dupuy y Christophe Riccio - GPU Zen 2
Los rasterizadores de GPU son más eficientes cuando las primitivas se proyectan en más de unos pocos píxeles. Por debajo de este límite, el búfer Z empieza a hacer aliasing, y la tasa de sombreado disminuye drásticamente [Riccio 12]; esto hace que el renderizado de escenas geométricamente complejas sea un reto, ya que cualquier polígono moderadamente distante se proyectará a tamaño subpíxel. Para minimizar esas proyecciones subpixelares, una solución sencilla consiste en refinar procedimentalmente las mallas gruesas a medida que se acercan a la cámara. En este capítulo, estamos interesados en derivar una técnica de refinamiento procedimental para mallas poligonales arbitrarias.
Eric Heitz (Unity Technologies) y Stephen Hill (Lucasfilm) - Cursos ACM SIGGRAPH 2017
Recientemente hemos introducido una nueva técnica de sombreado de área-luz en tiempo real dedicada a las luces con formas poligonales. En esta charla, ampliamos este marco de iluminación de áreas para que admita luces con forma de líneas, esferas y discos, además de polígonos.
- Diapositivas
- Código de demostración
- Demostración WebGL para luces cuádruples, lineales y de disco
Vincent Schüssler (KIT), Eric Heitz (Unity Technologies), Johannes Hanika (KIT) y Carsten Dachsbacher (KIT) - ACM SIGGRAPH ASIA 2017
El mapeado normal imita los detalles visuales de las superficies utilizando normales de sombreado falsas. Sin embargo, el modelo de superficie resultante es geométricamente imposible, por lo que el mapeado normal suele considerarse un enfoque fundamentalmente defectuoso con problemas inevitables para el trazado de trayectorias Monte Carlo: rompe la apariencia (franjas negras, pérdida de energía) o el integrador (diferente transporte de luz hacia delante y hacia atrás). En este artículo, presentamos el mapeado normal basado en microfacetas, una forma alternativa de falsear los detalles geométricos sin corromper la robustez del trazado de trayectorias Monte Carlo, de forma que no surjan estos problemas.
Jonathan Dupuy, Eric Heitz y Laurent Belcour - ACM SIGGRAPH 2017
Introducimos una nueva parametrización para las distribuciones esféricas que se basa en un punto situado dentro de la esfera, al que llamamos pivote. El pivote sirve como centro de una proyección rectilínea que traza ángulos sólidos sobre el lado opuesto de la esfera. Al transformar las distribuciones esféricas de este modo, derivamos nuevas distribuciones esféricas paramétricas que pueden evaluarse y muestrearse por importancia a partir de las distribuciones originales utilizando expresiones sencillas de forma cerrada. Además, demostramos que si la distribución original puede ser muestreada y/o integrada sobre un casquete esférico, entonces también puede serlo la distribución transformada. Aprovechamos las propiedades de nuestra parametrización para derivar técnicas eficientes de iluminación esférica tanto para el renderizado en tiempo real como offline. Nuestras técnicas son sólidas, rápidas, fáciles de aplicar y logran una calidad superior a la de trabajos anteriores.
Laurent Belcour (Unity), Pascal Barla (Inria) - ACM SIGGRAPH 2017
La iridiscencia en capa fina permite reproducir el aspecto del cuero. Sin embargo, esta teoría requiere motores de renderizado espectral (como Maxwell Render) para integrar correctamente el cambio de apariencia con respecto al punto de vista (conocido como gonocromatismo). Esto se debe al aliasing en el dominio espectral, ya que los renderizadores en tiempo real sólo trabajan con tres componentes (RGB) para toda la gama de luz visible. En este trabajo, mostramos cómo antialiasear un modelo de película fina, cómo incorporarlo a la teoría de microfacetas y cómo integrarlo en un motor de renderizado en tiempo real. Esto amplía la gama de apariencias reproducibles con modelos de microfacetas.
Eric Heitz, Stephen Hill (Lucasfilm) - GPU Zen (libro)
En este capítulo del libro, ampliamos nuestro marco área-luz basado en Cosenos Transformados Linealmente para soportar luces lineales (o de línea). Las luces lineales son una buena aproximación para las luces cilíndricas con un radio pequeño pero distinto de cero. Describimos cómo aproximar estas luces con luces lineales que tienen una potencia y un sombreado similares, y discutimos la validez de esta aproximación.
Laurent Belcour - Cursos ACM SIGGRAPH 2016
El análisis de frecuencia del transporte de la luz expresa la renderización basada en la física (PBR) mediante herramientas de procesamiento de señales. De este modo, se adapta para predecir la frecuencia de muestreo, realizar la eliminación de ruido, realizar el antialiasing, etc. Se han propuesto muchos métodos para tratar casos específicos de transporte de luz (movimiento, lentes, etc.). Este curso pretende introducir conceptos y presentar escenarios de aplicación práctica del análisis frecuencial del transporte de luz en un contexto unificado. Para facilitar la comprensión de los elementos teóricos, se introducirá el análisis de frecuencias junto con una aplicación.
2016
Eric Heitz, Jonathan Dupuy, Stephen Hill (Ubisoft), David Neubelt (Ready at Dawn Studios) - ACM SIGGRAPH 2016
El sombreado con luces de área añade mucho realismo a los renders CG. Sin embargo, requiere resolver ecuaciones esféricas que lo convierten en un reto para el renderizado en tiempo real. En este proyecto, desarrollamos una nueva distribución esférica que nos permite sombrear en tiempo real materiales de base física con luces poligonales.