Мультиобъектная Визуализация обширных лесов в системах виртуального окружения

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Доступ платный или только для подписчиков

Аннотация

В данной статье рассматривается задача визуализации обширных лесных массивов в системах виртуального окружения с помощью облаков точек и аппаратно-ускоренной трассировки лучей. Предлагается новый подход, при котором лесной массив представляется в виде мультиобъекта, состоящего из облака точек дерева-образца и набора отличительных признаков его экземпляров. Описывается разработанный метод развертывания такого мультиобъекта в виртуальный лесной массив на конвейере трассировки лучей, включающий в себя построение ограничивающих параллелепипедов дерева-образца, задание геометрической и цветовой трансформации экземпляров деревьев и синтез изображения этих экземпляров. На основе предложенного метода создана программная реализация (С++, GLSL, Vulkan) и проведена ее апробация на ряде детализированных облаков точек реальных деревьев (листопадных и вечнозеленых). Результаты апробации подтвердили возможность синтеза в реальном времени изображений уникальных обширных лесных массивов (несколько миллионов деревьев) как с высоты “птичьего полета”, так и “с точки зрения пешехода”. Предложенное решение имеет широкий диапазон применений: системы виртуального окружения, видеосимуляторы, научная визуализация, геоинформационные системы, образовательные приложения и др.

Полный текст

Доступ закрыт

Об авторах

П. Ю. Тимохин

Федеральное государственное автономное учреждение “Федеральный научный центр Научно-исследовательский институт системных исследований Национального исследовательского центра “Курчатовский институт””

Автор, ответственный за переписку.
Email: p_tim@bk.ru
ORCID iD: 0000-0002-0718-1436
Россия, 117218, Москва, Нахимовский просп., 36, к. 1

М. В. Михайлюк

Федеральное государственное автономное учреждение “Федеральный научный центр Научно-исследовательский институт системных исследований Национального исследовательского центра “Курчатовский институт””

Email: mix@niisi.ras.ru
ORCID iD: 0000-0002-7793-080X
Россия, 117218, Москва, Нахимовский просп., 36, к. 1

Список литературы

  1. Mikhaylyuk M.V., Kononov D.A., Loginov D.M. Modeling Situations in Virtual Environment Systems // Proceedings of the 23rd Conference on Scientific Services & Internet. 2021. V. 3066. P. 173–181. https://doi.org/10.20948/abrau-2021-6s-ceur
  2. Song Y., Naji S., Kaufmann E., Loquercio A., Scaramuzza D. Flightmare: A Flexible Quadrotor Simulator // ArXiv, abs/2009.00563. 2020. https://doi.org/10.5167/uzh-193792
  3. Maltsev A.V. Integration of Physical Reality Objects with Their 3D Models Visualized in Virtual Environment Systems // Scientific Visualization. 2024. V. 16. No. 2. P. 97–105. https://doi.org/10.26583/sv.16.2.08
  4. Страшнов Е.В., Мироненко И.Н., Финагин Л.А. Моделирование режимов полета квадрокоптера в системах виртуального окружения // Информационные технологии и вычислительные системы. 2020. № 1. C. 85–94. https://doi.org/10.14357/20718632200109
  5. You J., Huai Y., Nie X., Chen Y. Real-Time 3D Visualization of Forest Fire Spread Based on Tree Morphology and Finite State Machine // Computers & Graphics. 2022. V. 103. P. 109–120. https://doi.org/10.1016/j.cag.2022.01.009
  6. Holm S., Schweier J. Virtual forests for decision support and stakeholder communication // Environmental Modelling and Software. 2024. V. 180. Article 106159. https://doi.org/10.1016/j.envsoft.2024.106159
  7. Zürcher R., Zhao J., Lau Sarmiento A., Brede B., Klippel A. Advancing Forest Monitoring and Assessment Through Immersive Virtual Reality // Proceedings of the 26th AGILE Conference on Geographic Information Science. 2023. V. 4. Article 15. https://doi.org/10.5194/agile-giss-4-15-2023
  8. Huang J., Lucash M.S., Scheller R.M., Klippel A. Walking through the forests of the future: using data-driven virtual reality to visualize forests under climate change // International Journal of Geographical Information Science. 2020. V. 35. No. 6. P. 1155–1178. https://doi.org/10.1080/13658816.2020.1830997
  9. Thuvander L., Somanath S., Hollberg A. Procedural Digital Twin Generation for Co-Creating in VR Focusing on Vegetation // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2022. V. XLVIII-4/W5-2022. P. 189–196. https://doi.org/10.5194/isprs-archives-XLVIII-4-W5-2022-189-2022
  10. Murtiyoso A., Holm S., Riihimäki H., Krucher A., Griess H., Griess V.C., Schweier J. Virtual forests: a review on emerging questions in the use and application of 3D data in forestry // International Journal of Forest Engineering. 2023. V. 35. No. 1. P. 29–42. https://doi.org/10.1080/14942119.2023.2217065
  11. Rusch M., Bickford N., Subtil N. Introduction to vulkan ray tracing // Ray Tracing Gems II. NVIDIA. 2021. P. 213–255. https://doi.org/10.1007/978-1-4842-7185-8_16
  12. Newlands C., Zauner K. Procedural Generation and Rendering of Realistic, Navigable Forest Environments: An Open-Source Tool // ArXiv, abs/2208.01471. 2022. P. 1–14. https://doi.org/10.48550/arXiv.2208.01471
  13. Lieb S., Klee N., Lawonn K. Clasping Trees – A Pipeline for Interactive Procedural Tree Generation // International Symposium on Vision, Modeling, and Visualization. 2022. P. 49–56. https://doi.org/10.2312/vmv.20221203
  14. Bao G., Meng W., Li H., Liu J., Zhang X. Hardware instancing for real-time realistic forest rendering // SIGGRAPH Asia 2011 Sketches (SA ’11). 2011. Article 16. P. 1–2. https://doi.org/10.1145/2077378.2077398
  15. Decaudin P., Neyret F. Volumetric billboards // Computer Graphics Forum. 2009. V. 28. No. 8. P. 2079–2089. https://doi.org/10.1111/j.1467-8659.2009.01354.x
  16. Decaudin P., Neyret F. Rendering Forest Scenes in Real-Time // EGSR04: 15th Eurographics Symposium on Rendering. 2004. P. 93–102. https://doi.org/10.2312/EGWR/EGSR04/093-102
  17. Fuhrmann A.L., Umlauf E., Mantler S. Extreme Model Simplification for Forest Rendering // Eurographics Workshop on Natural Phenomena. 2005. P. 57–66. https://doi.org/10.2312/NPH/NPH05/057-066
  18. Zhang Y., Teboul O., Zhang X., Deng Q. Image Based Real-Time and Realistic Forest Rendering and Forest Growth Simulation // 2006 Second International Symposium on Plant Growth Modeling and Applications. 2006. P. 323–327. https://doi.org/10.1109/PMA.2006.44
  19. Laferté J.-M., Daussin G., Flifla J., Haigron P. Real-time Forest Simulation for a Flight Simulator using a GPU // 2008 3rd International Conference on Information and Communication Technologies: From Theory to Applications. 2008. P. 1–7. https://doi.org/10.1109/ICTTA.2008.4530097
  20. Guerrero P. Rendering of Forest Scenes // Technical University of Vienna. 2006. P. 1–9. https://www.cg.tuwien.ac.at/research/publications/2006/G_P_06_RFS/G_P_06_RFS-Report.pdf
  21. Bao G., Li H., Zhang X., Che W., Jaeger M. Realistic real-time rendering for large-scale forest scenes // IEEE International Symposium on VR Innovation. 2011. P. 217–223. https://doi.org/10.1109/ISVRI.2011.5759637
  22. Candussi A., Candussi N., Höllerer T. Rendering Realistic Trees and Forests in Real Time // Eurographics’05. 2005. P. 73–76. https://doi.org/10.2312/egs.20051027
  23. Szijártó G., Koloszár J. Real-time Hardware Accelerated Rendering of Forests at Human Scale // Journal of WSCG. 2004. V. 12. No. 1–3. P. 443–450. http://wscg.zcu.cz/wscg2004/Papers_2004_Full/N23.pdf
  24. Kohek Š., Strnad D. Interactive Large‐Scale Procedural Forest Construction and Visualization Based on Particle Flow Simulation // Computer Graphics Forum. 2018. V. 37. No. 1. P. 389–402. https://doi.org/10.1111/cgf.13304
  25. Neubert B., Franken T., Deussen O. Approximate Image-Based Tree-Modeling using Particle Flows // ACM Transactions on Graphics (TOG). 2007. V. 26. No. 3. P. 88. https://doi.org/10.1145/1275808.1276487
  26. Rodkaew Y., Chongstitvatana P., Siripant S., Lursinsap P. Particle Systems for Plant Modeling // 2003’ International Symposium on Plant Growth Modeling, Simulation, Visualization and their Applications (PMA03). 2003. P. 210–217. https://www.cp.eng.chula.ac.th/~prabhas/paper/ 2003/Particle_Systems_for_Plant_Modeling.pdf
  27. Runions A., Lane B., Prusinkiewicz P. Modeling Trees with a Space Colonization Algorithm // Eurographics Workshop on Natural Phenomena. 2007. P. 63–70. https://doi.org/10.2312/NPH/NPH07/063-070
  28. Zhang X., Bao G., Meng W., Jaeger M., Li H., Deussen O., Chen B. Tree Branch Level of Detail Models for Forest Navigation // Computer Graphics Forum. 2017. V. 36. No. 8. P. 402–417. https://doi.org/10.1111/cgf.13088
  29. Prusinkiewicz P., Lindenmayer A. The Algorithmic Beauty of Plants // Springer Science & Business Media. 1990–2012. P. 228. https://doi.org/10.1007/978-1-4613-8476-2
  30. Wang G., Zhang D., Zhou K., Jia J. Rule and Reuse Based Lightweight Modeling and Real Time Web3D Rendering of Forest Scenes // Proceedings of the 23rd International ACM Conference on 3D Web Technology. 2018. No. 8. P. 1–8. https://doi.org/10.1145/3208806.3208819
  31. Nuić H., Mihajlović Ž. Algorithms for procedural generation and display of trees // Proceedings of the 42nd International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). 2019. P. 230–235. https://doi.org/10.23919/MIPRO.2019.8757140
  32. Garifullin A., Shcherbakov A., Frolov V. Fitting Parameters for Procedural Plant Generation // WSCG 2022 Proceedings, Computer Science Research Notes. 2022. V. 3201. P. 282–288. https://doi.org/10.24132/csrn.3201.35
  33. Kohek Š., Lukač N., Strnad D., Kolingerová I., Žalik B. Data on annotated approximate bilaterally symmetric leaf-off trees based on particle flow simulation and predefined tree crown shape // Data in Brief. 2022. V. 40. P. 1–5. https://doi.org/10.1016/j.dib.2022.107806
  34. Garifullin A., Frolov V.A., Khlupina A.A. Approximate Instancing for Modeling Plant Ecosystems // Proceedings of the 31th International Conference on Computer Graphics and Vision (CEUR Workshop Proceedings). 2021. V. 3027. P. 95–104. https://doi.org/10.20948/graphicon-2021-3027-95-104
  35. Strnad D., Kohek Š., Nerat A., Žalik B. Efficient Representation of Geometric Tree Models with Level-of-Detail Using Compressed 3D Chain Code // IEEE Transactions on Visualization and Computer Graphics. 2020. V. 26. No. 11. P. 3177–3188. https://doi.org/10.1109/TVCG.2019.2924430
  36. Gilet G., Meyer A., Neyret F. Point-based Rendering of Trees // Eurographics Workshop on Natural Phenomena. 2005. P. 67–72. http://evasion.imag.fr/Publications/2005/GMN05/paper1020.pdf
  37. TLS trees – A 3D model collection by kungphil // Sketchfab. https://skfb.ly/oDOZB
  38. Livny Y., Yan F., Olson M., Chen B., Zhang H., El-Sana J. Automatic reconstruction of tree skeletal structures from point clouds // SIGGRAPH ASIA ‘10: ACM SIGGRAPH Asia 2010 papers. 2010. Article No. 151. P. 1–8. https://doi.org/10.1145/1866158.1866177
  39. Du S., Lindenbergh R.C., Ledoux H., Stoter J.E., Nan L. AdTree: Accurate, Detailed, and Automatic Modelling of Laser-Scanned Trees // Remote Sensing. 2019. V. 11. No. 18. P. 2074. https://doi.org/10.3390/rs11182074
  40. Yanchao L., Guo J., Benes B., Deussen O., Zhang X., Huang H. TreePartNet: neural decomposition of point clouds for 3D tree reconstruction // ACM Transactions on Graphics (TOG). 2021. V. 40. No. 6. Article No. 232. P. 1–16. https://doi.org/10.1145/3478513.3480486
  41. Bornand A., Abegg M., Morsdorf F., Rehush N. Completing 3D point clouds of individual trees using deep learning // Methods in Ecology and Evolution. 2024. V. 15. No. 11. P. 2010–2023. https://doi.org/10.1111/2041-210x.14412
  42. Lefrançois M.-K. Ray tracing instances // NVIDIA DesignWorks. Vulkan Ray Tracing Tutorials. 2020–2024. https://github.com/nvpro-samples/vk_raytracing_tutorial_KHR/tree/master/ray_tracing_instances
  43. Смирнов Л.М., Фролов В.А., Волобой А.Г. Анализ производительности методов обхода двухуровневых BVH-деревьев в трассировке лучей на графических процессорах // GraphiСon 2024: материалы 34-й Международной конференции по компьютерной графике и машинному зрению (Россия, Омск, 17–19 сентября 2024 г.). 2024. C. 147–163. https://doi.org/10.25206/978-5-8149-3873-2-2024-147-163
  44. Тимохин П.Ю., Михайлюк М.В. Метод упорядочивания облаков точек для визуализации на конвейере трассировки лучей // Программирование. 2024. № 3. С. 42–53. https://doi.org/10.31857/S0132347424030054
  45. Lefrançois M.-K. Ray tracing intersection // NVIDIA DesignWorks. Vulkan Ray Tracing Tutorials. 2020–2023. https://github.com/nvpro-samples/vk_raytracing_tutorial_KHR/tree/master/ray_tracing_intersection
  46. Lengyel E. Mathematics for 3D Game Programming and Computer Graphics (Third Edition). Boston, MA: Course Technology PTR, 2012. 624 p.
  47. Resource Creation. Buffers // Vulkan 1.3.290 – A Specification (with all ratified extensions). The Khronos Vulkan Working Group. 2024. https://registry.khronos.org/vulkan/specs/ 1.3-khr-extensions/pdf/vkspec.pdf
  48. Pseudo-random number generation: std::mersenne_twister_engine, std::normal_distribution // C++ reference. Numerics library. 2024. https://en.cppreference.com/w/cpp/numeric/random
  49. CloudCompare. 3D point cloud and mesh processing software. http://www.cloudcompare.org/

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Развертывание мультиобъекта в виртуальный лесной массив.

Скачать (1MB)
Метаданные
3. Рис. 2. AABB-описание дерева-образца.

Скачать (396KB)
Метаданные
4. Рис. 3. Трансформация экземпляра дерева-образца.

Скачать (595KB)
Метаданные
5. Рис. 4. Отбор AABBs: (а) AABB_1 не прошел внешний отбор (луч r не попал в AABB_1); (б) AABB_2 не прошел внутренний отбор (луч r не попал ни в одну из сфер); (в) AABB_3 прошел внутренний отбор (луч r попал в сферу).

Скачать (672KB)
Метаданные
6. Рис. 5. Графики зависимости среднего времени t синтеза изображения лесного массива от высоты h наблюдателя для вариантов № 1–3 расстановок из табл. 2. Слева – для лесного массива на основе листопадного дерева-образца № 1 (из табл. 1), справа – на основе вечнозеленого дерева-образца № 3. Шкала оси h – логарифмическая.

Скачать (854KB)
Метаданные
7. Рис. 6. Примеры кадров визуализации виртуальных лесных массивов с помощью нашего решения: слева – вид “от лица пешехода”, справа – вид с высоты “птичьего полета”. Размеры всех лесных массивов – 2000×2000 деревьев. Осенний лес (а) и (б) создан на основе листопадного дерева-образца № 1 из табл. 1 с “сильной” коррекцией цвета (см. табл. 3). Лесные массивы (в), (г) и (д), (е) созданы на основе вечнозеленых деревьев-образцов № 2 и № 3 со “слабой” коррекцией цвета.

Скачать (9MB)
Метаданные

© Российская академия наук, 2025