There is an increasing demand for neural network applications both in-editor and in-game, and on the CPU as well as on the GPU. The neural network inference engine in UE allows developers to load and efficiently run their pre-trained neural network models. NNE addresses these disparate needs by providing a common API - analogous to the existing RHI layer - which allows easy swapping of backends depending on the particular needs of each application.
Exemplar use cases include tooling, animation, rendering, and physics, where each individual use case may have different needs in terms of platform and model support. There are dozens of different ML backends and it is not practical to implement them all, so we provide extensibility hooks which allow external developers to implement the NNE interface in a plug-in providing their own runtime.
перевод от гугл
Растет спрос на приложения нейронных сетей как в редакторе, так и в игре, как на процессоре, так и на графическом процессоре. Механизм вывода нейронных сетей в UE позволяет разработчикам загружать и эффективно запускать предварительно обученные модели нейронных сетей. NNE удовлетворяет эти разрозненные потребности, предоставляя общий API – аналог существующего уровня RHI – который позволяет легко заменять серверные части в зависимости от конкретных потребностей каждого приложения.
Примеры вариантов использования включают инструменты, анимацию, рендеринг и физику, где каждый отдельный вариант использования может иметь разные потребности с точки зрения поддержки платформы и модели. Существуют десятки различных серверных частей ML, и реализовать их все непрактично, поэтому мы предоставляем средства расширения, которые позволяют внешним разработчикам реализовать интерфейс NNE в подключаемом модуле, предоставляющем собственную среду выполнения.
Пока не понял что это такое и можно ли там запускать внешние модели такие как stable diffusion например
Если у тебя есть stable diffusion в onnx.
Тема в архиве.