Google RawNeRF приближает нас к улучшению изображения
Ранее в этом году Google Research представила свою работу над RawNeRF под названием «NeRF в темноте: синтез представления с расширенным динамическим диапазоном из зашумленных необработанных изображений». ЦВПР (Компьютерное зрение и распознавание образов) 2022 конференция.
Поле нейронного излучения (или NeRF) — это нейронная сеть, которая может получать 2D-изображения и создавать 3D-сцену. Google создала RawNeRF для темных сцен. первоначально опубликовано в июне (ч/т TechCrunch) — который объединяет «изображения, сделанные с разных точек зрения камеры, для совместного шумоподавления и реконструкции сцены».
RawNeRF, использующий RAW-изображения, очень хорошо удаляет шум. В первом примере ниже применение метода Google может убрать шум в достаточной степени, чтобы выделенный знак стал разборчивым.
По сравнению с другими NeRF, RawNeRF от Google может «восстановить гораздо более точные цвета и детали по всей сцене». Точность приближается к телевизионному образцу персонажей, требующих улучшения изображения, а компьютер возвращает что-то невероятно (и неправдоподобно) с высоким разрешением.
Между тем, Google быстро указывает, что RawNeRF — это больше, чем шумоподавитель, и «может изменять положение камеры для просмотра сцены под разными углами», а также изменять экспозицию, тональную карту и фокус (в частности, «рендеринг синтетической расфокусировки с точным эффект боке»).
Google шестиминутное видео дает хороший обзор RawNeRF, в то время как бумага, данныеа также код также доступен. Эта работа находится на стадии исследования, и неизвестно, будет ли она когда-либо использована в продукте. На практике пользователям придется включить захват RAW, который занимает больше места, и делать несколько снимков. Опять же, Google Фото предлагает кинематографические фотографии для воспроизведения трехмерного движения, которое могло произойти в преддверии создания неподвижного изображения.
Л: Оригинал | R: RawNeRF