openegiz КазНУ им. аль-Фараби
AR-МЕНЮ · BR24992975
Научный проект · BR24992975

Фото блюда → 3D →
дополненная реальность

Генератор 3D-моделей для AR-меню: клиент фотографирует блюдо, а через несколько минут ставит его на свой стол в дополненной реальности — прямо в браузере, без установки приложений.

Одно фото на входе · модель и QR на выходе · всё на своём железе

Digital Egiz Lab КазНУ им. аль-Фараби OpenEgiz · open-source
Проблема

3D-контент для AR — дорого и медленно

🎨

Ручное моделирование

3D-художник или фотограмметрия на каждое блюдо — слишком долго и дорого для меню, которое постоянно меняется.

☁️

Облачные сервисы

Оплата за каждую генерацию, задержки сети и зависимость от чужого API, который может подорожать или отключиться.

🔒

Приватность данных

Фотографии продуктов приходится загружать на чужую инфраструктуру — не всех это устраивает.

Решение

Весь цикл — на одном устройстве

Клиент загружает одно фото, система убирает фон, генерирует текстурированную 3D-модель, вписывает реальный размер и публикует результат. В ответ — QR-код и ссылка на просмотр в AR.

  • →Без установки приложений — открывается в браузере телефона
  • →Данные не покидают помещение
  • →Разовая стоимость железа вместо оплаты за каждую генерацию
Этапы генерации
Пять этапов обработки одного запроса
Как это работает

От фотографии до AR-модели

01

Удаление фона

Нейросеть BiRefNet вырезает блюдо и центрирует его.

секунды
02

Генерация 3D

TRELLIS.2: структура → форма → текстура.

главный этап
03

Реальный размер

В модель вшивается физический размер блюда.

миллисекунды
04

Экспорт GLB

Ремеш, упрощение, запекание PBR-текстур 2K.

десятки секунд
05

Публикация

QR + превью, загрузка модели на сайт.

секунды

Готовые файлы публикуются в медиатеку сайта — ссылки и QR-коды вечные и работают, даже когда генератор выключен.

Пример результата

Пицца: фото → модель → QR

Исходное фото пиццы
Исходное фото
3D-модель: цвет и нормали
3D-модель — цвет и нормали
QR на AR-просмотрщик
QR → просмотр в AR

Сканируешь QR — открывается 3D-модель с кнопкой AR. Ставишь пиццу на стол в натуральную величину прямо через камеру телефона.

Архитектура

Как устроена система

Архитектура системы
FastAPI → Redis → Celery + TRELLIS.2 → WordPress · всё на одном edge-устройстве
Железо

Компактный AI-суперкомпьютер на столе

Вся генерация идёт на одном устройстве NVIDIA DGX Spark (чип GB10 Grace Blackwell) — размером с небольшую коробку, с единой памятью CPU/GPU.

128 ГБ единой памяти Blackwell GPU 20-ядерный ARM CPU Edge · без облака
128 ГБединая память CPU/GPU — модель и обработка живут рядом
100%данных остаётся на месте — фото не уходят в облако
Технологии

На чём построено

🧠

Генерация 3D

TRELLIS.2 (Microsoft) — image-to-3D на flow-matching. Фон убирает BiRefNet.

⚙️

Сервер

FastAPI + очередь Celery + Redis: приём фото, фоновая генерация, статус в реальном времени.

📱

Просмотр и AR

glTF/GLB, компонент <model-viewer> и WebXR — 3D и AR прямо в браузере.

Открытые стандарты · открытый исходный код прикладного слоя

Возможности

Что делает решение практичным

  • →Натуральный размер в AR — блюдо появляется точно того размера, что в жизни
  • →Без приложений — QR открывает модель в обычном браузере
  • →Вечные ссылки — модели живут на сайте независимо от генератора
  • →Устойчивость к сбоям — задача не теряется даже при отключении света
  • →Каталог моделей — автоматически собирается на сайте
  • →Два режима — быстрый превью и высокое качество
Результаты

Уже работает в продакшене

~5 минбыстрый режим (512) — превью и массовая загрузка меню
~20 минвысокое качество (1024) — детальные «витринные» блюда
1 фотовсё, что нужно от пользователя на входе

Система развёрнута на digitalegiz.kz: клиент загружает фото через страницу-генератор и получает готовую 3D-модель с QR и кнопкой AR.

Применение

Не только еда

🍽️

Рестораны и кафе

AR-меню: гость видит блюдо и его размер до заказа.

🛍️

Ритейл и маркетплейсы

3D-карточки товаров из одного фото.

🏛️

Музеи и образование

Экспонаты и наглядные модели в дополненной реальности.

Архитектура одинаковая — меняется только витрина и смысл «размера».

Проект BR24992975

Попробуйте своё блюдо в AR

Одно фото — и у вас 3D-модель с QR-кодом, которую видно в дополненной реальности прямо в браузере телефона.

Открыть digitalegiz.kz → Исходный код на GitHub

Digital Egiz Lab · КазНУ им. аль-Фараби · openegiz

Обзор слайдов · BR24992975

←→ навигация O обзор F экран
01 / 12