openegiz Әл-Фараби атындағы ҚазҰУ
AR-МӘЗІР · BR24992975
Ғылыми жоба · BR24992975

Тағам фотосы → 3D →
толықтырылған шындық

AR-мәзірге арналған 3D-модель генераторы: клиент тағамды суретке түсіреді, ал бірнеше минуттан кейін оны толықтырылған шындықта өз үстеліне қояды — тікелей браузерде, қосымша орнатпай.

Кірісте бір фото · шығыста модель мен QR · бәрі өз жабдығыңызда

Digital Egiz Lab Әл-Фараби атындағы ҚазҰУ OpenEgiz · open-source
Мәселе

AR үшін 3D-контент — қымбат және баяу

🎨

Қолмен модельдеу

Әрбір тағамға 3D-суретші немесе фотограмметрия — үнемі өзгеріп тұратын мәзір үшін тым ұзақ және қымбат.

☁️

Бұлттық сервистер

Әрбір генерация үшін төлем, желі кідірістері және қымбаттауы немесе өшірілуі мүмкін бөтен API-ға тәуелділік.

🔒

Деректер құпиялылығы

Өнім фотосуреттерін бөтен инфрақұрылымға жүктеуге тура келеді — бұл бәріне бірдей ұнамайды.

Шешім

Бүкіл цикл — бір құрылғыда

Клиент бір фото жүктейді, жүйе фонды алып тастайды, текстураланған 3D-модель генерациялайды, нақты өлшемді енгізеді және нәтижені жариялайды. Жауабында — QR-код және AR-да қарауға сілтеме.

  • →Қосымша орнатусыз — телефон браузерінде ашылады
  • →Деректер ғимараттан шықпайды
  • →Әрбір генерацияға төлемнің орнына жабдықтың бір реттік құны
Генерация кезеңдері
Бір сұранысты өңдеудің бес кезеңі
Бұл қалай жұмыс істейді

Фотосуреттен AR-модельге дейін

01

Фонды алып тастау

BiRefNet нейрожелісі тағамды қиып алып, ортаға орналастырады.

секундтар
02

3D генерациялау

TRELLIS.2: құрылым → пішін → текстура.

негізгі кезең
03

Нақты өлшем

Модельге тағамның физикалық өлшемі енгізіледі.

миллисекундтар
04

GLB экспорты

Ремеш, жеңілдету, 2K PBR-текстураларды пісіру.

ондаған секунд
05

Жариялау

QR + превью, модельді сайтқа жүктеу.

секундтар

Дайын файлдар сайттың медиатекасына жарияланады — сілтемелер мен QR-кодтар мәңгілік және генератор өшірулі тұрғанда да жұмыс істейді.

Нәтиже мысалы

Пицца: фото → модель → QR

Пиццаның бастапқы фотосы
Бастапқы фото
3D-модель: түс және нормальдар
3D-модель — түс және нормальдар
AR-қарау құралына QR
QR → AR-да қарау

QR-ды сканерлейсіз — AR түймесі бар 3D-модель ашылады. Пиццаны телефон камерасы арқылы тікелей үстелге табиғи өлшемде қоясыз.

Архитектура

Жүйе қалай құрылған

Жүйе архитектурасы
FastAPI → Redis → Celery + TRELLIS.2 → WordPress · бәрі бір edge-құрылғыда
Жабдық

Үстел үстіндегі шағын AI-суперкомпьютер

Бүкіл генерация бір құрылғыда жүреді NVIDIA DGX Spark (GB10 Grace Blackwell чипі) — шағын қорап өлшеміндей, CPU/GPU бірыңғай жадымен.

128 ГБ бірыңғай жад Blackwell GPU 20 ядролы ARM CPU Edge · бұлтсыз
128 ГБCPU/GPU бірыңғай жады — модель мен өңдеу қатар тұрады
100%деректер орнында қалады — фотолар бұлтқа кетпейді
Технологиялар

Не негізінде құрылған

🧠

3D генерациялау

TRELLIS.2 (Microsoft) — flow-matching негізіндегі image-to-3D. Фонды алып тастайтын — BiRefNet.

⚙️

Сервер

FastAPI + кезек Celery + Redis: фото қабылдау, фондық генерация, нақты уақыттағы күй.

📱

Қарау және AR

glTF/GLB, <model-viewer> компоненті және WebXR — 3D және AR тікелей браузерде.

Ашық стандарттар · қолданбалы қабаттың ашық бастапқы коды

Мүмкіндіктер

Шешімді практикалық ететін не

  • →AR-дағы табиғи өлшем — тағам өмірдегідей дәл сол өлшемде пайда болады
  • →Қосымшаларсыз — QR модельді кәдімгі браузерде ашады
  • →Мәңгілік сілтемелер — модельдер генератордан тәуелсіз сайтта тұрады
  • →Ақауларға төзімділік — жарық өшкенде де тапсырма жоғалмайды
  • →Модельдер каталогы — сайтта автоматты түрде жиналады
  • →Екі режим — жылдам превью және жоғары сапа
Нәтижелер

Продакшенде жұмыс істеп тұр

~5 минжылдам режим (512) — превью және мәзірді жаппай жүктеу
~20 минжоғары сапа (1024) — егжей-тегжейлі «витриналық» тағамдар
1 фотокірісте пайдаланушыдан қажеттінің бәрі

Жүйе digitalegiz.kz сайтында өрістетілген: клиент генератор-бет арқылы фото жүктеп, QR және AR түймесі бар дайын 3D-модель алады.

Қолдану

Тек тағам ғана емес

🍽️

Мейрамханалар мен кафелер

AR-мәзір: қонақ тапсырыс бергенге дейін тағамды және оның өлшемін көреді.

🛍️

Ритейл және маркетплейстер

Бір фотодан тауарлардың 3D-карточкалары.

🏛️

Мұражайлар мен білім беру

Толықтырылған шындықтағы экспонаттар мен көрнекі модельдер.

Архитектура бірдей — тек витрина мен «өлшемнің» мағынасы өзгереді.

BR24992975 жобасы

Өз тағамыңызды AR-да көріп көріңіз

Бір фото — және сізде толықтырылған шындықта тікелей телефон браузерінде көрінетін QR-коды бар 3D-модель бар.

digitalegiz.kz ашу → GitHub-тағы бастапқы код

Digital Egiz Lab · Әл-Фараби атындағы ҚазҰУ · openegiz

Слайдтар шолуы · BR24992975

←→ навигация O шолу F экран
01 / 12