Aleksander Großmann – Arbeit & Gedanken

Beschreibung

Iyvo ist eine moderne Progressive Web App (PWA), die entwickelt wurde, um Sprachbarrieren so nahtlos wie möglich abzubauen. Das Ziel war eine extrem reaktionsschnelle Übersetzungslösung, die sich wie ein natürliches Gespräch anfühlt.

Die Funktionsweise

Die Bedienung ist bewusst minimalistisch gehalten: Der Nutzer wählt lediglich das Sprachpaar und eine bevorzugte Stimme aus. Über einen zentralen Push-to-Talk Button wird die Spracheingabe gesteuert. Der Clou: Iyvo erkennt automatisch, welche der beiden gewählten Sprachen gerade gesprochen wird, und übersetzt instantan in die jeweils andere.

Technische Umsetzung

Unter der Haube setzt Iyvo auf einen robusten Tech-Stack aus Angular und Firebase/GCP. Das Herzstück der Anwendung ist jedoch die Integration der Gemini Live API. Durch sie wird eine extrem geringe Latenz erreicht, sodass die Übersetzung fast ohne Verzögerung ausgegeben wird. Aktuell handelt es sich um eine erste lauffähige Implementierung (MVP), die das Potenzial moderner KI-Schnittstellen demonstriert und in Zukunft weiter ausgebaut werden soll.

Beschreibung

Lumitar ist die konsequente Weiterentwicklung meiner Vision interaktiver Metahumans. Während frühere Projekte (wie metAl oder CAI) die Grundlagen legten, zielt Lumitar darauf ab, fotorealistische KI-Avatare nahtlos und performant ins Web zu bringen. Es ist ein persönliches Herzensprojekt, das die Lücke zwischen High-End-Visualisierung und zugänglicher Web-Technologie schließen soll.

Die Funktionsweise

Der Fokus liegt auf einer barrierefreien Interaktion: Der Nutzer tritt in einen direkten Dialog mit einem virtuellen Avatar. Das System ist so konzipiert, dass es geräteunabhängig funktioniert – egal ob auf dem Desktop oder dem eigenen Smartphone. Die Kommunikation erfolgt natürlich über Spracheingabe, wobei der Avatar in Echtzeit antwortet und emotional reagiert. Durch die Entkopplung von lokaler Rechenleistung wird ein High-End-Erlebnis auf jedem Endgerät mit Internetzugang möglich.

Technische Umsetzung

Technisch repräsentiert Lumitar die Summe meiner Erfahrungen im Full-Stack-Development. Die Visualisierung erfolgt in der Unreal Engine 5 und wird via Pixelstreaming an den Client übertragen. Das Web-Framework basiert auf Angular, gestützt von einer Firebase/GCP Infrastruktur für Backend und Hosting. Eine wesentliche Neuerung gegenüber meinen früheren Arbeiten ist der Einsatz der Gemini API, die eine extrem reaktionsschnelle Sprachverarbeitung ermöglicht. Die gesamte Architektur wird derzeit von Grund auf neu entwickelt, um Skalierbarkeit und Performance auf ein neues Level zu heben.

Beschreibung

VROW ist die Verwirklichung einer langjährigen Idee: die Fusion von haptischen Fitnessgeräten mit der virtuellen Realität. Der konkrete Anlass war der Kauf eines Kuipers Aquarower Rudergeräts zur Unterstützung meiner körperlichen Fitness während einer Abnehmphase. Da das Gerät über eine Bluetooth-Schnittstelle verfügt und durch den Wasserwiderstand ein realistisches Fahrgefühl bietet, konnte ich meine Vision umsetzen, das Training durch eine immersive PC-VR-Anwendung aufzuwerten.

Die Funktionsweise & Status

Innerhalb von nur zwei bis drei Tagen entwickelte ich einen voll funktionsfähigen Prototypen. Dieser liest die Trainingsdaten via Bluetooth aus und überträgt die Bewegungen direkt in die virtuelle Umgebung. Aktuell pausiert die aktive Entwicklung zugunsten anderer Projekte, doch die Basis steht: Das System ermöglicht bereits jetzt ein vernetztes Rudertraining in VR, das weit über das bloße Abspulen von Bewegungen hinausgeht.

Zukunftsvision & Technische Umsetzung

Die Roadmap für VROW ist ambitioniert: Geplant ist eine steuerungsfreie Bedienung komplett über Handtracking und generative KI, sodass keine Controller nötig sind. Weitere Visionen umfassen die Integration von Podcasts, einen KI-Trainingspartner (ähnlich meinen Avatar-Projekten) zur Unterhaltung sowie eine korrigierte Kalorienberechnung mit automatischer Synchronisation zur MunchMind-App. Technisch wird dies in der Unreal Engine mittels C++ und Visual Scripting realisiert, während Firebase als Backend dient.

Beschreibung

Im Rahmen meiner Tätigkeit bei der CAI Conversational AI GmbH war ich maßgeblich an der Entwicklung eines interaktiven KI-Avatars beteiligt. Das Ziel war die Schaffung eines digitalen Ansprechpartners, der als fotorealistischer Metahuman in Echtzeit mit Kunden interagiert. Diese Lösung wurde speziell für den Einsatz an physischen Kontaktpunkten konzipiert – sei es am Infopunkt im Kaufhaus oder im Wartezimmer – um Serviceprozesse durch eine menschlich wirkende KI zu modernisieren.

Die Funktionsweise

Der Kern des Systems ist ein KI-„Gehirn“, das Gespräche führt und Antworten generiert. Die visuelle Ausgabe des Avatars erfolgt via Pixel Streaming, wodurch die Rechenlast zentralisiert wird. Dies ermöglichte den Einsatz kostengünstiger Hardware vor Ort; oft genügte ein Raspberry Pi 5, um das Signal auf Bildschirme bis zu 85 Zoll im Hochformat zu bringen. Das System ist hochflexibel: Über einen zentralen Server kommunizieren die einzelnen Geräte und Apps miteinander, um ein nahtloses Nutzererlebnis zu gewährleisten.

Technische Umsetzung

Das Projekt vereinte mehrere komplexe Technologien: Die Visualisierung wurde in der Unreal Engine realisiert, während die gesamte Logik und die Server-Kommunikation in Python implementiert wurden. Für die Sprachintelligenz kam die OpenAI API (Response Modell) zum Einsatz. Ein weiterer Schwerpunkt meiner Arbeit lag auf einem umfangreichen Web-Konfigurator auf Basis von Angular und Firebase. Über dieses Dashboard ließen sich Parameter wie die System-Prompts (Instructions), die Stimme, das UI sowie das visuelle Erscheinungsbild des Metahumans für jede Instanz individuell und dynamisch anpassen.

Beschreibung

MunchMind entstand aus einem persönlichen Bedürfnis heraus: dem Wunsch, effektiv abzunehmen, ohne sich mit den Unzulänglichkeiten existierender Apps abzufinden. Da mich keine der verfügbaren Lösungen überzeugte, entwickelte ich als Anwendungsentwickler kurzerhand mein eigenes Tool. Das Ergebnis ist ein smarter Kalorientracker, der sich auf das Wesentliche konzentriert. Der Erfolg spricht für sich: In den ersten drei Monaten der Nutzung konnte ich selbst bereits 13 Kilo abnehmen.

Die Funktionsweise

Die App fungiert als persönlicher Ernährungsbegleiter und ist als Progressive Web App (PWA) auf jedem Gerät sofort einsatzbereit. Nutzer können ihre Mahlzeiten über einen umfangreichen Katalog tracken, ihr Gewicht überwachen und Ziele definieren – sei es Abnehmen, Zunehmen oder das Gewicht zu halten. Ein besonderes Highlight sind die KI-basierten Berichte: Wöchentliche und monatliche Analysen geben individuelle Empfehlungen und helfen, die Motivation hochzuhalten. Mittlerweile ist das Projekt so weit fortgeschritten, dass es als kommerzielles Produkt inklusive Bezahlsystem verfügbar ist, auch wenn ich stetig an weiteren Verbesserungen arbeite.

Technische Umsetzung

Technisch basiert MunchMind auf einem modernen Stack mit Angular für das Frontend und Firebase/GCP für das Backend und Hosting. Die Intelligenz hinter den Analysen wird durch eine Kombination aus der Gemini API und der OpenAI API bereitgestellt, die die Nutzerdaten auswertet und personalisiertes Feedback generiert. Als PWA bietet die Anwendung eine native App-Experience direkt aus dem Browser heraus, ohne den Umweg über App-Stores.

Beschreibung

Finstat ist ein rein privates Projekt, das aus dem Wunsch nach besserer finanzieller Übersicht entstanden ist. Ziel war es, Einnahmen und Ausgaben so zu visualisieren, dass ein intuitives Gefühl für die eigenen Finanzen entsteht. Im Gegensatz zu öffentlichen Anwendungen ist dieses Tool maßgeschneidert auf meine persönlichen Anforderungen und dient ausschließlich der eigenen Haushaltsplanung.

Die Funktionsweise

Konzipiert als Web-Anwendung, analysiert Finstat meine Kontobewegungen und bereitet diese grafisch auf. Die Logik ist dabei spezifisch auf die von mir genutzten Bankenschnittstellen und Kategorien zugeschnitten. Da eine Veröffentlichung umfangreiche Anpassungen für die Allgemeinheit erfordern würde, bleibt Finstat ein exklusives Tool für mein eigenes Finanzmanagement, das genau das tut, was es soll: Transparenz im eigenen Geldbeutel schaffen.

Technische Umsetzung

Auch für dieses interne Tool kam ein moderner Tech-Stack zum Einsatz. Das Frontend wurde mit Angular und TypeScript realisiert, um eine performante Benutzeroberfläche zu gewährleisten. Serverseitig fungiert Firebase als Backend, was eine schnelle Entwicklung und unkomplizierte Datenhaltung ermöglichte.

Beschreibung

CAI UWE ist die private Evolution des ursprünglichen metAI-Konzepts und damit quasi das „Geschwisterprojekt“ zur kommerziellen CAI-Lösung. Es handelt sich um ein dauerhaftes Experimentierfeld, das ständig weiterentwickelt wird und verschiedene Phasen durchlaufen hat – von einer anfangs steuerbaren Spielumgebung bis hin zur aktuellen Inkarnation als eigenständige virtuelle Persönlichkeit mit Charakter.

Die Funktionsweise

In der aktuellen Ausbaustufe verzichtet das Projekt auf Pixel Streaming und setzt stattdessen auf Multistreaming: Der Avatar „UWE“ wird gleichzeitig auf Twitch, YouTube und Kick übertragen. Die Interaktion erfolgt dabei kanalübergreifend. Nutzer können sowohl über die jeweiligen Live-Chats der Plattformen als auch über eine eigens entwickelte Webseite mit ihm kommunizieren. Ein besonderes Feature der Webseite ist die Möglichkeit, nicht nur per Text, sondern auch direkt per Sprache mit dem Avatar in Kontakt zu treten.

Technische Umsetzung

Technisch basiert das System auf der Unreal Engine 5 für die Visualisierung und einem Backend-Mix aus Python und Firebase. Die Web-Komponente wurde mit Angular umgesetzt. Da es sich um ein "Living Project" handelt, stehen die nächsten Schritte bereits fest: Geplant sind ein umfassender Umbau mit Integration der Gemini Live API für noch flüssigere Gespräche sowie die potenzielle Rückkehr zum Pixel Streaming, um die Interaktivität erneut zu steigern.

Beschreibung

VRealest ist ein privates Herzensprojekt, das aus einem ganz konkreten Anlass entstand: dem Hausbau meiner Partnerin. Ziel war es, das zukünftige Eigenheim bereits vor der Fertigstellung virtuell begehbar zu machen. Was als reine Visualisierung begann, entwickelte sich schnell zu einem umfangreichen Planungswerkzeug für Desktop VR, mit dem Räume nicht nur betrachtet, sondern aktiv gestaltet werden konnten.

Die Funktionsweise

Die Anwendung bot weit mehr als einen reinen Rundgang: Nutzer konnten aus einem riesigen Katalog Möbel platzieren sowie Wand- und Bodenbeläge dynamisch austauschen. Ein besonderes Feature war die implementierte "Toolgun", mit der sich Lichtschalter anbringen und logisch mit Lampen vernetzen ließen, um das Licht live zu steuern. Abgerundet wurde die Immersion durch ein einstellbares System für dynamisches Wetter und Tageszeiten. Dank einer Cloud-Anbindung konnten komplette Einrichtungskonzepte jederzeit gespeichert und wieder geladen werden.

Technische Umsetzung

Das Projekt wurde in der Unreal Engine 5 realisiert, wobei eine Mischung aus C++ und Visual Scripting (Blueprints) zum Einsatz kam. Für die Persistenz der Daten sorgte eine Anbindung an Firebase/GCP, die das Speichern der komplexen Raumkonfigurationen übernahm. Auch wenn die aktive Entwicklung derzeit ruht, ist die technologische Basis so solide, dass das Projekt jederzeit neu aufgelegt werden könnte.

Beschreibung

Der KUKA Dome war ein immersives Highlight auf der Messe Automatica in den Jahren 2023 und 2025. Es handelte sich um eine beeindruckende Kuppelprojektion mit einem Durchmesser von 7 Metern und einer Höhe von ca. 3 bis 4 Metern, die den Messebesuchern ein raumfüllendes visuelles Erlebnis bot. Meine Verantwortung lag hierbei in der vollständigen technischen Realisierung der Anlage – vom physischen Aufbau bis zur finalen Inbetriebnahme des Systems.

Die Funktionsweise & Evolution

Das Projekt durchlief eine spannende technologische Entwicklung: Während 2023 noch vorgefertigte Videosequenzen ausgespielt wurden, verwandelte sich der Dome 2025 in eine interaktive Erlebniswelt. Besucher konnten mittels Joypad selbstständig durch virtuelle KUKA-Anlagen navigieren. Die Bildausgabe erfolgte dabei nahtlos über fünf zusammengeschaltete Projektoren, die ein immersives 360-Grad-Gefühl erzeugten.

Technische Umsetzung

Der Fokus meiner Arbeit lag auf der Hardware- und Software-Infrastruktur, nicht auf der Content-Erstellung. Für die geometrische Korrektur und das nahtlose Blending der fünf Projektoren kam Domeprojection zum Einsatz, während die Ausspielung zentral über Resolume gesteuert wurde. Im Jahr 2025 wurde das Setup komplexer: Hier wurde eine interaktive Anwendung der Unreal Engine mittels des Off World Live Plugins über NDI in Echtzeit an den Medienserver gestreamt. Ich sorgte dafür, dass diese komplexe Signalkette von der Verkabelung bis zum fertigen Bild fehlerfrei funktionierte.

Beschreibung

metAI markiert den Startpunkt meiner Entwicklung interaktiver KI-Avatare und gilt als der direkte Vorläufer der Projekte CAI, CAI UWE und Lumitar. Die visionäre Idee, einen fotorealistischen Metahuman als antwortfähigen Gesprächspartner zu erschaffen, entstand bereits, bevor OpenAI die erste Version von ChatGPT veröffentlichte. Dieses Projekt legte das fundamentale Fundament für alle darauffolgenden Arbeiten in diesem Bereich.

Die Funktionsweise & Historie

Mit der Verfügbarkeit der OpenAI API wurde das Konzept realisierbar: Der Avatar wurde an die KI angebunden, um auf Nutzeranfragen intelligent zu reagieren. Ursprünglich für Desktop und Desktop-VR konzipiert, bildete metAI die technologische Basis, aus der sich später zwei Pfade entwickelten. Zum einen entstand daraus im Unternehmenskontext die professionelle Lösung "CAI", zum anderen führte ich den Code privat weiter, was schließlich in das 24/7-Streaming-Projekt "CAI UWE" mündete.

Technische Umsetzung

Als technologischer Pionier in diesem Feld setzte das Projekt von Anfang an auf die Unreal Engine 5. Die Implementierung erfolgte über eine Kombination aus C++ und Visual Scripting (Blueprints). Das Herzstück war die Integration der OpenAI API, die dem visuellen Modell erstmals eine kognitive Ebene verlieh.

Beschreibung

Anlässlich des 500-jährigen Jubiläums der Fuggerei entstand der "Fugger Next500" Pavillon, für den ich gleich vier unterschiedliche digitale Exponate und Infrastrukturen umgesetzt habe. Dieses Projekt forderte eine hohe Bandbreite an Fähigkeiten: von der Webentwicklung über Hardware-Installation bis hin zum Game Design und der Programmierung in der Unreal Engine.

Die einzelnen Module

Das Projekt gliederte sich in vier Bereiche:

1. Audioguide: Ich entwickelte eine webbasierte Lösung, die Besucher mittels QR-Codes auf ihren eigenen Smartphones nutzen konnten, um Audioinhalte zu den Exponaten abzurufen.
2. Mediensteuerung: Für die Bespielung zahlreicher Monitore im Pavillon richtete ich ein Netzwerk aus Raspberry Pis ein und konfigurierte die zentrale Steuerung über Yodeck.
3. Interaktive Spenden-App: Ein Highlight war die Kopplung von Mobile-Web und 3D-Visualisierung. Spenden, die Besucher über eine Web-App tätigten, lösten in Echtzeit das Pflanzen virtueller Bäume in einer Unreal Engine Anwendung aus – ein Symbol für später real gepflanzte Bäume.
4. Fuggerei-Spiel: An zwei Touchscreen-Stationen lief ein von mir maßgeblich mitentwickeltes Aufbauspiel. Hierbei war ich nicht nur für die technische Umsetzung und das Hardware-Setup verantwortlich, sondern entwarf auch große teile der Spielmechanik und des Highscore-Systems.

Technische Umsetzung

Technisch war dieses Projekt ein Hybrid aus verschiedenen Welten. Für die visuellen und interaktiven Elemente (Spiel & Spenden-Visualisierung) kam die Unreal Engine zum Einsatz. Die Web-Komponenten (Audioguide & Spenden-Interface) basierten auf modernen Web-Standards und JavaScript. Für die Datensynchronisation, etwa bei den Highscores oder dem Spendenstatus, fungierte Firebase als Backend.

Beschreibung

Das vr-theater@home war einer der ersten Meilensteine meiner professionellen Laufbahn als Anwendungsentwickler. Ursprünglich plante das Staatstheater Augsburg VR-Aufführungen vor Ort, doch die Pandemie erforderte ein radikales Umdenken: Wenn das Publikum nicht ins Theater kommen kann, muss das Theater zum Publikum kommen. So entstand ein innovativer Lieferservice für VR-Erlebnisse, bei dem die Hardware direkt zu den Zuschauern nach Hause geschickt wurde.

Die Funktionsweise

Oberste Prämisse bei der Entwicklung war eine absolute Barrierefreiheit: Der Nutzer sollte die gelieferte Brille (Pico G2 4k) lediglich einschalten müssen, woraufhin die Anwendung automatisch startete; beim Absetzen stoppte sie ebenso automatisch. Neben dieser nativen App entwickelte ich auch eine Web-Anwendung für Nutzer, die bereits eigene VR-Hardware besaßen. Ein inhaltliches Highlight war das interaktive Stück "Solo – Folge 1", bei dem der Zuschauer den Handlungsverlauf durch seine Blickrichtung aktiv beeinflussen konnte.

Technische Umsetzung

Das Projekt umfasste zwei technologische Säulen: Die native Anwendung für die Pico-Headsets wurde in der Unreal Engine 4 realisiert, optimiert für Mobile VR. Parallel dazu entstand eine Web-Lösung auf Basis von JavaScript. Für die Verwaltung der Inhalte und Daten kam Firebase zum Einsatz. Dieses Projekt demonstrierte eindrucksvoll, wie immersive Technologien kulturelle Angebote auch in Krisenzeiten zugänglich machen können.

Mitwirkung bei

Kinesphere, Unser Leben in den Wäldern, 14 Vorhänge, Wittgensteins Mätresse, Erwartung, Solo – Folge 1, Bilder einer Ausstellung, Oleanna – Ein Machtspiel, Event, Der Mitarbeiter – Tagebuch eines Wahnsinnigen, Judas, SHIFTING_PERSPECTIVE

Beschreibung

Im Jahr 2020 habe ich bei der Heimspiel GmbH maßgeblich den Aufbau eines professionellen virtuellen Studios vorangetrieben. Meine Rolle erstreckte sich von der strategischen Auswahl der Hardware-Komponenten bis hin zur vollständigen Einrichtung der Software-Umgebung. Ziel war es, eine moderne Produktionsstätte zu schaffen, in der reale Darsteller nahtlos in digitale Welten integriert werden können.

Das Setup

Das physische Kernstück des Studios bildete ein dreiflächiger Greenscreen. Um eine perfekte Illusion zu erzeugen, musste die reale Kamerabewegung exakt mit der virtuellen Kamera synchronisiert werden; hierfür implementierte ich das präzise Tracking-System von Antilatency. In Kombination mit Blackmagic Kameras und weiteren Studiokomponenten entstand ein leistungsfähiges Gesamtsystem. Neben der technischen Installation entwickelte ich zudem die notwendigen Workflows, um einen reibungslosen Produktionsablauf zu gewährleisten.

Technische Umsetzung

Softwareseitig setzte das Studio auf die Synergie zweier mächtiger Tools: Die Unreal Engine fungierte als Render-Engine für die virtuellen Kulissen, während Aximmetry als zentrale Broadcast- und Compositing-Software diente. Diese Kombination ermöglichte hochwertiges Echtzeit-Compositing. Die Anpassung der virtuellen Sets und die Logik-Implementierung erfolgten dabei primär über Visual Scripting (Blueprints) innerhalb der Unreal Engine.