- Seminar / Training
- NVIDIA
- NVIDIA – CUDA-Kernel entwickeln und Leistungsengpässe messen
- NVIDIA – GPU-Netzwerke und kollektive Kommunikation systematisch prüfen
- NVIDIA – GPU-Plattformen auf Kubernetes betreiben und absichern
- NVIDIA – GPU-Ressourcen für KI-Anwendungen planen und betreiben
- NVIDIA – KI-Agenten mit OpenShell in begrenzten Laufzeitumgebungen betreiben
- NVIDIA – LLM-Inferenz mit TensorRT LLM auf Last und Speicher abstimmen
- NVIDIA – Modelle mit NeMo anhand eigener Daten gezielt anpassen
- NVIDIA – Modelle mit TensorRT und Triton als Dienst bereitstellen
- NVIDIA NIM – Modellbereitstellung und Inferenzbetrieb praktisch prüfen
- NVIDIA – OpenUSD-Szenen für Simulationen mit Omniverse aufbauen
- NVIDIA – Python-Datenanalysen mit GPU-Bibliotheken beschleunigen
- NVIDIA – Robotikabläufe mit Isaac Sim und ROS 2 überprüfen
- NVIDIA – Schutzregeln für KI-Anwendungen mit NeMo Guardrails testen
- NVIDIA – Sprachdienste mit Riva integrieren und anhand eigener Audiodaten prüfen
- NVIDIA – Verteilte Inferenz mit Dynamo planen und messen
- NVIDIA – Videoverarbeitung auf Jetson mit DeepStream betreiben
- Seminar / Training
- NVIDIA
- NVIDIA – CUDA-Kernel entwickeln und Leistungsengpässe messen
- NVIDIA – GPU-Netzwerke und kollektive Kommunikation systematisch prüfen
- NVIDIA – GPU-Plattformen auf Kubernetes betreiben und absichern
- NVIDIA – GPU-Ressourcen für KI-Anwendungen planen und betreiben
- NVIDIA – KI-Agenten mit OpenShell in begrenzten Laufzeitumgebungen betreiben
- NVIDIA – LLM-Inferenz mit TensorRT LLM auf Last und Speicher abstimmen
- NVIDIA – Modelle mit NeMo anhand eigener Daten gezielt anpassen
- NVIDIA – Modelle mit TensorRT und Triton als Dienst bereitstellen
- NVIDIA NIM – Modellbereitstellung und Inferenzbetrieb praktisch prüfen
- NVIDIA – OpenUSD-Szenen für Simulationen mit Omniverse aufbauen
- NVIDIA – Python-Datenanalysen mit GPU-Bibliotheken beschleunigen
- NVIDIA – Robotikabläufe mit Isaac Sim und ROS 2 überprüfen
- NVIDIA – Schutzregeln für KI-Anwendungen mit NeMo Guardrails testen
- NVIDIA – Sprachdienste mit Riva integrieren und anhand eigener Audiodaten prüfen
- NVIDIA – Verteilte Inferenz mit Dynamo planen und messen
- NVIDIA – Videoverarbeitung auf Jetson mit DeepStream betreiben
NVIDIA – Verteilte Inferenz mit Dynamo planen und messen
Kursüberblick
Untersuchen Sie, wann eine verteilte Inferenzarchitektur gegenüber einem einzelnen Dienst sinnvoll ist. Mit NVIDIA Dynamo vergleichen Sie Routing, getrennte Verarbeitungsschritte und Skalierung unter definierten Qualitäts- und Lastbedingungen.
Dauer: 3 Tage.
Ihre Lernziele
- Verteilte Inferenz mit konkreten Lastanforderungen begründen.
- Dynamo-Routing und Ressourcenaufteilung durch Messungen bewerten.
- Ausfallverhalten und Betriebsaufwand in die Architekturentscheidung einbeziehen.
Inhalte im Detail
- Anfrageprofil und Zielwerte vor der Wahl einer verteilten Architektur festlegen.
- Dynamo-Komponenten und unterstützte Inferenz-Backends nachvollziehbar zuordnen.
- Prefill und Decode als getrennte Ressourcenanforderungen betrachten.
- KV-Cache-bezogenes Routing und Datenbewegung im gewählten Setup untersuchen.
- Skalierung, Worker-Ausfälle und Wiederverbindung unter kontrollierter Last prüfen.
- Leistung, Mehrverbrauch und zusätzliche Betriebsabhängigkeiten gegeneinander abwägen.
Praktische Übungen
- Vergleichen Sie eine einfache und eine vereinbarte verteilte Inferenzkonfiguration anhand derselben Mischung aus kurzen und langen Anfragen.
- Untersuchen Sie den Effekt wiederkehrender Anfragepräfixe auf Routing und Antwortzeit anhand nachvollziehbarer Messwerte.
- Unterbrechen Sie einen Laborworker und prüfen Sie Auswirkungen auf laufende Anfragen, Wiederanlauf und erreichbare Dienstqualität.
Zielgruppe
Fortgeschrittene KI-Plattformteams.
Voraussetzungen
Kubernetes, GPU-Inferenz und Lastmessung für Sprachmodelle.
Software und Übungsumgebung
Getrennte GPU-Laborumgebung mit Testdaten. Hardwaregeneration, Treiber, Softwarestand, Modellrechte und gegebenenfalls benötigte NVIDIA-Lizenzen werden vorab auf die Übungen abgestimmt; Zugang erfolgt lokal oder per Fernzugriff. Vereinbarter Dynamo-Backendstand und ausreichende GPU-Ressourcen; Mehrknotentests nach Laborausstattung.
Teilnahmebestätigung
Sie erhalten eine Teilnahmebestätigung von SCN.
Einordnung des Seminars
Der Einstieg richtet sich nach den genannten Voraussetzungen. Die Lernziele werden an eigenen Aufgaben in einer getrennten Testumgebung bearbeitet.
Ansprechpartner
Ihre Berater für das Training NVIDIA – Verteilte Inferenz mit Dynamo planen und messen
-

Johannes Quante
E-Mail: johannes.quante@scngmbh.com
Telefon: + 49 (32) 212 619 106 -

Daniel Unger
E-Mail: daniel.unger@scngmbh.com
Telefon: + 49 (32) 212 619 107 -

Benjamin Meier
E-Mail: benjamin.meier@scngmbh.com
Telefon: + 49 (32) 212 619 105
Vorbereitung Ihres Trainings
Besprechen Sie Ihre Lernziele vorab mit dem Trainer. Unsere Ansprechpartner unterstützen Sie bei individuellen Themen und Firmenschulungen.
Verwandte Seminare
Wählen Sie weitere Schwerpunkte anhand Ihrer Aufgaben und der jeweiligen Voraussetzungen.
- NVIDIA – GPU-Ressourcen für KI-Anwendungen planen und betreiben
- NVIDIA NIM – Modellbereitstellung und Inferenzbetrieb praktisch prüfen
- NVIDIA – CUDA-Kernel entwickeln und Leistungsengpässe messen
- NVIDIA – Python-Datenanalysen mit GPU-Bibliotheken beschleunigen
- NVIDIA – Modelle mit TensorRT und Triton als Dienst bereitstellen
- NVIDIA – LLM-Inferenz mit TensorRT LLM auf Last und Speicher abstimmen
- NVIDIA – GPU-Plattformen auf Kubernetes betreiben und absichern
- NVIDIA – Modelle mit NeMo anhand eigener Daten gezielt anpassen
- NVIDIA – Schutzregeln für KI-Anwendungen mit NeMo Guardrails testen
- NVIDIA – OpenUSD-Szenen für Simulationen mit Omniverse aufbauen
- NVIDIA – Robotikabläufe mit Isaac Sim und ROS 2 überprüfen
- NVIDIA – Videoverarbeitung auf Jetson mit DeepStream betreiben
- NVIDIA – Sprachdienste mit Riva integrieren und anhand eigener Audiodaten prüfen
- NVIDIA – GPU-Netzwerke und kollektive Kommunikation systematisch prüfen
- NVIDIA – KI-Agenten mit OpenShell in begrenzten Laufzeitumgebungen betreiben
Buchung
Service
Wir bieten Ihnen Seminare mit einem hohen Praxisbezug an. Die Inhalte und Übungen sind auf Ihre täglichen Aufgaben im Unternehmen ausgerichtet und verzichten vollständig auf Werbehinweise anderer Produkte des Softwareherstellers.
Alle Trainings bei uns sind herstellerunabhängig. Dies ermöglicht es uns kritische Betrachtungen zu den Produkten selbst und Vergleiche zu Wettbewerbern des Herstellers im Seminar anzubieten. Die Kursinhalte sind eigene Inhalte und aus den praktischen Erfahrungen unserer Trainer in Projekten abgeleitet.
Selbstverständlich können die Inhalte bei Firmenseminaren individuell an Ihre Bedürfnisse angepasst werden. Bitte sprechen Sie uns einfach an.
Buchung
Das Seminar wurde auf die Merkliste gesetzt
Das von Ihnen gewählte Seminar wurde bereits auf die Merkliste gesetzt
Bitte wählen Sie einen freien Termin aus
Bitte geben Sie Ihren Wunschtermin im Format tt.mm.jjjj ein
Bitte wählen Sie einen freien Termin aus
Bitte geben Sie den gewünschten Termin im Format tt.mm.jjjj der Schulung ein