Leistung 07 — KI-InfrastrukturvLLM · GPU-Orchestrierung · Training · Distillation

Ihre KI-Systeme werden fachlich geprüft und verantwortungsvoll betrieben.

Ein Modell ist schnell vorgeführt. Ob es im Betrieb hilft, entscheidet sich an anderen Fragen: ob es die fachliche Bewertung Ihrer Mitarbeiter trifft, ob Trainings- und Testdaten sauber sind, ob die Daten geschützt bleiben und ob sich eine neue Version gegen die bisherige prüfen und bei Bedarf zurücknehmen lässt.

Erstgespräch vereinbaren

Hilft in diesen Situationen

LösungDer Prototyp funktioniert, ist aber noch nicht betriebsreif. Damit aus einer überzeugenden Demo ein System für den Alltag wird, ergänzen wir Tests, Überwachung, Datensicherung, Zugriffsrechte und Datenschutz. Am Ende kann Ihr Team die Software eigenständig betreiben.LösungDie KI soll im eigenen Haus laufen. Sprachmodelle und die zugehörige Infrastruktur laufen auf Ihrer eigenen Hardware oder in einem deutschen Rechenzentrum. Ihre Daten verlassen das Unternehmen nicht, und die Kosten bleiben unabhängig von der Zahl der Anfragen planbar.LösungFür das Problem gibt es keine fertige Lösung. Die Aufgabe wird zerlegt, die kritischen Teile werden an einem Prototyp erprobt, und daraus entsteht die Lösung. Nach wenigen Tagen erhalten Sie eine fundierte Einschätzung, ob und mit welchem Aufwand sich das Vorhaben umsetzen lässt.

Typische Herausforderungen

Die Daten sind sensibel, und trotzdem soll ein Modell helfen.

Patente, personenbezogene Daten, Geschäftsgeheimnisse oder Branchenauflagen lassen sich nicht in eine beliebige Cloud laden. Erforderlich sind dann klare Datenwege, eine kontrollierte Infrastruktur und eine Architektur, die den Datenschutz von Beginn an berücksichtigt.

Der Prototyp überzeugt, der Alltag stellt höhere Anforderungen.

Demodaten sind sauber, Produktivdaten selten. Mit wachsendem Volumen treten Sonderfälle auf, und Nutzer stellen andere Fragen als erwartet; deshalb gehören Datenaufbereitung, Bewertung, Überwachung, Lastverhalten und Übergabe früh in die Planung.

Niemand weiß, welches Modell gerade im Einsatz ist.

Bei klassischer Software lässt sich jederzeit sagen, welche Version läuft. Bei KI-Systemen muss diese Frage ebenso klar beantwortet werden können, einschließlich Datensatz, Messwerten, Freigabe und einem Rückweg, falls die neue Version schlechter abschneidet.

So gehen wir vor

01
Anwendungsfall zuschneiden
Nicht jedes Datenproblem erfordert maschinelles Lernen; häufig genügen Regeln, Suche oder Statistik. Diese Entscheidung spart Kosten und macht Systeme oft besser überprüfbar.
02
Daten- und Betriebsarchitektur
Datenquellen, Zugriffsrechte, Hardware, Inferenz und Anbindungen werden so zugeschnitten, dass das System in Ihren Betrieb passt.
03
Modellpflege
Training, Bewertung, Versionierung, Freigabe und Rücknahme bilden einen geschlossenen Kreislauf. So lassen sich das laufende und ein neues Modell unter gleichen Bedingungen vergleichen.
04
Regelkonformität
Risikoklassifizierung, Protokollierung, Dokumentation und menschliche Aufsicht sind fester Bestandteil des Ablaufs und werden nicht erst nach Projektende ergänzt.

Was Sie erhalten

Trainiertes Modell, Reranker oder Fine-Tuning auf Ihren Daten, einschließlich Konzept für Datenaufbereitung und Bewertung
Inferenzplattform (z. B. vLLM, Triton, TGI) mit Last- und Kostenbetrachtung
Kreislauf für Modellpflege mit Modellregister, Vergleich von laufendem und neuem Modell sowie reproduzierbarer Rücknahme
GPU-Cluster auf eigener Hardware oder bei EU-Anbietern (Hetzner, OVH)
Unterlagen zum EU AI Act mit Risikoklassifizierung, Protokollierung und Dokumentation

vLLM · Triton · PyTorch · TRL · LoRA · MLflow · Aim · Qdrant · BM25/SPLADE · CUDA

Referenzen

BidLyzer mit nach Leistungsprofil bewerteten Ausschreibungen

Eigenes Produkt · SaaSBidLyzer Unser eigenes Produkt: vom Prototyp zur SaaS-Plattform, die Kunden wie RIDI, CoverIT und Metallbau Rönisch im Alltag nutzen.

Wissenssystem · MittelstandSignostar GmbH Wissenssystem und Helpdesk-Assistent, im produktiven Einsatz bei einem Leipziger Hersteller.

Oberfläche der Klassifikations-Pipeline für Kunstwerke

BilderkennungKlassifikations-Pipeline Klassifikations-Pipeline für Kunstwerke und Archivbestände: GPU-Batch-Inference, versionierte Modelle.

Heatmap der Photovoltaik-Anlagen aus der Standortanalyse für ROSI

Geodatenanalyse · 2024ROSI SAS Standortanalyse auf Basis von fast sechs Millionen PV-Datensätzen. Grundlage für eine Investition von 26 Mio. €.

Schulung zum Thema

Schulung · 2 TageAI Observability: Monitoring und Tracing produktiver KI-Anwendungen Die Teilnehmer lernen, KI-Anwendungen im Produktivbetrieb zu überwachen, zu analysieren und kontinuierlich zu verbessern, als Grundlage für einen verlässlichen und wirtschaftlichen Betrieb.

Häufige Fragen

Wann lohnt sich ein eigener Betrieb On-Premise?

Sobald die monatliche Rechnung für Cloud-Sprachmodelle 3.000 bis 5.000 € erreicht oder Daten aus regulatorischen Gründen das Haus nicht verlassen dürfen. Die Wirtschaftlichkeit rechnen wir gemeinsam mit Ihnen durch.

Welche Modelle setzen Sie ein?

Open-Source-Sprachmodelle, Bildmodelle, Reranker und klassische ML-Verfahren, je nach Anwendungsfall. Die Wahl richtet sich nach Datenlage, Antwortzeit, Kosten, Erklärbarkeit und Betriebsanforderungen.

Was, wenn wir keine eigene Hardware haben?

Dann mieten wir GPU-Kapazität bei EU-Anbietern wie Hetzner oder OVH und bauen die Umgebung so auf, wie sie später auch auf eigener Hardware laufen würde.

Berücksichtigen Sie EU AI Act und DSGVO?

Ja, von Beginn an. Risikoklassifizierung, Protokollierung, menschliche Aufsicht und Dokumentation sind Bestandteil jedes Projekts.

Nächster Schritt

Sprechen Sie mit uns über KI-Infrastruktur für Ihr System.

In einem kostenlosen Gespräch von 30 Minuten schildern Sie die Ausgangslage. Anschließend wissen Sie, ob und auf welchem Weg wir helfen können.