Alle Leistungen
01 — MLOps & On-Premise ML
Baldin & FriendsEigene Modelle, präzise Suche, sichere Updates

ML-Systeme, die fachlich geprüft und verantwortbar betrieben werden.

Ein Modell ist schnell demonstriert. Schwieriger ist die Frage: Trifft es die fachliche Bewertung Ihrer Teams? Sind Labels und Testdaten belastbar? Bleiben Daten geschützt? Lässt sich eine neue Version gegen ein Challenger-Modell prüfen und zurückrollen? An diesen Stellen entscheidet sich, ob ML im Betrieb hilft.

02Typische Ausgangslage

Womit unsere Kunden zu uns kommen.

01

Die Daten sind sensibel. Trotzdem soll ein Modell helfen.

Patente, Personendaten, Geschäftsgeheimnisse oder Branchenauflagen lassen sich nicht einfach in irgendeine Cloud laden. Dann braucht es klare Datenwege, kontrollierte Infrastruktur und eine Architektur, in der Datenschutz nicht nachträglich angeklebt wird.

02

Der Prototyp überzeugt. Der Alltag ist härter.

Demo-Daten sind sauber. Produktivdaten selten. Volumen steigt, Sonderfälle tauchen auf, Nutzer stellen andere Fragen als erwartet. Deshalb gehören Labeling, Evaluation, Monitoring, Lastverhalten und Übergabe früh in die Planung.

03

Niemand weiß, welches Modell gerade live ist.

Bei klassischer Software fragt man: Welche Version läuft? Bei ML muss diese Frage genauso beantwortbar sein. Mit Datensatz, Messwerten, Freigabe und Rückweg, falls die neue Version schlechter ist.

03Vorgehen

Wie wir das angehen.

01

Use-Case-Schnitt.

Nicht jedes Datenproblem braucht ML. Manchmal reichen Regeln, Suche oder Statistik. Diese Entscheidung spart Geld und macht Systeme oft besser prüfbar.

02

Daten- und Betriebsarchitektur.

Datenquellen, Zugriff, Hardware, Inference, Suchlogik und Integrationspunkte werden so zugeschnitten, dass das System in Ihren Betrieb passt.

03

MLOps-Schleife.

Training, Evaluation, Modellversionierung, Freigabe und Rollback bilden eine geschlossene Schleife. Champion- und Challenger-Modelle werden vergleichbar, statt nur nacheinander ausprobiert.

04

Compliance.

Risikoklassifikation, Logging, Dokumentation und menschliche Aufsicht gehören in den Ablauf, nicht in einen Ordner nach Projektende.

04 — Lieferumfang

Was Sie konkret bekommen.

  • Trainiertes Modell, Reranker oder Fine-Tune auf Ihrem Korpus inklusive Labeling- und Evaluationskonzept
  • Inference-Stack (z. B. vLLM, Triton, TGI) mit Last- und Kostenbetrachtung
  • MLOps-Schleife mit Modell-Registry, Champion/Challenger-Vergleich und reproduzierbarem Rollback
  • GPU-Cluster-Setup auf eigener Hardware oder EU-GPU (Hetzner, OVH)
  • EU-AI-Act-Compliance-Paket (Risikoklassifikation, Logs, Dokumentation)
05 — Tech-Stack

Womit wir arbeiten.

vLLMTritonPyTorchTRLLoRAMLflowAimQdrantBM25/SPLADECUDA

Die Auswahl ist zweckgebunden. Wenn Ihr Team eine bestehende Stack-Vorgabe hat, halten wir uns daran.

06Outcomes

Typische Ergebnisse.

Konkrete Zahlen aus laufenden oder abgeschlossenen Mandaten

100 %

Daten in EU-Infrastruktur

5–20×

günstiger als Cloud-Inference (Last-abhängig)

EU AI Act

Auditierbarkeit ab Tag 1 berücksichtigt

07FAQ

Häufige Fragen.

Wann lohnt sich On-Premise?+

Sobald die monatliche Cloud-LLM-Rechnung 3–5k € erreicht oder Daten regulatorisch nicht raus dürfen. Wir rechnen das gemeinsam durch.

Welche Modelle setzen Sie ein?+

Open-Source-LLMs, Vision-Modelle, Reranker und klassische ML-Pipelines – je nach Anwendungsfall. Die Modellwahl folgt Datenlage, Latenz, Kosten, Erklärbarkeit und Betriebsanforderungen.

Was, wenn ich keine eigene Hardware habe?+

Wir mieten EU-basierte GPU-Hardware (etwa Hetzner oder OVH) und bauen den Stack identisch zum späteren On-Premise-Setup.

Berücksichtigen Sie EU AI Act und DSGVO?+

Ja, von Anfang an: Risikoklassifikation, Logging, menschliche Aufsicht und Dokumentation sind Teil jedes Projekts.

08 — Kontakt

Passt das zu Ihrer Ausgangslage?

30 Minuten reichen für eine erste fachliche Einordnung: ob wir helfen können, welche Risiken zuerst geklärt werden sollten und welcher nächste Schritt sinnvoll ist.