EXPLORE YOUR NEXT CHAPTER
Lead Private AI Architect (w/m/x) - GenAI, LLM & Enterprise AI Platforms
NTT Data
Source: Headcount Labs · original listing ↗
Job data: Headcount Labs, ODbL 1.0. Job descriptions belong to their employers.
Source date: 10/30/2026
About this role
Wir sind Teil von NTT DATA, einem führenden Anbieter von Unternehmens- und Technologiedienstleistungen, KI und digitaler Infrastruktur mit einem Umsatz von über 30 Mrd. $. Als Global Top Employer betreut NTT DATA 75 % der Fortune Global 100-Unternehmen und entwickelt mit Expert:innen in über 70 Ländern gemeinsam innovative Lösungen, die dazu inspirieren, Neues zu wagen und Erfolge sichtbar zu machen. In der DACH-Region sind wir an 15 Standorten in Deutschland, Österreich und der Schweiz vertreten. Make this the place where you grow Enterprise AI braucht mehr als leistungsfähige Modelle – sie braucht eine sichere, skalierbare und souveräne Architektur. Als Private AI Architect (w/m/x) gestaltest du genau diese Grundlage: von der strategischen Architektur über Private-AI- und GenAI-Plattformen bis zur produktiven Umsetzung. Dabei verbindest du technologische Tiefe mit Beratungskompetenz und entwickelst gemeinsam mit unseren Kunden AI-Lösungen, bei denen Innovation, Datenschutz und Governance zusammenspielen. #LI-DS1 Deine Benefits Flexible Arbeitszeiten mit Gleitzeitregelung und Reisezeit ist Arbeitszeit Home-Office Möglichkeit sowie Vereinbarung mit Vergütungszuschuss inkl. Arbeitsplatzausstattung möglich 30 Tage Urlaub, zusätzlich sind der 24.12. und 31.12. arbeitsfreie Tage Sabbatical bis zu einem Jahr möglich Remote Work sowie mobiles Arbeiten im EU-Ausland möglich Attraktive Benefit- und Entgeltoptimierungsprogramme: betriebliche Altersvorsorge, JobRad, Jobticket, exklusive Rabatte über Corporate Benefits und vieles mehr Umfangreiche Gesundheits- und Vorsorgeangebote: verlängerte Entgeltfortzahlung im Krankheitsfall, Betriebsärztliche Betreuung, Unfallversicherung auch für Freizeitunfälle weltweit, Familienservice Interne und externe Weiterbildungsmöglichkeiten in der NTT DATA Academy mit fachlichen Trainings, Zertifizierungsangeboten, Soft-Skill-Schulungen, Udemy Zugang Diverse Communities und Initiativen (zu Diversity, Equity & Inclusion, ESG und mehr) mit Wissensaustausch auf Augenhöhe Teamorientierte Unternehmenskultur mit viel Gestaltungsspielraum Deine Mission Du konzipierst Enterprise Private AI- und GenAI-Plattformen und entwickelst High-Level- und Low-Level-Designs, Blueprints sowie Referenzarchitekturen für On-Premises-, Private-Cloud-, Hybrid- und Sovereign-AI-Umgebungen. Du entwirfst leistungsfähige LLM-, RAG- und Agentic-AI-Architekturen auf Basis von Open-Source- und Self-hosted-Technologien und gestaltest skalierbare Inference-Architekturen für Enterprise-AI-Workloads. Du bringst AI-Plattformen mit Kubernetes, Containerisierung und MLOps/LLMOps in die Produktion und gestaltest den gesamten Lifecycle von Deployment und Evaluation bis zu Monitoring und Governance. Du begleitest unsere Kunden als Trusted Advisor bei AI-Strategie, Plattformmodernisierung, Infrastructure Readiness und AI Operating Models und treibst POCs, MVPs und Enterprise-AI-Initiativen voran. Du verbindest AI, Infrastruktur, Cloud, Security und Data Engineering und übernimmst Verantwortung für RFPs, Angebote und Aufwandsschätzungen sowie wiederverwendbare Private-AI-Frameworks und Accelerators. Dein Skillset Du verfügst über 15+ Jahre IT-Erfahrung, davon mindestens 5 Jahre in AI/ML-Architektur, und hast Enterprise-AI-/GenAI-Lösungen in Private-Cloud-, On-Premises- oder Hybrid-Umgebungen erfolgreich umgesetzt. Du besitzt tiefgehende Expertise in LLMs, RAG, Vector Databases, Prompt Engineering und Agentic AI und kennst Frameworks wie LangChain, LlamaIndex, Haystack oder Semantic Kernel sowie Open-Source-Modelle wie Llama, Mistral, DeepSeek oder Qwen. Du beherrschst Kubernetes, Docker/OpenShift sowie MLOps/LLMOps und kennst Technologien wie MLflow, Kubeflow, KServe, Ray, vLLM oder Ollama sowie die Anforderungen an Evaluation, Tracing, Monitoring, Drift Detection und produktiven AI-Betrieb. Du verstehst GPU- und AI-Infrastrukturen einschließlich NVIDIA Stack, CUDA, MIG, Model Serving, Quantisierung, Batching, Autoscaling, Distributed Inference/Training sowie Capacity Planning und kannst Performance, Latenz und Verfügbarkeit gezielt optimieren. Du verbindest Architekturkompetenz mit einem ausgeprägten Verständnis für Security, Privacy und Sovereign AI – von Zero Trust, IAM/RBAC und Verschlüsselung bis zu Data Residency und Regulatory Compliance – und überzeugst durch starke Stakeholder- und Beratungskompetenz sowie Deutschkenntnisse auf mindestens C1-Niveau. Mit uns hast du unzählige Möglichkeiten, groß zu denken, mutig zu handeln und Verantwortung zu übernehmen. Gestalte deine Zukunft in einer Kultur, die Zugehörigkeit lebt und dir Raum für Lernen und Networking gibt. Vielfalt ist ein unverzichtbarer Teil unseres Erfolges und unserer Unternehmenskultur. Frei von Vorurteilen im Hinblick auf Geschlecht, sexuelle Orientierung, Alter, ethnische und soziale Herkunft, Religion oder Behinderung freuen wir uns dich kennenzulernen. Menschen mit Schwerbehinderung werden bei gleicher Eignung bevorzugt. Interessiert? Wir freuen uns auf Deine Online-Bewerbung!