Member of Technical Staff - Large Scale Data Infrastructure (m/w/d)

Kurzüberblick

• Standort: Freiburg, San Francisco
• Arbeitsmodell: Remote, Lab
• Anstellungsart: Vollzeit

Aufgaben

• Entwicklung und Wartung von skalierbaren Infrastrukturen zur Speicherung und Abfrage von großen Bild- und Videodatenmengen
• Optimierung der Datenabfrage, um jede Trainingslauf zu vollständig nutzen alle GPUs
• Erstellung von Werkzeugen zur effizienten Datenmenge-Verwaltung
• Management und Koordination von Datenübertragungen von Lizenzpartnern
• Überprüfung, ob die Objektspeicherung so effizient wie möglich genutzt wird

Anforderungen

• Starke Kenntnisse in Python und Erfahrung mit verschiedenen Dateisystemen für datenintensive Manipulation und Analyse
• Erfahrung bei der Erstellung von zuverlässigen und skalierbaren Datenlädern für maschinelles Lernen-Anwendungen
• Tiefe Kenntnisse über Cloud-Objektspeicher und die damit verbundenen Herausforderungen
• Händische Erfahrung mit Cloud-Objektspeichern wie S3 und Azure Blob Storage, Cloud-Plattformen (AWS, GCP oder Azure) und Slurm/HPC-Umgebungen für verteilte Datenverarbeitung
• Erstellung und Management von Speicherinfrastrukturen im PB-Skalen
• Arbeit mit großen Bild- und Videodaten

Vorteile

• Arbeiten in einem dynamischen und innovativen Team
• Möglichkeit, an der Entwicklung von Frontier-Technologien mitzuwirken
• Flexibles Arbeitsmodell mit Möglichkeit, von zu Hause aus zu arbeiten
• Regelmäßige Feedback- und Entwicklungsmöglichkeiten