Journal of Theoretical & Computational Science
Offener Zugang

Abstrakt

Vereinfachung von Machine-Learning-Architekturen mit einer Event-Streaming-Plattform

Kai Waehner

Maschinelles Lernen (ML) wird in Modelltraining und Modellinferenz unterteilt. ML-Frameworks verwenden normalerweise einen Data Lake wie HDFS oder S3, um historische Daten zu verarbeiten und analytische Modelle zu trainieren. Modellinferenz und Überwachung im Produktionsmaßstab in Echtzeit sind eine weitere häufige Herausforderung bei der Verwendung eines Data Lake. Es ist jedoch möglich, einen solchen Datenspeicher mithilfe einer Event-Streaming-Architektur vollständig zu vermeiden. Dieser Vortrag vergleicht den modernen Ansatz mit herkömmlichen Batch- und Big-Data-Alternativen und erläutert Vorteile wie die vereinfachte Architektur, die Möglichkeit, Ereignisse in derselben Reihenfolge erneut zu verarbeiten, um verschiedene Modelle zu trainieren, und die Möglichkeit, eine skalierbare, unternehmenskritische ML-Architektur für Echtzeitvorhersagen mit weniger Kopfschmerzen und Problemen aufzubauen. Der Vortrag erklärt, wie Kai Waehner dies mithilfe der Open-Source-Frameworks Apache Kafka und TensorFlow erreichen kann.