Wenn Sie sich mit den neuesten Trends auskennen, haben Sie wahrscheinlich von etwas namens a . gehört „Datenstoff“. Aber für die meisten Leute klingt das wahrscheinlich ungefähr so esoterisch, wie „das Internet“ in den frühen 1990er Jahren klang. Eine Data Fabric kann man sich als integrierte virtuelle Schicht vorstellen, die alle Daten eines Unternehmens und die damit verbundenen Prozesse und Software verbindet. Eine Data Fabric überlagert die Analyse von Metadaten-Assets, um eine bessere Nutzung von Daten in allen Abteilungen, Abteilungen und Daten-Repositorys zu ermöglichen, unabhängig davon, wie isoliert sie sein mögen. Kontinuierlich nutzt eine Data Fabric maschinelles Lernen und künstliche Intelligenz, um Daten aus den verschiedenen Datenquellen eines Unternehmens zu verbinden, um relevante Beziehungen aufzudecken und zu identifizieren. Die Features und Funktionalitäten einer Data Fabric erfüllen nicht nur die Anforderungen eines Unternehmens, sondern können ihm auch dabei helfen, den Wert, den es aus seinen Daten gewinnt, zu enormen Fortschritten zu bringen.
Wenn diese Definition noch so esoterisch klingt wie “weltweites Netz” mit dem Verstand von 1993 gemacht hat, lesen Sie weiter.
Was ist ein Data Fabric?
Wie eine Data Fabric Big Data sinnvoll macht
Das Forschungs- und Beratungsunternehmen Gartner hat die das Blei bei der Ausarbeitung des Konzepts. Gartner weist darauf hin, dass die Data Fabric in der Lage sein sollte, alle wichtigen Methoden der Datenbereitstellung wie Streaming, ETL (Extract, Transform, Load), Replikation, Messaging, Virtualisierung oder Microservices. Aber die bloße Integration dieser Datenbereitstellungsmethoden garantiert nichts weiter als ein Durcheinander von Datenquellen, es sei denn, Sie haben die Möglichkeit, sie mit Struktur und Bedeutung zu überlagern.
Eine Data Fabric bietet vor allem Kontext für die Daten Ihres Unternehmens, und Rich Context ist der Schlüssel zu einem erfolgreichen Data Fabric-Design. Die Fähigkeit, Daten in einen Kontext zu stellen, hängt weitgehend von der Qualität der „Metadaten“, oder die Daten, die die Daten beschreiben. Sie können sich Metadaten wie die bibliografischen Informationen eines Buches vorstellen, z. B. Autor, Titel und Inhaltsverzeichnis. So wie diese Informationen nicht das Buch sind, sondern das Buch beschreiben, sind Metadaten Daten, die nicht wirklich ein Teil der Daten sind, sondern zusätzliche Daten, die den Inhalt der Daten beschreiben.
Das System wird nicht nur Beziehungen zwischen Datenentitäten entdecken und abbilden, sondern auch Menschen helfen, sie zu verstehen. Um das menschliche Verständnis zu unterstützen, erstellt das Data Fabric-System „Wissensgraphen“ die die verschiedenen Datenentitäten und ihre Beziehungen zeigen, überlagert mit semantischen Informationen, die es nicht-technischen Benutzern ermöglichen, die Informationen schnell zu visualisieren und zu interpretieren. Das Wissensdiagramm ähnelt im Aussehen einem Flussdiagramm, das Sie in jeder anderen Branche finden können, und ermöglicht Ihnen beispielsweise zu visualisieren, welche Datensätze im gesamten Unternehmen Beziehungen zu den Daten Ihrer Abteilung haben. Wenn die Marketingabteilung beispielsweise sofort sehen möchte, welche Informationen in anderen Abteilungen zu einer bestimmten Kundenliste gespeichert sind, werden diese im Knowledge Graph angezeigt.
Maschinelles Lernen, künstliche Intelligenz und die Datenstruktur
Ein Data Fabric nutzt einen gründlich katalogisierten Pool von Metadaten. Dies geschieht durch die kontinuierliche Analyse der Metadaten und den Einsatz von Algorithmen des maschinellen Lernens (ML) und der künstlichen Intelligenz (KI), um im Laufe der Zeit zu lernen und fortschrittliche Vorhersagen in Bezug auf Datenmanagement und -integration zu treffen. Zum Beispiel würde die AI/ML-Komponente automatisch die Metadaten sammeln, wenn die Datenquelle zum Fabric hinzugefügt wird, und diese zu den anderen Metadaten hinzufügen. Durch diesen Prozess, basierend auf dem, was es über die Daten erfährt, würde es zuvor vorhandene Datenquellen mit Gemeinsamkeiten identifizieren, z. B. Daten aus der Marketingabteilung, die eine Liste von Kunden oder Produkten mit Daten aus der Vertriebsabteilung teilt.
Algorithmen für maschinelles Lernen und künstliche Intelligenz sind unverzichtbare Bestandteile eines Data Fabric-Designs. Tatsächlich sind ML und KI weitgehend dafür verantwortlich, Datenpipelines zu überwachen und die am besten geeigneten Integrationen und Beziehungen vorzuschlagen. Diese Algorithmen sammeln Informationen aus den Daten, während sie mit der Fabric verbunden sind, und erfassen kontinuierlich alle Daten der Organisation, bestimmen ihre Eigenschaften und verstehen, wo potenziell nützliche Beziehungen und Verbindungen bestehen.
Wenn die Algorithmen mehr über Ihre Datenbestände erfahren, können sie auch damit beginnen, zeitaufwändige Improvisationsaufgaben zu automatisieren, wie z. B. bestimmte Geschäftsfragen, zu denen Benutzer das System wiederholt abgefragt haben. Diese Art von Bemühungen kann Analysten entlasten, sich auf schwierigere Probleme zu konzentrieren.
Wie eine Data Fabric Ihrem Unternehmen helfen kann
Eine funktionierende Datenstruktur bietet an vielen Fronten Vorteile. Auf höchster Ebene schafft eine Data Fabric eine vereinheitlichte Datenumgebung, die Datensilos aufbricht. Dies bedeutet, dass jeder innerhalb Ihrer Organisation Zugriff auf die Gesamtheit der Daten der Organisation hat (vorausgesetzt natürlich, Sie erteilen ihnen volle Berechtigungen). Wenn beispielsweise ein autorisierter Benutzer im Marketing Daten aus dem Vertrieb oder Einkauf einsehen muss, kann er auf diese Daten genauso einfach zugreifen wie auf Marketingdaten.
Von dort aus können wir schnell sehen, wie ein Unternehmen zahlreiche Vorteile daraus ziehen würde. Erstens wird der Analyselebenszyklus viel schneller sein — möglicherweise um Größenordnungen. Ein Grund dafür ist, dass derzeit Datenanalysten und Wissenschaftler einen Großteil ihrer Zeit verbringen Jagd auf Datensätze. Beseitigen Sie dieses Hindernis, und Sie verkürzen die Zeit, die es braucht, um eine Antwort auf eine Frage zu erhalten, erheblich.
Aber es gibt noch mehr. Wie wir besprochen haben, vereinheitlicht die Datenstruktur nicht nur die Daten, sondern macht sie auch sinnvoll, indem sie KI und ML verwendet, um sinnvolle Beziehungen zu identifizieren, die zwischen Datensätzen bestehen könnten. Zurück zu unserem Beispiel, der Person in der Marketingabteilung, die Beschaffungsdaten gesucht hat — vielleicht um einen bevorstehenden Produktverkauf optimal zu bepreisen — würde nicht nur auf die Daten zugreifen können, sondern auch Einblicke in Stellen haben, an denen Marketingdaten mit Beschaffungsdaten in Zusammenhang stehen könnten. Beispielsweise können sich Daten zu Produktkäufen in einer Kundenliste mit Beschaffungsdaten zur Gesamtnachfrage nach diesen Produkten überschneiden. Dies könnte dann genutzt werden, um Werbemaßnahmen auf den Geschmack bestimmter Kunden zu optimieren.
Ein Data Fabric unterstützt auch die Risikominderung. Ein Großteil des Aufwands bei der Daten-Compliance besteht darin, einfach zu wissen, wo sich die Daten befinden. Ein Data Fabric bietet von Natur aus eine vollständige Transparenz aller Daten. Genauso wie ein Datenanalyst nicht auf die Suche nach Datensätzen gehen muss, muss die Rechtsabteilung nicht übermäßig viel Zeit damit verbringen, Daten zu suchen, wenn eine Führungskraft von einer Aufsichtsbehörde auf den Tisch gerufen wird oder sich mit einer Klage befasst. , entweder.
Darüber hinaus gibt es zahlreiche Kosten-/Ressourcenvorteile, die damit verbunden sind, dass Daten nicht mehr verschoben werden müssen. Daten können dort verwendet werden, wo sie sich befinden, sodass keine ETL-Daten in ein Data Warehouse übertragen werden müssen, was ein langwieriger und ressourcenintensiver Prozess sein kann.
Darüber hinaus macht diese Möglichkeit, Daten in eine Datenstruktur zu integrieren, ohne sie in irgendeiner Weise verschieben oder ändern zu müssen, eine gegebene Datenarchitektur unendlich skalierbarer. Wenn Daten generiert werden, wird ihr Repository — sei es ein Data Lake, eine Datenbank, ein Data Warehouse, ein Mart oder ein anderes System — wird einfach mit dem Stoff verbunden. An diesem Punkt werden die Daten durchsuchbar und können logisch mit jedem anderen relevanten Datensatz in der Organisation verbunden werden.
Zusammenfassend lässt sich sagen, dass die Datenstruktur — wenn auch im Moment zugegeben etwas esoterisch — wird den Weg eines anderen ehemals esoterischen Konzepts, des Internets, beschreiten. Was jetzt vielleicht eine Kuriosität ist, genau wie diese “Surf-the-Web”-Cafés in den ‘90er, wird schnell zu etwas, das Sie brauchen, um sich im Wettbewerb über Wasser zu halten.