Beratung im Bereich maschinelles Lernen und Strategie für KI-Modelle

Bei der Beratung im Bereich maschinelles Lernen geht es darum, zu entscheiden, welche Modelle ein Unternehmen entwickeln sollte, welchen Wert jedes einzelne Modell haben muss, bevor es finanziert wird, und wie gut es sein muss, bevor jemand darauf reagiert. Vivaldi ist eine Strategieberatung, daher liegt unser Schwerpunkt auf der Entscheidung, der Modellstrategie und der Bewertung. Die technische Umsetzung erfolgt durch Ihr Team oder Ihren Entwicklungspartner, und das sagen wir ganz offen, weil die meisten Enttäuschungen im Bereich des maschinellen Lernens in Unternehmen darauf zurückzuführen sind, dass Strategie und Umsetzung so behandelt werden, als wären sie ein und dasselbe.

• Seit 1999Nachfrage-, Geschäfts- und Kundenstrategie
• Über 200veröffentlichte Fallstudien
• 10 Niederlassungenauf vier Kontinenten
• 5xWirtschaftsWoche „Best of Consulting“
• Keine Bindung an bestimmte AnbieterUnsere Modell- und Plattformempfehlungen sind völlig unabhängig von kommerziellen Interessen

Das Modell läuft, und es ändert sich nichts.

Das meiste maschinelle Lernen in Unternehmen ist technisch einwandfrei, hat aber keine praktischen Auswirkungen. Die Genauigkeit ist gut, das Dashboard wird aktualisiert, und die Entscheidung, für deren Verbesserung das Modell entwickelt wurde, wird nach wie vor so getroffen wie zuvor: von derselben Person, aus demselben Bauchgefühl heraus, zur selben Zeit in der Woche.

Das ist eher ein Problem der Abgrenzung als ein technisches Problem. Arbeit, die von verfügbaren Daten ausgeht, führt zu Modellen, für die erst noch eine Anwendung gefunden werden muss. Arbeit, die von einer konkret benannten, wiederkehrenden Entscheidung ausgeht, führt zu Modellen, die auch genutzt werden, da die Person, die auf der Grundlage der Ergebnisse handeln wird, bei der Festlegung des Schwellenwerts dabei war.

Der Test ist ganz einfach. Fragen Sie, wer im letzten Quartal aufgrund eines Modells seine Vorgehensweise geändert hat. Wenn die Antwort aus einem Namen und einer konkreten Entscheidung besteht, funktioniert das Programm. Wenn die Antwort lautet, dass das Team nun einen besseren Überblick hat, funktioniert es nicht.

Wenn Unternehmen uns beauftragen

• Das Data-Science-Team liefert Ergebnisse, doch im Geschäft tut sich nichts. Kompetente Mitarbeiter, beachtliche Genauigkeitswerte und eine Gewinn- und Verlustrechnung, die fast genauso aussieht wie vor drei Jahren.
• Noch bevor eine Entscheidung bezüglich eines Modells, einer Plattform oder eines Anbieters getroffen wurde. Der Umfang eines Builds soll festgelegt werden, noch bevor überhaupt festgehalten wurde, welche Entscheidung dadurch geändert werden soll und wer für diese Entscheidung verantwortlich ist.
• Wenn ein Führungskraft fragt, was die Investition in Analysesysteme gebracht hat, lautet die ehrliche Antwort: eine Liste von Dashboards – und niemand möchte derjenige sein, der das sagt.
• Wenn die Entscheidung zwischen klassischem maschinellem Lernen und einem Sprachmodell von Modetrends bestimmt wird. Meistens fällt die Wahl zugunsten des Sprachmodells aus – und das meist für eine Aufgabe, bei der es gar nicht erforderlich ist.
• Wenn Modelle erstellt und dann stillschweigend aufgegeben werden. Niemand kümmert sich darum, ob ein Modell noch stimmt, sodass die Genauigkeit nachlässt und die Antwort immer wieder neu berechnet wird.

Warum ein datenorientierter Ansatz nicht funktioniert

Die übliche Vorgehensweise besteht darin, den Datenbestand zu prüfen, herauszufinden, wo die Daten gut genug sind, um etwas zu modellieren, und dies dann zu modellieren. Das ist eine vernünftige Art, Arbeit zu leisten, aber eine schlechte Art, Wert zu schaffen, denn die Qualität Ihrer Daten hat so gut wie nichts mit dem Wert der Entscheidungen zu tun, die sie verbessern könnten.

Wenn man bei der Entscheidung ansetzt, kehrt sich die Reihenfolge um. Man benennt die wiederkehrende Entscheidung, legt fest, welchen Wert eine bessere Version davon hat, und fragt dann, welche Prognose erforderlich wäre, um sie zu ändern, und ob die eigenen Daten diese liefern können. In drei von fünf Fällen lautet die ehrliche Antwort, dass die Entscheidung auch ganz ohne Modell verbessert werden kann – was kostengünstiger ist als ein Modell, das niemand nutzt.

Dadurch ändert sich auch, wer an der Besprechung teilnehmen muss. Ein Daten-Audit ist ein Gespräch mit der Datenabteilung. Eine Entscheidungsbestandsaufnahme ist ein Gespräch mit den Verantwortlichen für die Gewinn- und Verlust-Zeilen, auf die sich die Modelle auswirken sollen, und diese sind es, die entscheiden, ob sich etwas ändert.

Was unsere Beratungsleistungen im Bereich maschinelles Lernen umfassen

Vier Arbeitsbereiche. Die meisten Projekte beginnen mit dem ersten und enden dort, wo der Nutzen aufhört.

1. Ein Entscheidungskatalog und ein Wertfall pro Modell

Bevor wir mit der Modellierung beginnen, erstellen wir eine Bestandsaufnahme der wiederkehrenden Entscheidungen: Wer ist für welche Entscheidung zuständig, wie wird sie derzeit getroffen und welchen finanziellen Wert hätte eine verbesserte Version – gemessen in Geldbeträgen statt in Genauigkeitspunkten?

• Die Entscheidungen wurden nach dem auf dem Spiel stehenden Wert und nicht nach der Verfügbarkeit von Daten geordnet
• Die Entscheidungen, die überhaupt nicht modelliert werden sollten, werden ausdrücklich benannt, damit das Programm später nicht anhand dieser Entscheidungen beurteilt wird
• Ein Wertfall pro Kandidatenmodell, der vor der Erstellung des Modells verfasst wurde, damit es einen Maßstab gibt, an dem es gemessen werden kann

2. Modellstrategie: Welcher Ansatz eignet sich für welche Arbeitslast?

Eine wohlüberlegte Antwort auf eine Frage, die die meisten Organisationen eher nach dem Prinzip „wie es gerade passt“ klären. Klassisches maschinelles Lernen, ein Sprachmodell, eine Kombination aus beidem oder gar kein Modell.

• Klassisches maschinelles Lernen für strukturierte Vorhersagen in großem Maßstab: Prognosen, Neigungsanalyse, Klassifizierung, Optimierung. Kostengünstiger, schneller, besser überprüfbar, besser nachvollziehbar
• Sprachmodelle für unstrukturierte Eingaben, Interpretation und Generierung, einschließlich des Extraktionsschritts, bei dem Dokumente, Anrufe und Tickets in Merkmale umgewandelt werden, die ein Vorhersagemodell nutzen kann
• Eine Architektur, die davon ausgeht, dass die Modelle ersetzt werden, da Funktionen, die vor zwei Jahren noch Pioniercharakter hatten, mittlerweile zum Standard gehören und von mehreren Anbietern angeboten werden
• Wir unterhalten keine Partnerschaft mit einem Modell- oder Plattformanbieter, daher ist die Empfehlung völlig unabhängig von kommerziellen Interessen.

3. Ausgestaltung der Bewertung, die festgelegt wird, bevor mit der Umsetzung begonnen wird

Die entscheidende Frage ist nicht, welche Genauigkeit erreichbar ist. Es geht vielmehr darum, welche Genauigkeit das Vorgehen ändern würde – und das sind unterschiedliche Zahlen, zu denen verschiedene Personen gelangen.

• Die Genauigkeit, die Reaktionszeit und die Sicherheit, die die Entscheidung tatsächlich erfordert – und die der Person, die sie trifft, abverlangt werden
• Die Definition dessen, was als „fertig“ gilt, wird vor Beginn der Entwicklung festgelegt, damit das Projekt ein anderes Ende hat als bloße Erschöpfung.
• Der Überwachungsplan: Wie wird eine Abweichung erkannt, wie oft wird das Modell neu bewertet und wer wird benachrichtigt, wenn es nicht mehr korrekt ist?

4. Die Entscheidung, die sich nach

Eine Vorhersage bewirkt nur dann etwas, wenn jemand oder etwas darauf reagieren darf. Das ist eine Frage der Berechtigungen, die sich in einem technischen Gewand präsentiert, und genau hier kommen die meisten Programme ins Stocken.

• Welche Entscheidungen ein System eigenständig treffen darf und welche es eskalieren muss, wird ausdrücklich anhand der Wesentlichkeit, der Reversibilität und der Zuverlässigkeit des Modells selbst festgelegt.
• Wie die Ausgabe in den Arbeitsablauf gelangt, in dem die Entscheidung getroffen wird, und nicht in einen Bericht, der erst später gelesen wird
• Die Ergebniserfassung, die Aufschluss darüber gibt, ob die letzte Empfehlung sinnvoll war – ohne die sich nach dem Starttag nichts verbessert

So funktioniert ein Projekt im Bereich maschinelles Lernen

1. Bestandsaufnahme. Interviews mit den Personen, die die wiederkehrenden Entscheidungen treffen, eine Übersicht darüber, wie diese Entscheidungen derzeit getroffen werden, sowie eine Rangfolge nach dem auf dem Spiel stehenden Wert statt nach der Datenverfügbarkeit.
2. Legen Sie Folgendes fest: die Entscheidungen, die es zu treffen gilt, die erforderliche Genauigkeit, Latenz und Konfidenz, die Form, in der die Antwort vorliegen muss, sowie die Eskalationsschwelle. Das Ergebnis ist eine Build-Spezifikation, die ausgehend von der Entscheidung rückwärts erstellt wird.
3. Auswahl und Bewertung. Der für die jeweilige Arbeitslast gewählte Modellansatz, das Bewertungskonzept und die Abnahmekriterien, an die sich Ihr Team oder Ihr Entwicklungspartner halten muss.
4. Übergabe und Messung. Die Spezifikation geht an den Ausführenden, und es wird eine Messlinie von der Entscheidung bis zur Gewinn- und Verlustrechnung gezogen, damit der Wertbeitrag anhand der tatsächlichen Ergebnisse überprüft werden kann.

Warum sich Unternehmen bei ihrer Strategie für maschinelles Lernen für „ Vivaldi “ entscheiden

• Wir gehen von der Entscheidung aus, nicht von den Daten. Der Nutzen steht vor dem Modell – und genau dieser Schritt entscheidet darüber, ob überhaupt etwas verwendet wird.
• Wir verkaufen Ihnen nicht das Projekt. Unsere Einnahmen hängen nicht davon ab, ob das Modell umfangreich ist, welche Plattform gewählt wird oder wie lange das Programm läuft – das ist ein anderer Anreiz als bei einem Unternehmen, das Personal für die Umsetzung bereitstellt.
• Keine Herstellerbindung. Wir unterhalten keine Partnerschaften mit Modell- oder Infrastrukturanbietern, sodass unsere Architekturberatung sich an Ihrer Arbeitslast orientiert und nicht an unserer Gewinnspanne.
• Wir werden Ihnen raten, es nicht zu bauen. Eine Empfehlung zur Verbesserung einer Entscheidung ohne Modell ist ein normales Ergebnis der ersten Phase und die kostengünstigste aller verfügbaren Optionen.

So bewerten Sie einen Berater für maschinelles Lernen

Das sollten Sie bei jedem Unternehmen auf Ihrer Auswahlliste erfragen – auch bei uns.

• Geht man von den Daten oder von der Entscheidung aus? Ein Unternehmen, das zunächst eine Bestandsaufnahme Ihrer Datenlandschaft durchführt, wird Modelle erstellen, für die erst noch eine Anwendung gefunden werden muss. Fragen Sie, welche Entscheidung das erste Modell beeinflussen soll und wer dafür verantwortlich ist.
• Welche Genauigkeit wäre ausreichend? Der richtige Schwellenwert ergibt sich aus der Entscheidung, nicht aus dem, was erreichbar ist. Ein Unternehmen, das diesen Schwellenwert nicht vor Beginn der Entwicklung festlegen kann, hat keine Definition dafür, was als „fertig“ gilt.
• Wie gelangt das Ergebnis zu der Person, die die Maßnahmen ergreift? Wenn die Antwort „ein Bericht“ oder „ein Dashboard“ lautet, ist damit zu rechnen, dass die Entscheidung dort bleibt, wo sie war.
• Wer wird für den Bau bezahlt? Ein Unternehmen, das ein Modell empfiehlt und anschließend das Ingenieurteam zusammenstellt, beantwortet zwei Fragen mit einer einzigen Rechnung. Das ist zwar kein Ausschlusskriterium, aber Sie sollten dies vor der Angebotsabgabe wissen.
• Was haben Sie einem Kunden davon abgeraten, als Vorbild zu nehmen? Ein Unternehmen, das alles gebaut hat, was von ihm verlangt wurde, verkaufte eher Kapazitäten als Urteilsvermögen.

Strategieberatung, Data-Science-Beratung oder Anbieter von ML-Engineering?

Was wir nicht tun

Wir schreiben keinen Produktionscode, erstellen keine Datenpipelines, führen keine MLOps durch und betreiben keine Modelle. Keine unserer veröffentlichten Fallstudien beschreibt ein Modell, das wir selbst entwickelt oder bereitgestellt haben, und wir werden auf einer Seite, auf der wir Beratung im Bereich maschinelles Lernen anbieten, auch nicht den Eindruck erwecken, dass dies der Fall sei. Unsere veröffentlichten Arbeiten befassen sich mit Strategie, Forschung, Segmentierung sowie Marken- und Umsatzmessung – was auch der Grund dafür ist, dass der Abschnitt „Nachweise“ auf dieser Seite leer ist und nicht aus einem anderen Bereich unserer Website übernommen wurde.

Damit erhalten Sie lediglich eine Meinung, hinter der nichts steht. Wir sagen Ihnen, welche Entscheidung ein Modell rechtfertigt, was das Modell leisten muss und wie Sie das Unternehmen beurteilen können, das es erstellt. Wenn Sie möchten, dass ein und derselbe Anbieter sowohl entscheidet als auch das Modell erstellt, sind wir nicht der richtige Ansprechpartner für Sie, und Sie sollten jedes Unternehmen, das beides anbietet, fragen, wie es mit diesem Interessenkonflikt umgeht.

Verwandte Arbeiten

• Prädiktive und fortgeschrittene Analysen sofern es sich um kommerzielle Prognosen handelt: Nachfrage- und Umsatzprognosen, Lifetime Value und Abwanderung, Preis- und Aktionsreaktionen, Lagerbestand und Sortiment.
• Datenstrategie wenn die bindende Einschränkung eher den Zustand der Daten als den Zustand der Entscheidungen betrifft.
• Strategie für generative KI wenn die Eingabe unstrukturiert ist und es sich bei der Aufgabe eher um Interpretation oder Generierung als um Vorhersage handelt.
• KI-Strategie und neue Technologien zur vorherigen Frage, welche Arbeitsabläufe und Entscheidungen es überhaupt wert sind, geändert zu werden.

Diese Arbeit ist Teil unseres Geschäftsbereichs „Business Technology Strategy “ bei Vivaldi, dem Strategieberatungsunternehmen, das hinter dem „Demand Landscape“ und dem „ Interaction Field “ steht.

Beratung im Bereich maschinelles Lernen in den USA und weltweit

Unsere Arbeit wird von zehn Niederlassungen auf vier Kontinenten aus betrieben, wobei das US-Team in New York ansässig ist. Modellstrategien lassen sich besser übertragen als Modelle selbst: Ein in einem Markt erstelltes Entscheidungsinventar ist weitgehend wiederverwendbar, während ein in einem Markt trainiertes Modell dasselbe Risiko in einem anderen Markt in der Regel falsch bewertet, da dem Kunden dort andere Alternativen zur Verfügung stehen. Wir legen den Umfang der Entscheidungen global und den der Modelle lokal fest und klären bereits vor der Festlegung des Budgets, was wofür gilt.