Die Frage eines Sponsors lautet selten: Welcher Algorithmus gewinnt? Sie lautet eher: Welche Kunden sollten wir ansprechen, wenn nur ein Teil der verfügbaren Kontakte bearbeitet werden kann? Ein Modellvergleich übersetzt diese Frage in prüfbare Auswahlvorschläge. Der historische Vergleich aus Corvendors Arbeit zeigt, weshalb dafür sowohl die Reihenfolge als auch der verfügbare Aufwand betrachtet werden müssen.
Zuerst das Ziel der Auswahl festlegen
Eine Kampagne kann möglichst viel erwartete Vertriebspipeline aus einem begrenzten Kontaktumfang anstreben. Eine andere soll eine breitere Kundengruppe regelmäßig erreichen. Beide Ziele können sinnvoll sein, führen aber nicht zwingend zu derselben Auswahl. Pipeline bezeichnet dabei potenzielle Verkaufschancen, nicht bereits erzielten Umsatz.
Für den Vergleich müssen Zielgruppe, zulässige Kontakte und gewünschtes Ergebnis feststehen. Im gezeigten historischen Beispiel hatte jeder Kontaktversuch denselben Kostenansatz. Die Anzahl der Versuche war deshalb proportional zu den Kosten. Bei unterschiedlich aufwendigen Kontakten müsste stattdessen der tatsächliche Aufwand berücksichtigt werden.
Verfahren unter vergleichbaren Bedingungen prüfen
In dem historischen Vergleich wurden für die Auswertung andere Kundenkonten verwendet als für das Training der Modelle. Diese Trennung ist wesentlich: Ein Verfahren soll eine sinnvolle Auswahl für bisher nicht zum Training verwendete Fälle liefern, nicht nur bekannte Beispiele wiedergeben.
Für ein neues Vorhaben vereinbaren wir mit dem Team vier Grundlagen:
- Gleiche Aufgabe: Die Verfahren werden anhand derselben verfügbaren Kundengruppe, Kontaktgrenzen und Ergebnisdefinition verglichen.
- Passende Prüfdaten: Training, Anpassung und abschließende Prüfung werden sauber getrennt; wiederkehrende Kunden und zeitliche Veränderungen werden bei der Aufteilung berücksichtigt.
- Einfache Vergleichsverfahren: Neben Modellen wird auch geprüft, was eine nachvollziehbare fachliche Regel oder das bisherige Vorgehen leistet.
- Passender Betrachtungsumfang: Bewertet wird besonders der Teil der Auswahl, den das vorhandene Budget tatsächlich erreicht.
Diese Punkte beschreiben das Vorgehen für einen belastbaren neuen Vergleich. Die Bestätigung getrennter Kundenkonten allein dokumentiert noch nicht jedes Detail des damaligen Trainings- und Prüfablaufs.
So lässt sich die historische Grafik lesen
Die Grafik stammt aus einer Corvendor-Präsentation von 2019. Von links nach rechts wächst die Zahl der Kontaktversuche. Nach oben wird die tatsächlich später erfasste Pipeline der ausgewerteten Konten aufsummiert. Die Verfahren ordnen die Konten unterschiedlich; eine früher stark steigende Kurve konzentriert mehr dieser Pipeline im vorderen Teil ihrer Auswahl.
„Oracle“ bezeichnet die beste Reihenfolge im Rückblick, wenn die späteren Ergebnisse bereits bekannt sind. Sie ist ein Vergleichsmaßstab, kein einsetzbares Vorhersagemodell. „Expert“ war eine gewichtete Berechnung ausgewählter Merkmale; sie ist nicht mit dem zusätzlich dargestellten Modell „Linear Regression“ gleichzusetzen. „Telemarketing“ bleibt die damalige Referenzbezeichnung; ihre genaue Auswahlregel wurde für diesen Beitrag nicht rekonstruiert.
Im gezeigten Vergleich steigt die Kurve von k-Nearest Neighbor früh stark an. Zwischen anderen Verfahren verändert sich die Reihenfolge im weiteren Verlauf. Das macht den Blick auf den geplanten Kontaktumfang wichtig. Eine gute Position in dieser historischen Auswertung beweist nicht, dass ein Verfahren für jede neue Zielgruppe und jedes Budget die beste Wahl ist.
Die Grafik enthält keine numerischen Achsenwerte. Deshalb werden daraus keine Prozentsteigerung oder konkrete Kosteneinsparung abgeleitet. Der vergrößerbare Originalausschnitt bewahrt die historischen Kurven; er ist keine nachträglich neu berechnete Auswertung.
Gute Auswahl ist nicht dasselbe wie eine genaue Prognose
Ein Verfahren kann viel Pipeline früh in seiner Reihenfolge konzentrieren und trotzdem die erwartete Höhe für einzelne Konten ungenau schätzen. Die Güte einer Rangfolge und die Genauigkeit vorhergesagter Beträge sind unterschiedliche Fragen. Auch wenige außergewöhnlich große Verkaufschancen können eine Kurve stark verändern und verdienen eine gesonderte Betrachtung.
Ebenso zeigt die aufsummierte Pipeline nicht, welcher zusätzliche Anteil gerade durch den Kontakt entstanden ist. Dafür wäre ein geeigneter Vergleich von kontaktierten und nicht kontaktierten Gruppen nötig. Der gezeigte Modellvergleich ist damit weder eine Garantie für ein zukünftiges Kampagnenergebnis noch ein Nachweis für einen ursächlichen Mehrertrag.
Aus dem Vergleich eine brauchbare Entscheidung machen
Für den Sponsor ist das Ergebnis eine begründete Empfehlung für die anstehende Auswahl. Dazu gehören das passende Verfahren, die nutzbaren Daten, die Grenzen des Ergebnisses und der Aufwand für den laufenden Einsatz. Wenn mehrere Verfahren ähnlich abschneiden, können Verständlichkeit, Pflegeaufwand und Robustheit den Ausschlag geben.
Die Fachleute bringen Zielsetzung, fachliche Ausnahmen und die Bedeutung der Merkmale ein. Corvendor kann Datenaufbereitung, Modellvergleich und die Einbindung in den Arbeitsablauf verbinden. So endet die Arbeit nicht bei einer Kurve, sondern bei einer Auswahl, deren Grundlage das Team nachvollziehen und weiter prüfen kann.
Mit einer begrenzten Auswahl beginnen und weiterlernen
Ein Pilot kann sich auf eine Kampagnenart und einen klar vereinbarten Kontaktumfang beschränken. Vor dem Einsatz wird festgelegt, wie Vorschläge übernommen, Ausnahmen behandelt und Ergebnisse zurückgeführt werden. Eine vergleichbare Ausgangsbasis hilft, den Nutzen der neuen Auswahl zu beurteilen.
- Ergebnis: Welche qualifizierten Chancen und welche Pipeline entstehen im vereinbarten Zeitraum, und wie unterscheiden sich Erwartung und Beobachtung?
- Stabilität: Trägt das Verfahren auch in weiteren Zeiträumen oder Kundengruppen, oder hängt das Ergebnis stark an einzelnen Ausreißern?
- Arbeitsaufwand: Lassen sich Datenpflege, Auswahl und fachliche Prüfung mit vertretbarem Aufwand regelmäßig durchführen?
Diese Prüfungen sind Schritte für einen neuen Einsatz, keine zusätzlichen Messwerte zur historischen Grafik. Die Rückmeldung aus der Durchführung hilft zu entscheiden, ob das Verfahren beibehalten, angepasst oder durch eine einfachere Lösung ersetzt werden sollte.
Ein guter Modellvergleich beantwortet eine Geschäftsfrage: Welche Auswahl passt zu unserem Ziel und unserem verfügbaren Aufwand? Entscheidend ist nicht allein die auffälligste Kurve, sondern eine begründete und im Alltag überprüfbare Entscheidung.
