Dropbox hat einen Blackout-Test gefahren. Die Zahl, die alle zitieren, ist falsch.

Gestern spät am Abend bin ich auf LinkedIn über einen Beitrag gestolpert, der mich an einen grossen Marketing-Mix-Disruption-Test erinnert hat, den wir in einer meiner früheren Rollen gefahren haben.

Angefangen hat es so, wie solche Dinge meistens anfangen, in einer Budgetsitzung, mit einer Führungskraft, die wissen wollte, wie sicher wir uns seien, dass der ROI unserer bezahlten Kanäle "echt" ist. Eine Frage führte zur nächsten, bis: "Sollen wir einfach alles abschalten und schauen, was passiert?"

Ob es bei Dropbox im Vorfeld auch nur annähernd so zuging, weiss ich nicht, aber sie haben gerade ein sehr ähnliches Experiment durchgeführt, und anders als wir teilen sie, was dabei herauskam. Meines kann ich nicht teilen, und selbst wenn ich es dürfte, hat sich die Messung seither zu stark verändert, um sauber zu vergleichen.

Im April 2025 ist Dropbox absichtlich dunkel geworden. Sie haben die bezahlte Suche und die Werbung in mobilen Apps in den gesamten USA einen vollen Monat lang abgeschaltet, vergleichbare internationale Märkte als Kontrollgruppe weiterlaufen lassen und gemessen, was ihre Anzeigen tatsächlich einkauften. Nicht, was die Dashboards behaupteten. Was sich bewegte, als die Ausgaben aufhörten.

Was die Studie ergab

Die Fassung, die ich in jenem Beitrag gesehen habe, presst das Ergebnis in eine einzige Inkrementalitätszahl und wirft die beiden Kanäle zu einem zusammen. Das gibt den stärkeren Aufhänger, auch wenn dabei genau der Teil verloren geht, auf den es ankommt. Das eigentliche Paper von Dropbox musste nicht um Likes konkurrieren, und es zeigte, dass sich die beiden Kanäle überhaupt nicht gleich verhielten.

Mobile Werbung erwies sich als weit weniger wert, als ihre Klick-Attribution behauptete; sie zu streichen war also richtig. Die bezahlte Suche wirkte robust und hielt auf den ersten Blick stand. Ein grosser Teil dieser scheinbaren Stärke war aber Nachfrage, die sich in die organische Suche umleitete. Schalten Sie das bezahlte Ergebnis ab, und die Leute tippen die Marke trotzdem bei Google ein und klicken dann eben auf den kostenlosen Link. Dieselbe Absicht, eine andere Tür.

Aus all dem hat Dropbox rund 25 Mio. Dollar seines Performance-Budgets für das Geschäftsjahr 2025 aus jenen Segmenten abgezogen, die ihren Anteil nicht leisteten, und den auf das Gesamtjahr hochgerechneten Rückgang beim neuen wiederkehrenden Umsatz auf etwa 8 Mio. Dollar modelliert. Das ist ein erhebliches Ergebnis, und ein diszipliniertes. Es ist auch die Stelle, an der die meisten aufhören zu lesen. Ich hätte fast aufgehört zu schreiben. Das Problem ist, dass der Teil, den man kennen sollte, genau hier anfängt.

Ein Blackout kann gratis aussehen

Wenn Sie einen Kanal streichen, verschwindet die Nachfrage nicht am ersten Tag. Sie leitet sich um. Organisch fängt einen Teil auf, Direct fängt einen Teil auf, und der Gesamtumsatz zuckt ein paar Wochen lang kaum. Ein paar Wochen sind genau das Fenster, über das ein 30-Tage-Test berichtet. Also kommt der Test sauber zurück. Die Tabelle sagt, Sie hätten Geld gespart. Der ROI war nicht echt. Die Führungskraft hatte recht.

Wie eingangs gesagt, ich habe solche Tests schon gefahren oder war daran beteiligt. Manche waren wohl ähnlich gross, manche kleiner, und manche vermutlich zu klein. Wie auch immer, was ich aus allen gelernt habe, ist: Der Schaden zeigt sich nicht immer in den ersten 30 Tagen.

Bei einem der grösseren Tests, an denen ich beteiligt war, sah die Entscheidung zu streichen monatelang richtig aus. Dann, etwa im sechsten Monat, fiel uns auf, dass die Wachstumskategorien ins Stocken gerieten und neue Artikel nicht die Zugkraft entwickelten, die sie sonst hatten. Der Kanal, den wir gedrosselt hatten, leistete stille Arbeit, die wir ihm nie gutgeschrieben hatten: Er machte die Marke und ihre neuen Produkte bei Leuten bekannt, die noch gar nicht nach uns suchten. Nichts davon landet in einer Umsatzdifferenz, die über dreissig Tage gemessen wird. Es zeigt sich zwei oder drei Quartale später, in dem Teil des Geschäfts, der davon lebt, entdeckt zu werden.

Und es wird noch schwieriger. Bis zum sechsten Monat haben Sie wahrscheinlich drei weitere grossangelegte Tests gefahren. Wer will sagen, dass nicht einer davon die Entdeckungszahlen ebenfalls bewegt hat?

Der Teil, über den niemand schreibt

Diese Tests sind nicht für jeden. Einen durchzuziehen braucht Nerven und eine Kultur, die das Ergebnis aushält.

Den stärksten Kanal abzuschalten heisst, in eine Verwaltungsratssitzung zu gehen und ungefähr das zu sagen: "Wir haben die Hälfte unseres am besten laufenden Marketings absichtlich abgeschaltet, um herauszufinden, ob es tatsächlich wirkt. Gute Nachricht, es wirkt. Schlechte Nachricht, der Umsatz ist diesen Monat deutlich eingebrochen." Die meisten Geschäftsleitungen haben für diesen Satz keinen Appetit, und das ist kein Charakterfehler. Es ist ein realer Preis mit einem realen Träger.

Dann ist da die Politik. Wenn Sie einen Kanal halbieren, hat die Managerin, die für diese Millionen an Ausgaben verantwortlich ist, gerade zugesehen, wie ihr Budget und damit ihr Beitrag zum Umsatz mit halbiert wurde. (Stichwort Bonus.) Niemand will die Budgetposition sein, die beweist, dass die Ausgaben nicht inkrementell waren. Den Test fair zu fahren, ihn geradeaus zu lesen und ihn nicht still in Richtung jener Antwort zu schieben, die das Organigramm schützt, verlangt Integrität von allen, die ein Stück davon in der Hand halten. Das ist kein Messproblem, das ist ein Menschenproblem. Es entscheidet, ob die Daten, die Sie zurückbekommen, überhaupt etwas wert sind.

Bleiben Sie an den Zahlen dran

Nichts davon ist ein Argument gegen Tests. Inkrementalitätsarbeit gehört zum Nützlichsten, was wir an Messung haben, und gerade die Last-Touch-Attribution überzeichnet, wofür Ihre Anzeigen verantwortlich sind, oft um ein Mehrfaches. Dropbox hatte recht, das Experiment zu fahren, und recht, danach zu handeln. Die Disziplin liegt darin, wie lange Sie weiter hinschauen.

Wenn Sie eine Mix-Disruption fahren, halten Sie die Frage über jenes Fenster hinaus offen, das den Test bequem macht. Schauen Sie nicht nur auf den Kanal, den Sie gestrichen haben. Schauen Sie auf die Kategorien und die neuen Produkte, die er vielleicht gespeist hat, und schauen Sie zwei oder drei Quartale lang hin, nicht dreissig Tage. Lassen Sie die Auswertung noch lange laufen, nachdem der Test offiziell abgeschlossen ist.

Ein Kanal, dessen Streichung im Mai gratis aussieht, kann Ihre Kundengewinnung im Herbst leise abwürgen. Und die Zahl, die einen tollen Social-Media-Aufhänger abgibt, ist selten die ganze Geschichte; der teure Teil ist oft der, der sechs Monate braucht, um aufzutauchen.