Databricks News

Databricks Cluster-Erstellung: Mehr Spielraum bei Lastspitzen

Ailio Redaktion · 18. November 2026 · 5 Min. Lesezeit

Datenplattform

Databricks Cluster-Erstellung: Mehr Spielraum bei Lastspitzen

Ailio

Die Databricks Cluster-Erstellung bekommt mehr Spielraum: Databricks hat die Standard-Request-Rate-Limits für die Erstellung von Clustern auf das 7,5-Fache angehoben. Möglich wird das durch eine interne Steuerung, die laufende Bereitstellungsvorgänge und den Zustand der beteiligten Systeme berücksichtigt. Für Unternehmen mit Azure Databricks ist das besonders dann relevant, wenn viele automatisierte Datenverarbeitungen nahezu gleichzeitig neue Cluster anfordern.

Kurz gesagt: Databricks steuert die Cluster-Bereitstellung für Classic Compute mit adaptiven Concurrency Limits und konnte dadurch die Standard-Request-Rate-Limits auf das 7,5-Fache erhöhen. Das schafft mehr Spielraum für Startanfragen, bedeutet aber weder 7,5-mal schnellere Cluster-Starts noch mehr verfügbare Azure-Ressourcen. Unter Last können angenommene Anfragen zunächst warten, statt sofort mit der Bereitstellung zu beginnen.

Was ist neu an der Databricks Cluster-Erstellung?

Neu ist eine adaptive Begrenzung gleichzeitig aktiver Bereitstellungsvorgänge, durch die Databricks höhere Standardlimits für eingehende Cluster-Erstellungsanfragen ermöglicht.

Bisher schützten vor allem feste Request-Rate-Limits die beteiligten Dienste. Solche Limits legen fest, wie viele Anfragen innerhalb eines Zeitfensters angenommen werden. Sie sind sinnvoll, um übermäßigen API-Verkehr einzudämmen. Allerdings bilden sie nur unzureichend ab, wie viel Arbeit hinter einer einzelnen Anfrage steckt.

Bei der Cluster-Erstellung nimmt die API eine Anfrage entgegen, prüft sie und stößt einen Hintergrundprozess an. Dieser organisiert unter anderem die Bereitstellung virtueller Maschinen. Während der API-Aufruf bereits abgeschlossen sein kann, läuft die eigentliche Arbeit weiter.

Die neue Steuerung betrachtet deshalb den vollständigen Bereitstellungsvorgang. Eine feste Obergrenze für die API-Anfragerate bleibt zusätzlich bestehen. Sie dient weiterhin als Schutz gegen außergewöhnlich hohen eingehenden Verkehr.

Drei Grenzen, die du auseinanderhalten solltest

  • Request-Rate-Limit: Begrenzt die Zahl angenommener Anfragen pro Zeiteinheit.
  • Concurrency Limit: Begrenzt die Zahl gleichzeitig aktiver Bereitstellungsvorgänge.
  • Cloud-Ressourcen und Quoten: Bestimmen unabhängig davon, welche Infrastruktur tatsächlich bereitgestellt werden kann.

Ein höheres Request-Rate-Limit hebt also weder Azure-Quoten auf noch garantiert es die Verfügbarkeit einer gewünschten VM-Größe.

Warum reichen feste API-Limits für Cluster-Starts nicht aus?

Feste API-Limits erfassen weder die Dauer laufender Bereitstellungen noch die wechselnde Leistungsfähigkeit abhängiger Dienste und können deshalb vorhandene Kapazität falsch einschätzen.

Eine Anfrage für einen kleinen Cluster verursacht anderen Aufwand als eine Anfrage für einen großen. Zusätzlich kann die Bereitstellung beim Cloud-Anbieter unterschiedlich lange dauern. Werden virtuelle Maschinen langsamer verfügbar, bleiben mehr Vorgänge gleichzeitig offen, obwohl die Zahl neuer API-Anfragen unverändert ist.

Damit entsteht ein ungünstiger Zielkonflikt: Ein vorsichtig gesetztes Limit weist bei gesundem System möglicherweise unnötig Anfragen ab. Dasselbe Limit kann bei einer Störung trotzdem noch zu viel neue Arbeit zulassen.

Hinzu kommen Wiederholungsversuche innerhalb bereits angenommener Vorgänge. Wenn viele Prozesse gleichzeitig fehlgeschlagene Aufrufe wiederholen, belasten sie einen angeschlagenen Dienst zusätzlich. Der Schutz am API-Eingang sieht diese internen Wiederholungen nicht. Die Begrenzung aktiver Vorgänge setzt näher an dieser Belastung an.

Wie steuern adaptive Concurrency Limits die Bereitstellung?

Adaptive Concurrency Limits vergeben Plätze für aktive Bereitstellungsvorgänge und passen deren Anzahl anhand von Belastungssignalen an.

Jeder gestartete Vorgang belegt einen solchen Platz, bis die Bereitstellung abgeschlossen ist. Sind alle Plätze belegt, wartet weitere angenommene Arbeit zunächst. Ein fertig bereitgestellter Cluster gibt seinen Platz wieder frei, auch wenn anschließend noch stundenlang Daten darauf verarbeitet werden.

Die Steuerung begrenzt damit nicht die Zahl laufender Cluster, sondern die gleichzeitig laufenden Bereitstellungen. Ein Platz entspricht außerdem keiner festen Zahl von VMs oder vCPUs.

Was bei Engpässen passiert

Databricks berücksichtigt unter anderem die Dauer der Bereitstellung und die Auslastung wichtiger Thread Pools. Zeigen diese Signale einen Engpass, reduziert die Steuerung die Zahl zulässiger paralleler Vorgänge. Erholt sich das System, kann sie die Parallelität vorsichtig wieder erhöhen.

Bereits aktive Vorgänge werden dadurch nicht sofort beendet. Sie müssen zunächst abschließen, bevor die Belastung entsprechend sinkt. Bei minutenlangen Abläufen reagiert das System daher nicht augenblicklich.

Auch adaptive Limits können einen ausgefallenen Cloud-Dienst nicht reparieren. Wiederholungsversuche benötigen weiterhin Warteintervalle und eine begrenzte Zahl von Versuchen. Die Steuerung soll verhindern, dass zusätzliche Arbeit die Erholung unnötig erschwert.

Was bedeutet das für Unternehmen mit Azure Databricks?

Für Unternehmen mit Azure Databricks entsteht mehr Spielraum bei gebündelten Cluster-Anfragen; der tatsächliche Nutzen hängt jedoch vom bisherigen Engpass im eigenen Betrieb ab.

Ein typisches Planungsszenario im Mittelstand: Nachts starten mehrere Datenpipelines für Warenwirtschaft, Produktion und Controlling. Fordern diese Abläufe jeweils eigene Cluster an, entsteht kurzfristig eine hohe Zahl von Erstellungsanfragen. War bisher das API-Limit der Engpass, kann die Änderung helfen, mehr dieser Anfragen anzunehmen.

Lag die Verzögerung dagegen an fehlenden Azure-Ressourcen, ausgeschöpften Quoten oder langen Initialisierungsschritten, löst das höhere Limit dieses Problem nicht. Ebenso wenig lässt sich daraus eine entsprechende Beschleunigung von Apache Spark oder eine kürzere Laufzeit deiner Datenverarbeitung ableiten.

Die Meldung beschreibt Cluster-Erstellung für Classic Compute. Sie ist keine pauschale Leistungszusage für sämtliche Databricks-Compute-Angebote. Für deine Datenplattform ist deshalb entscheidend, welche Compute-Varianten und Startmuster tatsächlich genutzt werden.

Wartezeit wird zur wichtigen Betriebskennzahl

Weniger abgewiesene Anfragen allein beweisen noch keine bessere Verarbeitung. Eine angenommene Anfrage kann zunächst in einer Warteschlange liegen. Für deinen Fachbereich zählt letztlich, wann die Daten verfügbar sind.

Databricks beschreibt deshalb begrenzte Warteschlangen und begrenzte Wartezeiten als wichtige Gestaltungsprinzipien. Eine Warteschlange kann kurze Spitzen abfedern, aber keine dauerhaft fehlende Kapazität ersetzen.

Was solltest du im Betrieb jetzt prüfen?

Du solltest Startverzögerungen nach Ursache unterscheiden und deine Automatisierung weiterhin gegen Wartezeiten und vorübergehende Fehler absichern.

Für eine belastbare Bewertung helfen diese Schritte:

  • Ausgangslage erfassen: Prüfe, ob bisher API-Limits, Cloud-Quoten oder die eigentliche Bereitstellung deine Starts bremsen.
  • Gesamtdauer messen: Beobachte die Zeit von der Startanforderung bis zur nutzbaren Rechenleistung, nicht nur die Antwortzeit der API.
  • Wiederholungen prüfen: Vermeide sofortige Wiederholungen in engen Schleifen. Verwende abgestufte Warteintervalle und begrenzte Versuche.
  • Zeitgrenzen abstimmen: Berücksichtige mögliche Wartezeiten in deiner Orchestrierung, ohne fachliche Fristen beliebig auszudehnen.
  • Kosten im Blick behalten: Mehr gleichzeitig angenommene Starts können nach der Bereitstellung zu mehr parallel genutzter Rechenleistung führen.

Unsere Einordnung: Der Fortschritt liegt weniger in der isolierten Zahl 7,5 als in der besseren Abstimmung zwischen angenommener Arbeit und verfügbarer Verarbeitungskapazität. Für Architekturentscheidungen lohnt sich deshalb eine gemeinsame Betrachtung von Startverhalten, Zuverlässigkeit und Kosten.

Was das für dich bedeutet

Wenn dein Unternehmen viele Classic-Compute-Cluster automatisiert startet, ist die Änderung relevant. Erwarte jedoch keine automatische Verkürzung sämtlicher Ladefenster. Prüfe zuerst, ob Anfragelimits tatsächlich dein Engpass sind, und bewerte anschließend die vollständige Zeit bis zur Datenverfügbarkeit.

Du möchtest Cluster-Starts, Orchestrierung und Azure-Ressourcen sinnvoll aufeinander abstimmen? Mit unserer Databricks Beratung unterstützt Ailio dich dabei, deine Architektur und deinen Plattformbetrieb gezielt weiterzuentwickeln.

Redaktionelle Aufbereitung und Einordnung auf Basis eines Beitrags im Databricks-Blog.

Datenplattform & Lakehouse

Ein Datenfundament, auf dem KI und Analytics wirklich tragen.

Databricks oder Fabric, Medallion-Architektur, Governance und Betrieb: Wir bauen deine Datenplattform so, dass der erste produktive Use-Case nicht Jahre, sondern Wochen entfernt ist.

  • Databricks- & Microsoft-Fabric-Expertise
  • Governance, Qualität und Kosten von Anfang an im Griff
  • Plattform und erster Use-Case parallel statt nacheinander