Continuous Query Language

Die Continuous Query Language (CQL) ist eine deklarative Anfragesprache für Datenströme in Data Stream Management Systemen. Sie stellt eine Erweiterung der SQL dar. Die CQL wurde bis Januar 2006 im Rahmen des STREAM-Projekts an der Stanford University entwickelt.

Die wesentliche Erweiterung von CQL gegenüber SQL besteht darin, dass zusätzlich zu Relationen (Datenbanktabellen) auch Datenströme als Datentypen existieren.

Datenströme lassen sich als potentiell unendliche Folgen von Zeit-Wertepaaren auffassen.

CQL definiert außerdem folgende Operatoren, die in den nachfolgenden Abschnitten erläutert werden:

• der Fenster-Operator [...]
• der Insert-Stream-Operator ISTREAM
• der Delete-Stream-Operator DSTREAM
• der Relation-Stream-Operator RSTREAM
• der Stichproben-Operator SAMPLE für die Auswahl aus einem Datenstrom.

Für die Transformation zwischen Relationen können die herkömmlichen Operatoren aus SQL verwendet werden.

Die Umwandlung von Strömen in andere Ströme findet über den Umweg von Relationen statt.

Es werden kontinuierlich Wetterdaten gemessen, die als Datenstrom in einer Applikation ankommen. Der folgende CQL-Ausdruck liefert mit Hilfe eines Fenster-Operators die Durchschnittstemperatur der letzten 24 Stunden:

SELECT AVG(Temperatur) FROM Wetter [Range 1 Day]

Da es sich um eine kontinuierliche Anfrage handelt, wird diese per Istream standardmäßig wieder in einen Datenstrom umgewandelt. Die vollständige Anfrage lautet also:

SELECT ISTREAM(AVG(Temperatur) FROM Wetter [Range 1 Day])

In einer anderen Datenbank werden von einem Blitzortungssystem erkannte Blitze mit ihren Koordinaten eingetragen. Folgende Anfrage erzeugt daraus einen Datenstrom:

SELECT ISTREAM(position) FROM Blitz

In Kombination mit weiteren Daten lässt sich beispielsweise ein Datenstrom von Blitzen in ausgewählten Gebieten erzeugen und als aktuelle Blitzwarnung ausgeben.

Zur Umwandlung von Strömen in Relationen wird ein Fenster definiert. Die Syntax dafür ist S [W], wobei S ein Strom und W ein Fenster ist. Das Fenster kann durch einen Zeitraum oder durch eine Anzahl von Tupeln angegeben werden:

[Rows 100] liefert beispielsweise die jeweils 100 letzten Tupel

[Range 5 Seconds] liefert beispielsweise die Tupel der letzten 5 Sekunden

Wird kein Fenster angegeben, so wird [∞] angenommen, das heißt, die Relation enthält alle Tupel aus dem Datenstrom bis zum aktuellen Zeitpunkt. Zusätzlich kann eine Beschränkung durch eine WHERE-Klausel und bei durch Tupelanzahl-basierten Fenstern eine Gruppierung mit PARTITION BY angegeben werden.

In folgendem Beispiel sei ein Strom „Bestellung“ mit den Attributen „Kunde“ und „Zahlungsart“ gegeben. Folgende Anfrage liefert jeweils die 5 letzten Bestellungen eines jeden Kunden, der mit Kreditkarte gezahlt hat.

SELECT * FROM Bestellungen B
[PARTITION BY B.Kunde ROWS 5]
WHERE B.Zahlungsart = 'Kreditkarte'

In Verbindung mit dem Operator RSTREAM sind zusätzlich die Schlüsselwörter NOW und SLIDE möglich (siehe dort).

Mit dem Operator ISTREAM wird aus einer Relation ein Datenstrom erstellt, bei dem jedes Mal, wenn ein Tupel in die Relation eingefügt wird, eine Kopie an den Datenstrom gesandt wird – allerdings nur, wenn es sich bei den eingefügten Tupeln nicht um Duplikate handelt. Die folgende Anfrage liefert mit jeder neuen Bestellung die Anzahl der Bestellungen innerhalb der letzten Stunde:

SELECT ISTREAM(COUNT(*)) FROM Bestellungen B [Range 1 Hour]

Mit dem Operator DSTREAM wird aus einer Relation ein Datenstrom erstellt, bei dem jedes Mal, wenn ein Tupel aus einer Relation entfernt wird, dieses Tupel an den Datenstrom gesandt wird. Die folgende Anfrage liefert die gelöschten Kunden als Datenstrom:

DSTREAM (SELECT * FROM Kunden)

Der Operator RSTREAM wandelt eine gesamte Relation in einen Datenstrom um. Das heißt, alle Tupel, die zum gegenwärtigen Zeitpunkt in der Relation enthalten sind, werden an den Datenstrom gesandt.

Das Schlüsselwort NOW für die Länge eines Fensters liefert in Verbindung mit dem Operator RSTREAM den aktuellen Wert. In folgendem Beispiel seien zwei Ströme Verbindungsaufbau und Verbindungsende gegeben, die jeweils den Anfang und das Ende einer Kommunikationsverbindung liefern. Die folgende Anfrage liefert fortlaufend alle abgeschlossenen Verbindungen, die höchstens 5 Minuten gedauert haben.

SELECT RSTREAM(A.*)

FROM Verbindungsaufbau [Range 5 Minutes] A, Verbindungsende [Now] E

WHERE A.id = E.id

Mit dem Schlüsselwort SLIDE kann für ein Fenster angegeben werden, wie oft es aktualisiert werden soll, beziehungsweise wann das Fenster verschoben werden soll. Die folgende Anfrage liefert beispielsweise täglich das gleitende Monatsmittel der gesamten Bestellsumme aus einem Strom von Bestellungen:

SELECT RSTREAM( AVG(B.Summe) ) FROM Bestellungen B [Range 1 Month Slide 1 Day]

Um eine zufällige Auswahl aus einem Stream zu bekommen, gibt es den Operator SAMPLE, dem eine Prozentzahl übergeben wird. Beispielsweise gibt die Anfrage SELECT * FROM T SAMPLE(10) aus dem Stream T jedes Element nur mit einer Wahrscheinlichkeit von 10 % aus, so dass im Durchschnitt nur jedes zehnte in den Ergebnisstrom übernommen wird.

Ein wesentlicher Vorteil der CQL ist, dass sie direkt auf der – nur teilweise deklarativen – SQL aufbaut und die Anfragen deklarativ formuliert werden können. Dies setzt jedoch im DSMS effiziente Verfahren zur Umformulierung der Anfrage in einen Anfrageplan voraus.

Mit STREAM konkurrierende Systeme verwenden entweder direkt ein imperatives Modell zur Formulierung von Anfragen (beispielsweise Aurora/Borealis) oder besitzen eine mit CQL vergleichbare Syntax (TelegraphCQ) beziehungsweise ermöglichen prinzipiell auch die Ausführung von CQL-Anfragen (PIPES).

Die Verarbeitung von Anfragen über XML-Datenströmen stellt ein eigenes Forschungsgebiet dar, in dessen Rahmen auf XPath statt auf SQL aufbauende Anfragesprachen entwickelt werden.

• Kalkül (Datenbank)
• Relationale Algebra

• Brian Babcock, Shivnath Babu, Mayur Datar, Rajeev Motwani, Jennifer Widom: Models and Issues in Data Stream Systems. PODS 2002, Madison, Wisconsin.
• Arvind Arasu, Shivnath Babu, Jennifer Widom: The CQL Continuous Query Language: Semantic Foundations and Query Execution. Stanford, 2003 (Technical Report)
• Rajeev Motwani, Jennifer Widom, Arvind Arasu, Brian Babcock, Shivnath Babu, Mayur Datar, Gurmeet Manku, Chris Olston, Justin Rosenstein und Rohit Varma: Query Processing, Resource Management, and Approximation in a Data Stream Management System. Stanford, 2002 (CIDR 2003)

• Stanford Stream Data Manager (STREAM; englisch)
• CQL-Einführung aus STREAM (englisch)
• CQL-Spezifikation für STREAM (englisch)
• Stream Query Repository – eine Sammlung von Anfragen in CQL (englisch)