4.1 Reguläre Grammatiken
Reguläre Grammatiken sind eine Untermenge der kontextfreien Grammatiken. Sie sind einerseits mächtig genug, um viele Dinge modellieren zu können (zum Beispiel syntaktisch korrekte Emailadressen), andererseits restriktiv genug, um algorithmisch gut bearbeitbar zu sein. Insbesondere ist das Parsen von regulären Grammatiken immer in linearer Zeit möglich.
Sie ist nicht regulär, weil die erste Regel \(S \rightarrow AB\) gegen die Definition regulärer Grammatiken verstößt. Allerdings können wir leicht eine reguläre Grammatik \(G'\) angeben, die die gleiche Sprache erzeugt:
\begin{align*} S & \rightarrow \epsilon \ |\ a S \ | \ b T \\ T & \rightarrow \epsilon \ | \ b T \ . \end{align*} Hier ist beispielsweise eine Ableitung des Wortes \(aabbb\): \begin{align*} S \Rightarrow aS \Rightarrow aaS \Rightarrow aabT \Rightarrow aabbT \Rightarrow aabbbT \Rightarrow aabbb \end{align*}Wir sehen, dass wir eine Folge von \(a\)'s erzeugen können, bei der ersten Produktion eines \(b\) auf das Nichtterminal \(B\) wechseln, welches dann ausschließlich weitere \(b\)'s erzeugen kann.
Wir sehen: jede Wortform in der Ableitung besteht aus einer Folge von Terminalen, eventuell ganz am Schluss gefolgt von einem Nichtterminal. Halten wir diese erste Beobachtung formal fest.
Sie sollen nun an einer Reihe von Übungsaufgaben arbeiten, um ein Gefühl dafür zu bekommen, was reguläre Grammatiken tun können und was nicht.
a.bba.aba
aber nicht aba
und auch nicht a.b..a
Entwerfen Sie eine reguläre Grammatik für diese Sprache.
Entwerfen Sie eine reguläre Grammatik für die Sprache aller korrekter Emailadressen über dem Alphabet \(\Sigma = \{a,b,.,-,@\}\). Sie dürfen natürlich noch weitere Buchstaben zulassen, dann schreiben Sie sich aber schnell zu Tode.
Erweitert reguläre Grammatiken
In einer Übungsaufgabe oben wurden Sie aufgefordert, eine reguläre Grammatik zu schreiben für die Sprache aller \(1^n\) mit \(n\) durch 3 teilbar. Hier ist eine besonders einfache Lösung:
\begin{align*} S \rightarrow \epsilon \ | \ 111S \end{align*}Sehen Sie, Sie können hier Einsen nur in Dreierblöcken erzeugen. Leider ist diese Grammatik nicht regulär nach unserer obigen Definition. Was tun wir, wenn wir nicht zufrieden sind mit einer Definition? Wir wandeln sie ab.
Wir können nun, wenn wir reguläre Grammatik entwerfen wollen, die bequemeren erweitert regulären Sprachen verwenden; wenn wir Dinge über reguläre Grammatik beweisen wollen (oder deren Grenzen studieren wollen), können wir uns auf die eigentlichen regulären Grammatiken beschränken, da wir wissen, dass beide Definition eh gleich mächtig sind.
Reguläre Grammatiken vereinfachen
Das letzte Theorem erlaubt uns, eine Definition von regulären Grammatiken zu verwenden, die uns mehr erlaubt. Im Folgenden zeigen wir, wie man die Form der Grammatiken noch stärker einschränken kann, ohne dass Sie an Mächtigkeit einbüßen. Per Definition 4.1 hat jede Produktion in einer regulären Grammatik eine der folgenden vier Formen: \begin{align*} 1. \quad X & \rightarrow aY \\ 2. \quad X & \rightarrow a \\ 3. \quad X & \rightarrow Y \\ 4. \quad X & \rightarrow \epsilon \end{align*}Wir zeigen nun, dass man auf Produktionen der Form 2 und 3 verzichten kann.
Produktionen der Form \(X \rightarrow Y\) zu eliminieren ist etwas komplizierter. Die Idee ist, dass in einer von \(X\) ausgehende Ableitung eines Wortes irgendwann zum ersten Mal eine Wortform \(\alpha\) vorkommen muss, die nicht ein einzelnes Nichtterminalsymbol ist, also \(X \Rightarrow^* Y \Rightarrow \alpha\) mit \(\alpha \not \in N\). Wir definieren nun $$ P' := \{ X \rightarrow \alpha \ | \ \alpha \textnormal{ ist kein einzelnes Nichtterminal, und es gibt $Y \in N$ mit $X \Rightarrow^* Y$ und $Y \rightarrow \alpha$}) \} $$ als neue Menge von Produktionen, die keine Produktionen von der Form \(X \rightarrow Y\) enthalten. \(\square\)
Im vorhergehenden Beweis haben wir nicht formal gezeigt, dass \(L(G')= L(G)\) gilt. Unser
Kernargument
war das etwas saloppe "irgendwann muss ja mal eine Produktion kommen, die nicht von der Form \(X
\rightarrow Y\) ist".
Anstatt den Beweis formal durchzuführen, stellen wir uns lieber eine interessantere Frage: wie
können wir die neuen Produktionen \(P'\) im konkreten
Fall die Mengen berechnen? Dann das müssen wir ja tun, wenn wir eine solche Transformation
durchführen wollen.
Im Prinzip müssen wir alle Nichtterminale \(X\) und alle Produktionen \(Y \rightarrow \alpha\)
mit \(\alpha \not \in N\) durchgehen
und überprüfen, ob \(X \Rightarrow^* Y\) gilt. Dies können wir beispielsweise überprüfen, indem
wir die Mengen
\begin{align*}
N_k(X) := \{ Y \in N \ | \ \textnormal{ es gibt } X_1,\dots, X_{l-1} \textnormal{ mit }
X \rightarrow X_1 \rightarrow X_2 \cdots X_{l-1} \rightarrow Y \textnormal{ und } l \leq k \}
\end{align*}
definieren, also die Menge derjenigen Nichtterminalsymbole, die sich in bis zu \(k\) Schritten
von \(X\) aus ableiten lassen.
Wir berechnen die \(N_k\) iterativ wie folgt:
\begin{align*}
N_0 (X) & := \{X\} \ , \\
N_{k+1} (X) & := N_k \cup \{Z \in N \ | \ \textnormal{ es gibt } Y \in N_k(X) \textnormal{ mit }
Y \rightarrow Z \} \ .
\end{align*}
Die Menge \(N_{k+1}(X)\) lässt sich also mit zwei geschachtelten for
-Schleifen
berechnen: eine
über die \(Y \in N_k\) und eine über die Produktionen \(Y \rightarrow Z\). Um \(N_{k+1}(X)\) für
alle
\(X \in N\) zu berechnen, brauchen wir eine weitere for
-Schleife. Wir
berechnen nun \(N_{\geq k}\) für steigende \(k\), bis keine weitere Veränderung eintritt.
Da die Menge \(N_k\) nur wachsen kann, gilt nach höchstens \(n = |N|\) Schritten \(N_n(X) = N_{n+1}(X)\) und somit $$ N_n(X) = \{Y \in N \ | \ X \Rightarrow^* Y\} \ . $$ Das geht auch aus einer anderen Überlegung hervor: wenn man überhaupt \(X \Rightarrow Y\) ableiten kann, dann auch in maximal \(|N|\) Schritten, denn ansonsten kämen ja in der Ableitung ein Nichtterminal doppelt vor und man könnte abkürzen.
Die Grammatik \(G\) ist regulär, enthält aber Produktionen vom Typ 3, zum Beispiel \(S \rightarrow A\). Schreiben Sie eine äquivalente Grammatik \(G'\), die nur Produktionen von der Form \(X \rightarrow bY\) und \(X \rightarrow \epsilon\) enthält.
Wir können zwar auf Produktionen vom Typ 2 und 3 verzichten. Dies hat allerdings seinen Preis, wie die folgende Übungsaufgabe zeigt:
Schreiben Sie eine äquivalente Grammatik ohne Produktionen der Form \(X \rightarrow Y\). Wieviele Produktion hat Ihre neue Grammatik?
Reguläre Sprachen nach Baukastenprinzip bauen
Eine schöne Eigenschaft von regulären Grammatiken ist, dass sie mächtig genug sind, um uns zu erlauben, die nach dem Baukastenprinzip zu komplizierteren Einheiten zusammenzufügen. Formate wie beispielsweise Emailadressen sind oft aufgebaut nach Mustern wie- Ding 1, dann Ding 2, wie beispielsweise Username, dann
@
, dann Domainname - Ding, bliebig oft wiederholt, wie beispielsweise eine beliebig lange Folge von
Labels, mit
.
separiert. - Ding 1 oder Ding 2. Beispielsweise Bindestrich oder alphanumerisches Zeichen.
Seien nun \(G_1 = (\Sigma_1, N_1, P_1, S_1)\) und \(G_2 = (\Sigma_2, N_2, P_2, S_2)\) die beiden regulären Grammatiken. Wir gehen davon aus, dass \(N_1 \cap N_2 = \emptyset\), dass es also bei den nichtterminalen Symbolen keinen Zweifel gibt, zu welcher Grammatik sie gehören. Falls dies nicht der Fall sein sollte, können wir zum Beispiel die Symbole in \(N_2\) einfach umbenennen. Wir erschaffen nun ein neues Startsymbol \(S \not \in N_1 \cup N_2\) und bauen uns eine neue Grammatik, in dem wir die zwei neuen Regeln \begin{align*} S & \rightarrow S_1 \\ S & \rightarrow S_2 \end{align*} hinzufügen. Formal also $$ G := (\Sigma_1 \cup \Sigma_2, N_1 \cup N_2 \cup \{S\}, P_1 \cup P_2 \cup \{S \rightarrow S_1, S \rightarrow S_2\}, S) \ . $$ In einer Ableitung aus \(G\) müssen wir uns also im ersten Schritt entscheiden, ob wir nach \(S_1\) oder nach \(S_2\) gehen und somit ein Wort in \(L_1\) oder eines in \(L_2\) ableiten wollen.
\(\square\)In einem nächsten Schritt werden wir zeigen, dass Konstrukte wie Ding 1, gefolgt von Ding 2 mit regulären Grammatiken realisierbar sind.
Wir führen nun wiederum ein neues Startsymbol \(S \not \in N_1 \cup n_2\) ein und fügen die Regel $$ S \rightarrow S_1 S_2 $$ hinzu. Es sollte nun klar sein, dass wir aus \(S\) genau die Wörter der Form \(\alpha \beta\) mit \(S_1 \Rightarrow^* \alpha\) und \(S_2 \Rightarrow^* \beta\) ableiten können, also genau die in \(L_1 \cup L_2\). Leider ist die Regel \(S \rightarrow S_1 S_2\) nicht regulär, da auf der rechten Seite zwei nichtterminale Symbole vorkommen.
Wir müssen anders vorgehen. Wir ändern die Regeln von \(G_1\) so ab, dass immer, wenn in einer \(G_1\)-Regle die Ableitung endet, wir das Zeichen \(S_2\) anhängen:
\begin{align*} \begin{array}{l|l} \textnormal{Regel in $G_1$} & \textnormal{wird zu} \\ \hline X \rightarrow aY & X \rightarrow aY \\ X \rightarrow a & X \rightarrow aS_2 \\ X \rightarrow Y & X \rightarrow Y \\ X \rightarrow \epsilon & Y \rightarrow S_2 \ . \end{array} \end{align*}Die Menge an Produktionen der Grammatik \(G\) besteht dann aus den nach dieser Tabelle modifizierten Produktionen \(P_1\) von \(G_1\), zusammen mit den (unmodifizierten) Regeln von \(G_2\). Das Startsymbol von \(G\) ist \(S_1\).
\(\square\)
https://web1.hszg.de/modulkatalog/index.php?activTopic=3&activNav=2&stid=566&frei=1&kennz=suche&activCont=1
- Dem Protokoll. Hier ist das
https
; es kann aber auchhttp
oderftp
sein. - Dem
://
nach dem Protokoll. - Dem Domainnamen, hier
web1.hszg.de
. - Optional nun einem Pfad, hier
/modulkatalog/index.php
. - Falls ein Pfad enthalten ist, dann optional ein
?
, gefolgt von einem Query-String; dieser besteht aus beliebig vielen, aber mindestens einem Paar der Form Key=Value, wobei die Paare mit einem&
separiert sind.
Zeigen Sie, dass die Sprache der syntaktisch korrekten URLs (in dem gerade beschriebenen Format) regulär ist. Sie können entweder direkt eine reguläre Grammatik angeben oder mit dem Baukastenprinzip und den drei letzten Lemmas argumentieren.
Wir führen ein weiteres Baukastenwerkzeug ein, weil es in der Praxis recht häufig vorkommt.
Für jede \(G\)-Produktion der Form \(Y \rightarrow \epsilon\) fügen wir \(Y \rightarrow cS\) hinzu.
Für jede \(G\)-Produktion der Form \(Y \rightarrow a\) fügen wir \(Y \rightarrow acS\) hinzu.
Die neue Grammatik \(G'\) ist eine erweitert reguläre Grammatik, da Regeln wie \(Y \rightarrow acS\) auf der rechten Seite zwei Terminalsymbole haben. Wir müssen sie also erst noch in eine "richtig reguläre" umwandeln. In konkreten Anwendungne empfiehlt es dazu, die Nichtterminale von \(G'\) umzubenennen, damit keien Verwechslungsgefahr droht. \(\square\)Wir können noch sehr viel mehr Operationen mit regulären Sprachen machen als Vereinigung, Konkatenation und Kleenesche Hülle. Beispielsweise Umkehrung und Komplement, also beispielsweise
- Alle Emailadressen, von rechts nach links gelesen (Umkehrung);
- Die Menge aller syntaktisch inkorrekten Emailadressen (Komplement).