Das bxpublish-Programm

Downloads des Blox-Projektes | Downloads der gesamten Site | Impressum

Inhalt dieser Seite

1   Überblick

Das bxpublish-Programm erzeugt eine Kopie einer Dateisystemstruktur unter Auslassung bestimmter Dateien. Es kann benutzt werden, um einen Veröffentlichungsordner als einen Bereich zur Vorbereitung eines Blox-Projektes für den Upload bereitzustellen. Unter Benutzung von bxpublish ist es möglich, die Bereitstellung von Dateien zu verhindern, welche ohne Inhaltsänderung neu erzeugt wurde. Es genügt dann, die Änderungszeitpunkte von Dateien im Veröffentlichgunsordner und denen auf dem Server zu vergleichen.

2   publish.txt-Dateien

bxpublish liest seine Spezifikation über ein- und auszuschließende Dateien von Konfigurationsdateien mit Namen publish.txt ein. Es gibt zwei verschiedene Arten von Instruktionszeilen in einer publish.txt-Datei:

  1. Pfadgruppenzeilen bestehen aus einem Pfadmuster und einem direkt darauf folgenden Doppelpunkt (ohne trennende Leerzeichen). Leerzeichen vor dem Muster und auf den Doppelpunkt folgende Leerzeichen werden ignoriert.
  2. Ein-/Ausschlusszeilen (genannt Definitionszeilen) sind Zeilen welche entweder mit einem - order einem + beginnen, worauf ein Dateinamensmuster folgt. Zwischen dem Typzeichen (+ oder -) und dem Dateinamensmuster kann beliebig viel (oder kein) Freiraum existieren. Einschlusszeilen nutzen das +, Ausschlusszeilen das -. Leerzeichen am Beginn der Zeile sowie an ihrem Ende werden ignoriert.

Das Verzeichnismuster wie auch das Namensmuster werden als reguläre Ausdrücke interpretiert. Leerzeichen in ihrem Inneren sind Teil des Musters. Eine beispielhafte publish.txt-Datei lautet:

- notneeded\.txt
+ included\.tar\.gz

dir(ectory)?:
- .*\.ext

Jede Pfadgruppenzeile betrifft die darauffolgenden Definitionszeilen, bis eine weitere Pfadgruppenzeile gelesen wird. Aufgrund dieses Verhaltens unterteilen Pfadgruppenzeilen die Definitionzeilen in Gruppen.

Kommentare werden durch eine Raute # eingeleitet und erstrecken sich bis zum Ende der Zeile. Kommentare werden vor jeder weiteren Verarbeitung der Zeile herausgefiltert. Weil Freiraum am Ende der Definitionszeilen sowie der Pfadgruppenzeilen zugelassen ist, werden Leerzeichen direkt vor der Raute ignoriert. Kommentare können wieder Rautenzeichnen in jeder beliebigen Menge enthalten. Rauten können nicht maskiert werden, sie können also nicht als Teil einer Pfadgruppe oder eines Definitionsmusters verwendet werden.

3   Arbeitsschritte

Das bxpublish-Programm liest zunächst alle publish.txt-Dateien, um für jede einzelne Datei im Quellordner zu entscheiden, ob sie einzuschließen ist oder nicht. Dies resultiert in einem Inventar von zu veröffentlichenden Dateien. Die darauffolgende Tätigkeit von bxpublish besteht aus drei Schritten:

  1. Alle Dateien im Zielverzeichnis, welche nicht Teil des Inventars sind, werden gekürzt.
  2. Für jede Datei im Inventar wird durch bxpublish festgestellt, ob sie kopiert werden soll, und die Datei wird wenn notwendig kopiert.
  3. Nachdem alle Dateien wie erforderlich kopiert wurden, prüft bxpublish für jedes Verzeichnis in der Zielhierarchie ob es leer ist; derartige Verzeichnisse werden entfernt. Die Verzeichnisse werden dabei von unten nach oben iteriert, sodass Verzeichnisse, welche auf keiner Ebene Dateien enthalten, im Moment ihrer Prüfung leer sind, um entsprechend gekürzt zu werden.

4   Kopieren von Dateien

Dateien werden kopiert wenn der Inhalt der betreffenden Quelldatei von dem der Zieldatei abweicht. Es gibt mehrere Umstände, welche bei der Entscheidung über das Kopieren einer Datei angetroffen werden können:

  1. Wenn das Ziel als ein Verzeichnis existiert, wird die Datei übersprungen. In diesem Fall existiert die Quelle als eine Datei, sodass keinerlei Dateien unterhalb des Zieles Teil des Inventars sind; das Zielverzeichnis kommt daher bereits nach dem Streichen von Dateien zum Ausdünnen in Frage und wird beim Kürzen der Verzeichnisse gelöscht werden. bxpublish sollte in diesem Fall also erneut ausgeführt werden; eine entsprechende Mitteilung wird ausgegeben werden. Ausschließlich im Trockenlauf kann das Ziel den Vorgang überstehen.

  2. Wenn das Ziel nicht existiert oder die Größe des Zieles von der Größe der Quelle abweicht, wird die Datei unter Nutzung von rsync -t kopiert.

  3. Falls Quelle und Ziel existieren und von gleicher Größe sind, wird ihr Inhalt verglichen, um über die Notwendigkeit der Kopieroperation zu entscheiden.

    Am Beginn seiner Tätigkeit hält bxpublish Ausschau nach einem Hashgenerator. Im Moment werden sha1sum und md5sum erwogen. Die Wahl kann manuell über die Umgebungsvariable HASHGEN übersteuert werden. Der Wert none steht dabei für die Abwesenheit eines jeglichen Hashgenerators. Es wird erwartet, dass der Hashgenerator als erstes den Hash der jeweiligen Datei ausgibt, wenn er als $ <HASHGENERATOR> <DATEI> aufgerufen wird.

    Wenn ein Hashgenerator bereitsteht, wird er genutzt werden um die Inhalte der Quell- und der Zieldatei zu vergeleichen, und wenn es notwendig ist die Datei zu kopieren, wird rsync -t darauf angewendet werden.

    Wenn kein Hashgenerator gefunden wurde, wird die Option -c für rsync verwendet, um die Entscheidung an rsync weiterzureichen, sodass effektiv rsync -tc verwendet wird.

Quelldateien sind zu überspringen, wenn sie den gleichen Inhalt wie ihr Pendant im Ziel aufweisen. Bei Abwesenheit eines Hashgenerator ist dieser Umstand allerdings ununterscheidbar von der Situation abweichenden Inhalts bei gleicher Größe, ein Fall in welchem das Kopieren notwendig ist; damit kann das Kopieren nicht überprungen werden. Unter derartigen Umständen werden daher alle Quelldateien stets kopiert, möglicherweise unter Weiterreichung der Inhaltsfrage an rsync. Die verschiedenen Gründe für das Durchführen einer Kopieroperation werden weiterhin iteriert um dem Nutzer in erhöhtem Verbosity-Level detaillierte Informationen zu liefern. Man beachte dass rsync von sich aus das Kopieren einer Datei überspringen kann, wenn rync -tc unter Nutzung seines integrierten Hash-Algorithmus' feststellt, dass keine Unterscheide vorliegen. Es ist dem Nutzer allerdings erst im höchsten Verbosity-Level möglich, dies festzustellen.

5   Katalogerstellung

Um die publish.txt-Dateien zu finden, sucht bxpublish nach Verzeichnissen im Quellordner, und prüft für jedes gefunden Verzeichnis, ob es eine solche Datei enthält. Die Liste von Verzeichnispfaden wird vor dieser Untersuchung sortiert.

Im Zuge des Einlesens der publish.txt-Dateien wird ein Katalog von Regeln erstellt, jeweils eine Regel pro Definitionszeile. Jede solche Regel hat vier Komponenten:

  1. Jede Regel hat einen Typ, welche entweder einschließend (Zeilen mit +) oder ausschließend (Zeilen mit -) sein kann.
  2. Der Pfad der untersuchten publish.txt-Datei relativ zum Quellverzeichnis wird die Wurzel der Regel genannt.
  3. Das Pfadmuster der letzten Pfadgruppenzeile wird als das Pfadmuster der Regel gespeichert. Wenn noch keine Pfadgruppenzeile in der gegenwärtig bearbeiteten publish.txt-Datei gelesen wurde, kommt der leere String als Pfadmuster zur Anwendung.
  4. Schließlich definiert das Dateimuster der Definitionzeile das Namensmuster der Regel.

Es ist eine Standard-Ausschlussregel definiert, um die publish.txt-Dateien nicht zu veröffentlichen. Diese Regel ist im Quellverzeichnis verwurzelt, ihr Pfadmuster passt auf jeden Pfad und ihr Dateimuster trifft genau auf publish.txt zu.

6   Anwendung des Katalogs auf Dateien

Für jede Datei im Quellverzeichnis wird für jede Regel festgestellt, ob die Datei von der Regel abgedeckt wird:

  1. Es wird der Pfad der Datei relativ zum Quellverzeichnis berechnet. Dieser Pfad wird mit einem Punkt beginnen. Wenn dieser Quell-relative Pfad nicht mit den Komponenten des Wurzelverzeichnisses beginnt, trifft die Regel nicht zu.
  2. Andernfalls wird der Pfad der betreffenden Datei relativ zum Wurzelverzeichnis der Regel berechnet. Dieser Pfad wird durch Weglasung des führenden './' abgekürzt. Wenn der relative Pfad genau aus dem einzelnen Punkt besteht, wird er als der Null-String abgekürzt.
  3. Wenn nun der abgekürzte Pfad dem Pfadmuster der Regel entspricht, und wenn der Dateiname der betreffenden Datei auf das Namensmuster des Regel passt, deckt die Regel die Datei ab. Wenn irgendeine der beiden nicht passt, deckt die Regel die Datei nicht ab. Das Pfadmuster und das Namensmuster müssen den gesamten entsprechenden String erfassen um zuzutreffen.

Definitionszeilen im Kopf einer publish.txt-Datei vor einer jeglichen Pfadgruppenzeile ergeben Regeln mit dem leeren String als ihr Pfadmuster. Derartige Regeln decken dementsprechend Dateien ab, welche direkt im Wurzelpfad der betreffenden publish.txt-Datei liegen.

Wenn mehrere Regeln eine Datei abdecken, ist diejenige entscheidend welche zuletzt definiert wurde. Wenn keinerlei Regel eine fragliche Datei abdeckt, wird die Datei standardmäßig eingeschlossen. Weil allein die Verzeichnispfade im Zuge der Suche nach publish.txt-Dateien sortiert werden, ist garantiert dass jede publish.txt-Datei in einem bestimmten Verzeichnis eher als alle publish.txt-Dateien in Unterverzeichnissen des betreffenden Ordners gelesen wird.