Hallo und willkommen zurück.
Im heutigen Video werden wir uns näher mit dem Amazon FS für Luster beschäftigen.
Wir wissen bereits, dass das Amazon Face for Luster ein vollständig verwaltetes Dateisystem
ist, das auf Luster basiert.
Wenn Sie sich dieses Diagramm ansehen, zeigt es im Grunde den mündlichen Arbeitsablauf.
Was tun Sie also?
Sie erstellen in der Regel das Luster-Dateisystem.
Dann können Sie es mit einem Dienst verknüpfen oder integrieren, in erster Linie mit Amazon S3, wo die Synchronisierung stattfinden
kann, und dann können Sie dieses spezifische Dateisystem mit mehreren Ressourcen verknüpfen oder einhängen.
Es können einfach zwei Instanzen X und X vor Ort sein, usw. Sobald das Dateisystem eingehängt ist, können Sie Ihre
HPC-Aufgaben zum maschinellen Lernen ausführen.
Dies ist also der allgemeine Arbeitsablauf.
Als Teil von Luster gibt es also bestimmte Anwendungsfälle, die Sie sich merken müssen, nämlich dass es in erster Linie für Anwendungsfälle
des maschinellen Lernens verwendet wird.
Die HPC-Anwendungsfälle für Big Data-Analysen und sogar für VFX.
Nehmen wir also an, dass Ihr FS four luster als Teil des Gesamtworkflows in einen S3-Bucket integriert ist.
Der erste primäre Schritt wäre also, dass die in S3 gespeicherten Daten zur Verarbeitung in Ihr FS four luster geladen
werden.
Es gibt also einige Daten, die verarbeitet werden müssen und die sich im S3-Bucket befinden.
Also laden Sie diese Daten in das Luster-Dateisystem.
Das Luster-Dateisystem wird wiederum auf einen Satz von EC zwei Instanzen gemountet.
Sobald die Dateien in Luster gemountet sind, kann die Verarbeitung dieser Dateien in den beiden EC-Instanzen stattfinden
und die endgültige Prozessausgabe kann an die drei S-Instanzen zurückgegeben werden, um sie insgesamt aufzubewahren.
Ein spezieller Teil, den Sie sich merken müssen, ist, dass der FS four luster nativ mit einem Datenspeicher wie
Amazon S3 integriert ist. Wenn Sie sich also diesen speziellen Screenshot ansehen, haben Sie die Integration
des Datenspeichers, er ist vom Typ drei, und dann geben Sie den S3-Bucket an.
Dies ist also der spezifische Bucket, aus dem die Daten in das Luster-Dateisystem eingefügt werden.
Jetzt möchte ich Ihnen noch schnell zeigen, dass ich bereits das Luster-Dateisystem habe, das jetzt in diesem speziellen
Dateisystem verfügbar ist. Wenn Sie sich das Daten-Repository ansehen, haben Sie den Amazon S3-Bucket, den Importpfad
und den Exportteil.
So können Sie einen bestimmten S3-Bucket mit Luster verknüpfen.
Wenn Sie ein Luster-Dateisystem erstellen, gehen wir ein bisschen tiefer.
Sie haben eine spezielle Option für das Daten-Repository, mit der Sie die Daten importieren und auch in S3 exportieren
können.
Sie werden also sehen, dass Sie die drei Eimer angeben müssen.
Und auch hier gibt es bestimmte Import- und Exporteinstellungen.
In den Importeinstellungen können Sie also drei Hauptoptionen angeben.
Sie müssen also auswählen, welche Aktualisierungen im Datenspeicher vorgenommen werden sollen.
In diesem Fall sollten drei an das Dateisystem weitergegeben werden.
Wenn wir also Aktualisierungen am S3-Bucket vornehmen, die darauf basieren, welche Art von Aktualisierungen an das Dateisystem weitergegeben
werden sollen, dann in erster Linie, weil es verlinkt sein wird.
In ähnlicher Weise gibt es auch die Exporteinstellungen, in denen Sie auswählen können, welche Aktualisierungen, die
Teil des Dateisystems sind, zurück in das Daten-Repository, also S3, übertragen werden sollen.
Also gut.
Ich hoffe, Sie haben jetzt verstanden, was der Datenspeicher bedeutet.
Hier müssen Sie das Grundkonzept des "Lazy Loading" von Daten verstehen.
Im Großen und Ganzen bedeutet "Lazy Loading" also, dass das Laden oder die Initialisierung von Ressourcen oder Objekten so lange verzögert
wird, bis sie tatsächlich benötigt werden.
Dies lässt sich anhand dieses Diagramms besser verstehen. Nehmen wir an, Sie haben
einen Bucket mit Petabytes an Daten und das FS für Lustre-Dateisystem.
Wenn Sie nun das FS mit S3 integrieren, müssen dann alle Petabytes an Daten in S3 Teil des Glanzes
sein?
Die Antwort ist in den meisten Fällen nein, und das ist der Grund, warum Sie nur die notwendigen Daten laden.
Auf dieser Grundlage werden die erforderlichen Daten von den beiden EG-Instanzen verarbeitet.
Dadurch wird nicht nur die Gesamtleistung verbessert, sondern es werden auch viele Ressourcen gespart.
Wenn wir nun über die allgemeinen Bereitstellungsoptionen sprechen, gibt es zwei Hauptoptionen, die Sie sehen
werden.
Der eine ist der Kratzer und der andere ist der Dauerhafte.
Wenn Sie also im Diagramm den Einsatz- und Speichertyp sehen, haben Sie den persistenten
und den Scratch-Typ.
Je nachdem, für welche Option Sie sich entscheiden, ändern sich auch die Gesamtspeicherkapazität
und der Durchsatz.
Die erste Einsatzoption, die wir untersuchen werden, ist also der Kratzer.
Die Scratch-Dateisysteme sind also in erster Linie für die vorübergehende Speicherung und kurzfristige
Verarbeitung von Daten gedacht.
Der Vorteil dabei ist, dass ein hoher Burst-Durchsatz erreicht wird.
Da es jedoch für temporäre Anwendungsfälle konzipiert ist, werden die Daten nicht repliziert und bleiben bei einem Ausfall eines
Dateiservers nicht erhalten.
Die zweite Art der Bereitstellung ist.
Persistent und wird für Langzeitspeicherung und Workloads empfohlen.
Der Vorteil dabei ist, dass die Dateiserver hochverfügbar sind und die Daten automatisch innerhalb desselben einfachen
Systems repliziert werden, in dem sich auch das Dateisystem befindet.
Lassen Sie uns auch das untersuchen.
Wenn man also ein bisschen tiefer in die Konfiguration von Lustre einsteigt, hat man die persistente SSD und
die persistente HDD.
Auch hier haben Sie sowohl die HDD als auch die SSD und Sie haben die Scratch-SSD.
Dabei ist zu beachten, dass sich der Durchsatz ändert.
In der Scratch-SSD haben Sie zum Beispiel 200.
Bei persistenten SSDs stehen Ihnen mehrere Optionen zur Verfügung.
Bevor wir nun zum Schluss kommen, gibt es noch einige wichtige Hinweise, die Sie beachten sollten.
Erstens können Sie das FS für Lustre so konfigurieren, dass Inhalte sowohl in Richtung Dateisystem als auch in Richtung
der verknüpften S3-Buckets synchronisiert werden.
Die zweite Option ist, dass Sie alternativ auch die Möglichkeit haben, Stapel von neuen und geänderten Daten zwischen dem
Dateisystem und S3 zu importieren und zu exportieren, um die Datensynchronisation insgesamt feiner zu steuern.
Je nach Anwendungsfall sind also beide Optionen möglich.
Bevor wir nun zum Schluss kommen, möchte ich Ihnen noch einen Überblick darüber geben, wie das Dateisystem
mit einer bestimmten Ressource wie der EC2-Instanz verbunden ist.
Das genauere Wort wäre also "Montage".
In diesem Stadium haben wir ein Cluster-Dateisystem und dieses Leicester-Dateisystem ist, wie wir wissen, eines
der Daten-Repositories hier, der AP-Laborproben-Set-Bucket.
Jetzt wollen wir dieses Dateisystem mit der EC-2-Instanz verknüpfen, die wir haben.
Sie müssen also den Befehl mount a specific ausführen und darin das
Dateisystem DNS angeben.
So zum Beispiel.
Wenn Sie zurückgehen, erhalten Sie den DNS-Namen.
Kopieren wir den dichten Namen.
Ich kopiere das hier, lassen Sie uns das hier kopieren.
Und dann müssen Sie auch den Namen der Halterung ersetzen.
Kopieren wir den Mount-Namen.
Ich füge es hier ein und dann können Sie angeben, in welches Verzeichnis dieses Dateisystem eingehängt werden soll.
Lassen Sie mich zum Beispiel ein neues Verzeichnis erstellen.
Ich kopiere einfach Labs Fix auf die Root.
Also gut.
Sie können also das Verzeichnis angeben, das CPU Labs F6 ist, und den Befehl ausführen,
und das war's.
Wenn Sie mount ausführen, sollten Sie sehen, dass unser Dateisystem in das Verzeichnis CPU labs F6 eingehängt ist,
und wenn Sie den Inhalt des Ordners CPU labs FS hier untersuchen, sollten Sie die Dateien sehen, die Teil des S3-Buckets
sind.
Also gut.
Ich hoffe, dies hat Ihnen mehr Klarheit darüber verschafft, wie Dateisysteme, die Sie im Rahmen von PHS erstellen,
mit der EC verbunden oder eingehängt werden.
Zwei Fälle.
Damit endet unser heutiges Video.