Bonjour, tout le monde, et bienvenue à nouveau.
Dans la vidéo d'aujourd'hui, nous allons parler plus en détail du FS Amazon pour Luster.
Maintenant, pour un aperçu de haut niveau, nous savons déjà que le visage d'Amazon pour Luster est un système de fichiers entièrement
géré qui est basé sur Luster.
Maintenant, si vous regardez ce diagramme, il signifie essentiellement le flux de travail oral.
Alors, que faites-vous ?
Vous créez généralement le système de fichiers luster.
Ensuite, vous pouvez le lier ou l'intégrer à un service, qui est principalement Amazon S3, où la synchronisation peut se
produire, puis vous associez ou vous montez ce système de fichiers spécifique à plusieurs ensembles de ressources.
Il peut s'agir facilement de deux instances X et X on premise, etc. Une fois le système de fichiers monté, vous pouvez exécuter
vos tâches d'apprentissage machine HPC.
Voici donc le déroulement général des opérations.
Donc, dans le cadre de Luster, il y a certains cas d'utilisation dont vous devez vous rappeler qu'il est principalement utilisé pour les cas d'utilisation
de l'apprentissage automatique.
Les cas d'utilisation du HPC pour l'analyse des données volumineuses et même pour les effets visuels.
Ainsi, dans le cadre du flux de travail global, supposons que votre FS quatre lustrés est intégré au seau S3.
Ainsi, la première étape primaire consisterait à charger les données stockées dans S3 sur votre FS 4 luster pour
traitement.
Il y aurait donc des données à traiter, qui se trouvent dans le seau S3.
Donc vous chargez ces données dans le système de fichiers Luster.
Le système de fichiers Luster est à son tour monté sur un ensemble de deux instances EC.
Ainsi, une fois que les fichiers sont montés dans Luster, le traitement de ces fichiers peut avoir lieu dans l'ensemble
des instances EC deux et la sortie du processus final peut être renvoyée vers les S trois pour la rétention globale.
Maintenant, une partie spécifique que vous devez vous rappeler est que le FS quatre luster est nativement intégré
avec le dépôt de données comme Amazon S3 Donc si vous regardez dans cette capture d'écran spécifique, vous avez
l'intégration du dépôt de données, il est de type trois, et puis vous spécifiez le seau S3.
Il s'agit donc du godet spécifique à partir duquel les données seront ajoutées au système de fichiers Luster.
Maintenant, laissez-moi vous montrer rapidement que j'ai déjà le système de fichiers Luster qui est disponible maintenant dans ce système
de fichiers spécifique si vous regardez dans le référentiel de données, vous avez le seau Amazon S3, vous avez le chemin d'importation, vous
avez la partie d'exportation.
Vous pouvez donc associer un seau S3 spécifique à Luster.
En fait, chaque fois que vous créez un système de fichiers Luster, allons un peu plus bas.
Vous avez une option spécifique liée au référentiel de données où vous pouvez importer les données et également exporter
les données vers S3.
Donc si vous voyez, vous devrez spécifier les trois seaux.
Et là encore, il existe certains paramètres d'importation et d'exportation.
Dans les paramètres d'importation, vous pouvez spécifier trois options principales.
Il faut donc choisir les mises à jour sur le référentiel de données.
Dans ce cas, trois doivent être propagées au système de fichiers.
Donc, fondamentalement, chaque fois que nous faisons des mises à jour du seau S3 en fonction du type de mises à jour qui doivent être propagées
au système de fichiers, principalement parce qu'il sera lié.
De même, vous disposez des paramètres d'exportation où vous pouvez choisir quelles mises à jour qui font partie
du système de fichiers doivent être propagées vers le dépôt de données, qui est S3.
Très bien.
J'espère donc qu'à ce stade, vous avez compris ce que signifie le référentiel de données.
Il s'agit ici de comprendre le concept de base du chargement paresseux des données.
Ainsi, d'un point de vue général, le chargement paresseux est une pratique qui consiste à retarder le chargement ou l'initialisation de ressources ou d'objets
jusqu'à ce qu'ils soient réellement nécessaires.
On peut mieux comprendre cela avec ce diagramme. Supposons que vous ayez un seau contenant
des pétaoctets de données et que vous ayez le système de fichiers FS pour Lustre.
Maintenant, lorsque vous intégrez le FS avec le S3, avez-vous besoin de tous les pétaoctets de données dans le S3 pour faire partie
du lustre ?
La réponse est non dans la plupart des cas, et c'est la raison pour laquelle ce que vous faites, vous ne chargez que les données nécessaires.
Et sur cette base, ces données nécessaires seront traitées par les deux instances de la CE.
Cela permet non seulement d'améliorer vos performances globales, mais aussi d'économiser beaucoup de ressources.
Maintenant, lorsque nous parlons des options de déploiement global, il y a deux options principales que vous
verrez.
L'un est le scratch et le second est le persistant.
Donc si vous voyez même dans le diagramme dans le déploiement et le type de stockage, vous avez le persistant
et vous avez le scratch.
Et selon l'option que vous choisissez, la capacité de stockage globale ainsi que le débit changeront
également.
La première option de déploiement que nous allons explorer est donc le scratch.
Ainsi, d'un point de vue général, les systèmes de fichiers scratch sont principalement conçus pour le stockage temporaire
et le traitement des données à court terme.
L'avantage de ce système est qu'il offre un débit élevé en rafales.
Cependant, comme il est conçu pour des cas d'utilisation temporaires, les données ne sont pas répliquées et ne persisteront pas si un serveur
de fichiers tombe en panne.
Le deuxième type d'option de déploiement est.
Persistant, il est recommandé pour le stockage et les charges de travail à long terme.
L'avantage est que les serveurs de fichiers sont hautement disponibles et que les données sont automatiquement répliquées
dans le même environnement facile où se trouve le système de fichiers.
Maintenant, explorons aussi cela.
Donc si vous descendez un peu dans la configuration de lustre, vous avez le SSD persistant, vous avez
le HDD persistant.
Encore une fois, en persistant, vous avez à la fois le disque dur et le disque dur SSD et vous avez le disque dur scratch.
Il faut noter que le débit change.
Par exemple, dans le SSD scratch, vous en avez 200.
Dans les SSD persistants, vous disposez de plusieurs séries d'options.
Avant de conclure, il y a certains points importants que vous devez garder à l'esprit.
La première est que vous pouvez configurer le FS pour lustre pour garder le contenu synchronisé dans la direction
du système de fichiers ainsi que les seaux S3 liés.
Deuxièmement, vous pouvez également avoir la possibilité d'importer et d'exporter des lots de données nouvelles et
modifiées entre le système de fichiers et S3 pour un contrôle global plus fin de la synchronisation des données.
Ces deux options sont donc disponibles en fonction du cas d'utilisation.
Avant de conclure, je voulais également vous montrer un aperçu de haut niveau sur la façon dont le système de fichiers
est connecté à une ressource spécifique comme une instance EC2.
Le terme le plus exact serait donc "montage".
Maintenant, à ce stade, nous avons un système de fichiers cluster et ce système de fichiers Leicester, comme nous le savons, l'un des référentiels
de données ici est le seau de l'ensemble d'échantillons du laboratoire AP.
Donc maintenant nous voulons associer ce système de fichiers à l'instance EC2 que nous avons.
Donc ce que vous devez faire, c'est exécuter la commande mount a specific et à l'intérieur de celle-ci vous devrez
spécifier le système de fichiers DNS.
Donc, par exemple.
Si vous revenez en arrière, vous obtenez le nom DNS.
Copions le nom dense.
Je vais copier ça, copions ça ici.
Et puis vous devrez aussi remplacer le nom du support.
Copions le nom du montage.
Je vais l'ajouter ici et ensuite vous pouvez spécifier dans quel répertoire ce système de fichiers sera monté.
Par exemple, laissez-moi créer un nouveau répertoire.
Je vais juste copier les résultats de l'analyse sur la racine.
Très bien.
Donc ce que vous pouvez faire, vous pouvez spécifier le répertoire, qui est CPU Labs F6, et vous pouvez exécuter la commande, et
c'est à peu près tout.
Si vous exécutez mount, vous devriez voir que notre système de fichiers est monté sur le répertoire CPU labs
F6, et si vous explorez le contenu du dossier CPU labs FS ici, vous devriez voir les fichiers qui font partie
du seau S3.
Très bien.
J'espère donc que cela vous a donné beaucoup plus de clarté sur la façon dont les systèmes de fichiers que vous créez dans
le cadre de PHS sont associés ou montés dans le cadre de l'EC.
Deux exemples.
C'est ainsi que se termine la vidéo d'aujourd'hui.