Mode Moteurs
Moteur GTF
On entend par Moteur GTF la capacité d'exploiter un moteur FME dans GTF. Un moteur GTF est associé à un seul moteur FME mais plusieurs moteurs GTF peuvent exploiter le même moteur FME.
L'ajout de moteurs GTF supplémentaires permet à l'administrateur d'appliquer une stratégie de traitement de projets en spécialisant par exemple certains moteurs et en permettant la parallélisation des traitements.
Avertissement
Le nombre maximum de moteurs GTF que vous pouvez créer est défini dans votre licence GTF.
Cliquer sur l'objet Moteur GTF puis sur le bouton Ajouter pour ouvrir le formulaire de création de moteur GTF.
Attribuer un nom au moteur GTF. On peut choisir de rendre inactif ce moteur, puis on sélectionne le moteur FME à associer. Associer ensuite un ou plusieurs mots-clés au moteur.
Associer un ou plusieurs mots-clés à un moteur permet à l'administrateur de mettre en place une stratégie de distribution des traitements sur plusieurs moteurs GTF : quand un utilisateur crée une demande de traitement, un moteur spécifique est automatiquement attribué.
Chaque moteur GTF est associé à un ou plusieurs mots-clés. Chaque projet FME est ensuite associé à un mot-clé. L'affiliation d'un projet à un moteur GTF se fait ainsi à partir de mots-clés.
L'administrateur peut choisir des mots-clés existants (liste déroulante qui apparait lors de la saisie), ou saisir directement le nom d'un nouveau mot clé dans le champ 'Mots-clés'.
Il est recommandé de nommer le moteur GTF selon cette règle : ID (auto) FME Version Service Pack.
Par exemple : #3 FME 2013 SP 3
Cliquer ensuite sur le bouton Créer pour finaliser la création du moteur GTF.
Moteur FME
Un moteur FME est l'instance de FME en charge de l'exécution des projets. GTF permet d'exploiter différents moteurs hétérogènes. On peut ainsi exploiter un moteur FME 2015 en 32 bits et une instance de FME 2016 en 64 bits.
Le formulaire se décompose en deux parties : une première partie générique et une seconde partie spécifique au type de moteur choisi.
Il est conseillé de nommer le moteur FME en indiquant le numéro de version, le numéro de build et le nombre de bits. Par exemple : FME 2016.1.4 b16494-32b.
FME Form (FME Desktop)
Pour FME Form, il faut renseigner le chemin vers l'exécutable de FME. Il s'agit du chemin absolue sur le serveur de GTF jusqu'à FME.
Le bouton Test permet de vérifier la validité de la licence FME.
Pour que la licence soit valide, copier le fichier de licence (.fmelic licence fixe ou .dat licence flottante) dans le répertoire [FME]\licenses où [FME] est le répertoire d'installation de FME.
Les licences tierces sont aussi à déposer dans ce dossier.
FME Flow (FME Server)
Pour FME Flow, il faut renseigner :
L'URL du serveur
Le Login (identifiant) et le Password (mot de passe) d'un compte avec assez de droits pour créer des workspaces, ajouter des jobs, mettre à jour des ressources.
Le bouton Test permet de vérifier la validité de la licence FME et l'accessibilité de l'instance.
Astuce
L'utilisation d'une instance FME Flow permet d'alléger la charge sur votre serveur GTF en délocalisant l'exécution de FME. De plus FME Flow à des performances un petit peu meilleures que FME Form.
FME Flow Hosted (FME Cloud)
Pour FME Flow Hosted, il faut renseigner :
Un Token de connexion à l'API de FME Cloud, voir la documentation pour la gestion des tokens sur FME Cloud
Le Nom de l'instance FME Flow à utiliser
Le Nombre minimum de demande pour allumer l'instance, ce paramètre permet à GTF de gérer l'allumage et l'extinction de votre instance de manière à minimiser les coûts de fonctionnement (la valeur 0 bloque complétement l'allumage automatique, 1 allumera l'instance à la moindre demande ajoutée, 10 l'instance ne sera allumée que s'il y a au moins 10 demandes traitables par l'instance cloud en attente)
Les Login/Password d'un compte avec assez de droits pour créer des workspaces, ajouter des jobs, mettre à jour des ressources
Le bouton Test permet de vérifier la validité de la licence FME, l'accéssibilité de l'instance, et son état. Les boutons Arrêter et Démarrer permettent la gestion manuelle de l'état de l'instance sans tenir compte de la charge sur le moteur (pour forcer des opérations de maintenances par exemple).
Astuce
L'utilisation d'une instance FME Cloud permet d'alléger la charge sur votre serveur GTF en délocalisant l'exécution de FME. De plus FME Flow à des performances un petit peu meilleures que FME Form. La licence d'utilisation est plus permissive dans certains cas.
Configurations spécifiques de FME pour GTF
Utilisation d'un proxy avec FME Form
FME Permet d'utiliser le proxy configuré au niveau du système pour ses requêtes HTTP.
Avertissement
Cette configuration se fait souvent via l'environnement, si la définition n'est pas faite au bon endroit le moteur ne trouvera pas les variables necessaires.
Cette configuration est interne à votre FME Workbench. Pour la rendre utilisable au niveau du moteur FME exploité par GTF, il faut lancer les commandes suivantes :
Windows
fme.exe APPLY_SETTINGS SYSTEM "Proxy/Proxy Setting" "Use System Proxy"
fme.exe APPLY_SETTINGS SYSTEM "Proxy/Proxy Authentication Method" "<Basic|Digest|NTLM>"
fme.exe APPLY_SETTINGS SYSTEM "Proxy/Proxy Server Require Authentication" "true"
fme.exe APPLY_SETTINGS SYSTEM "Proxy/Proxy Username" "<UserName>"
fme.exe APPLY_SETTINGS SYSTEM "Proxy/Proxy Password" "fme_encrypt(<password>)"
Linux
sudo ./fme APPLY_SETTINGS SYSTEM "Proxy/Proxy Setting" "Use System Proxy"
sudo ./fme APPLY_SETTINGS SYSTEM "Proxy/Proxy Authentication Method" "<Basic|Digest|NTLM>"
sudo ./fme APPLY_SETTINGS SYSTEM "Proxy/Proxy Server Require Authentication" "true"
sudo ./fme APPLY_SETTINGS SYSTEM "Proxy/Proxy Username" "<UserName>"
sudo ./fme APPLY_SETTINGS SYSTEM "Proxy/Proxy Password" "fme_encrypt(<password>)"
Astuce
Toutes les lignes ne sont pas nécessaires, chaque ligne correspond à un champs du formulaire du workbench. Il n'est pas obligatoire d'appliquer les cinq paramètres.
Ressources Partagées
Configuration
Dans le cas de l'utilisation de ressources partagées, il est obligatoire de configurer des chemins pour déployer les ressources. Ces chemins ne seront utilisés que pour les instances FME Form.
Les chemins pour remplir ces champs sont disponibles au début d'un log FME.
Pour linux ce sera le plus souvent (où $HOME est le dossier de l'utilisateur qui lance Apache):
$HOME/.Safe Software/FME/FME Store/Transformers
$HOME/.Safe Software/FME/FME Store/Formats
$HOME/.Safe Software/FME
Pour Windows ce sera le plus souvent (où %USERPROFILE% et %APPDATA% sont les dossiers de l'utilisateur qui lance Apache):
%USERPROFILE%/Documents/FME/Transformers
%USERPROFILE%/Documents/FME/Formats
%APPDATA%/Roaming/Safe Software/FME
Avertissement
Si les chemins n'existent pas sur votre serveur, GTF les créera pour les tranformers et les formats. En revanche, il ne le fera pas pour les connexions nommées. Pour les connexions nommées, il vous suffit de lancer un traitement qui utilise un reader sur une base de données, FME devrait alors créer automatiquement le dossier et les fichiers nécessaires à cette fonctionnalité.
Connexions nommées
Depuis la version 2021.02.00 GTF permet la gestion des connexions nommées.
Les connexions nommées peuvent être utilisées pour mutualiser les informations de connexions entre plusieurs traitements FME.
Actuellement il n'y a que certains types de connexions nommées qui sont disponibles :
AWS Aurora
Authentification HTTP
Maria DB / MySql
Oracle
Postgres
AWS Redshift
Microsoft SQL Server (JDBC)
Avertissement
Le type de connexion Microsoft SQL Server "classique" n'est pas intégré car il est spécifique à Windows. Pour une meilleure compatibilité nous vous conseillons l'utilisation de la version JDBC qui est compatible également avec Linux.
La gestion des connexions se fait en deux temps, d'abord dans la base de GTF (création, mise à jour, suppression), puis il faut la déployer vers l'instance FME.
Le déploiement est mutualisé pour toutes les instances FME Form sur la machine, alors que les instance FME Flow sont gérées de manière indépendante.
Formats et transformers personnalisés
Il existe énormément de formats et de Transformers développés par la communauté FME afin de vous aider dans vos développements. La plupart disponibles sur des plateformes d'échange comme vStore ou FME Hub
Si vous utilisez ces éléments dans vos traitements, ils seront installés et donc disponibles sur votre poste mais pas sur GTF. Il faudra qu'un administrateur récupère les fichiers pour installer ces élements dans l'instance FME de GTF (fichier FDS pour les formats et FMX pour les transformers).
Avertissement
Si votre instance FME est bloquée (c'est à dire que vos demandes restent en attente dans la supervision pendant plusieurs minutes), aprés l'ajout d'un format ou d'un transformer personnalisé, c'est probablement que la version de l'élément n'est pas compatible avec votre version de FME. Il faudra alors supprimer la ressource que vous avez installé pour corriger le problème.
Astuce
Si le Transformer personnalisé que vous utilisez n'est pas protégé par un mot de passe il sera copié dans votre traitement. Vous n'aurez alors pas besoin de le déployer sur GTF.
Déploiement d'une ressource
Toutes les ressources partagées s'utilisent de la même façon dans GTF.
Il faut d'abord les créer dans GTF puis les déployer.
Le déploiement peut se faire via le formulaire ou depuis le tableau.
Exemple d'utilisation avec FME
En créant un traitement FME, je choisie d'utiliser une connexion nommée :
Le traitement est finalisé et envoyé sur GTF. Mais la connexion nommée est en fait stockée sur le poste de l'utilisateur qui a fait le traitement, GTF ne peut donc pas y accéder.
Un administrateur doit créer cette connexion nommée sur GTF. Elle doit avoir exactement le même nom car c'est la seule manière de l'identifier dans le traitement FME.
Il faut maintenant ajouter les paramètres de connexions.
Avertissement
Il peut arriver que la définition de la connexion soit différente sur GTF. Par exemple GTF peut être sur le même réseau que la base de donnée à interroger, dans ce cas là il utilisera une adresse IP privée alors que vous utilisez une adresse IP publique pour y accéder depuis votre poste. Pour avoir à ces informations, rapprochez-vous de l'administrateur de votre infrastructure.
Il faut maintenant déployer la connexion vers votre instance FME, en la sélectionnant et en cliquant sur Actions > Déployer
Votre connexion est maintenant utilisable par tous vos traitements.