Mode Moteurs

Moteur GTF

On entend par Moteur GTF la capacité d'exploiter un moteur FME dans GTF. Un moteur GTF est associé à un seul moteur FME mais plusieurs moteurs GTF peuvent exploiter le même moteur FME.

L'ajout de moteurs GTF supplémentaires permet à l'administrateur d'appliquer une stratégie de traitement de projets en spécialisant par exemple certains moteurs et en permettant la parallélisation des traitements.

Avertissement

Le nombre maximum de moteurs GTF que vous pouvez créer est défini dans votre licence GTF.

Cliquer sur l'objet Moteur GTF puis sur le bouton Ajouter pour ouvrir le formulaire de création de moteur GTF.

Attribuer un nom au moteur GTF. On peut choisir de rendre inactif ce moteur, puis on sélectionne le moteur FME à associer. Associer ensuite un ou plusieurs mots-clés au moteur.

Déclaration de moteur GTF

Associer un ou plusieurs mots-clés à un moteur permet à l'administrateur de mettre en place une stratégie de distribution des traitements sur plusieurs moteurs GTF : quand un utilisateur crée une demande de traitement, un moteur spécifique est automatiquement attribué.

Chaque moteur GTF est associé à un ou plusieurs mots-clés. Chaque projet FME est ensuite associé à un mot-clé. L'affiliation d'un projet à un moteur GTF se fait ainsi à partir de mots-clés.

L'administrateur peut choisir des mots-clés existants (liste déroulante qui apparait lors de la saisie), ou saisir directement le nom d'un nouveau mot clé dans le champ 'Mots-clés'.

Il est recommandé de nommer le moteur GTF selon cette règle : ID (auto) FME Version Service Pack.

Par exemple : #3 FME 2013 SP 3

Cliquer ensuite sur le bouton Créer pour finaliser la création du moteur GTF.


Moteur FME

Un moteur FME est l'instance de FME en charge de l'exécution des projets. GTF permet d'exploiter différents moteurs hétérogènes. On peut ainsi exploiter un moteur FME 2015 en 32 bits et une instance de FME 2016 en 64 bits.

Le formulaire se décompose en deux parties : une première partie générique et une seconde partie spécifique au type de moteur choisi.

Déclaration de moteur FME

Il est conseillé de nommer le moteur FME en indiquant le numéro de version, le numéro de build et le nombre de bits. Par exemple : FME 2016.1.4 b16494-32b.

FME Desktop

Pour FME Desktop, il faut renseigner le chemin vers l'exécutable de FME. Il s'agit du chemin absolue sur le serveur de GTF jusqu'à FME.

Le bouton Test permet de vérifier la validité de la licence FME.

Pour que la licence soit valide, copier le fichier de licence (.fmelic licence fixe ou .dat licence flottante) dans le répertoire [FME]\licenses où [FME] est le répertoire d'installation de FME.

Les licences tierces sont aussi à déposer dans ce dossier.

FME Server

Pour FME Server, il faut renseigner :

  • L'URL du serveur

  • Le Login (identifiant) et le Password (mot de passe) d'un compte avec assez de droits pour créer des workspaces, ajouter des jobs, mettre à jour des ressources.

Paramétrage Cloud

Le bouton Test permet de vérifier la validité de la licence FME et l'accessibilité de l'instance.

Astuce

L'utilisation d'une instance FME Server permet d'alléger la charge sur votre serveur GTF en délocalisant l'exécution de FME. De plus FME server à des performances un petit peu meilleures que FME desktop.

FME Cloud

Pour FME Cloud, il faut renseigner :

  • Un Token de connexion à l'API de FME Cloud, voir la documentation pour la gestion des tokens sur FME Cloud

  • Le Nom de l'instance FME Server à utiliser

  • Le Nombre minimum de demande pour allumer l'instance, ce paramètre permet à GTF de gérer l'allumage et l'extinction de votre instance de manière à minimiser les coûts de fonctionnement (la valeur 0 bloque complétement l'allumage automatique, 1 allumera l'instance à la moindre demande ajoutée, 10 l'instance ne sera allumée que s'il y a au moins 10 demandes traitables par l'instance cloud en attente)

  • Les Login/Password d'un compte avec assez de droits pour créer des workspaces, ajouter des jobs, mettre à jour des ressources

Paramétrage Cloud

Le bouton Test permet de vérifier la validité de la licence FME, l'accéssibilité de l'instance, et son état. Les boutons Arrêter et Démarrer permettent la gestion manuelle de l'état de l'instance sans tenir compte de la charge sur le moteur (pour forcer des opérations de maintenances par exemple).

Astuce

L'utilisation d'une instance FME Cloud permet d'alléger la charge sur votre serveur GTF en délocalisant l'exécution de FME. De plus FME server à des performances un petit peu meilleures que FME desktop. La licence d'utilisation est plus permissive dans certains cas.

Configurations spécifiques de FME pour GTF

Utilisation d'un proxy avec FME Desktop

FME Permet d'utiliser le proxy configuré au niveau du système pour ses requêtes HTTP.

Avertissement

Cette configuration se fait souvent via l'environnement, si la définition n'est pas faite au bon endroit le moteur ne trouvera pas les variables necessaires.

Configuration Proxy FME

Cette configuration est interne à votre FME Workbench. Pour la rendre utilisable au niveau du moteur FME exploité par GTF, il faut lancer les commandes suivantes :

Windows

fme.exe APPLY_SETTINGS SYSTEM "Proxy/Proxy Setting" "Use System Proxy"
fme.exe APPLY_SETTINGS SYSTEM "Proxy/Proxy Authentication Method" "<Basic|Digest|NTLM>"
fme.exe APPLY_SETTINGS SYSTEM "Proxy/Proxy Server Require Authentication" "true"
fme.exe APPLY_SETTINGS SYSTEM "Proxy/Proxy Username" "<UserName>"
fme.exe APPLY_SETTINGS SYSTEM "Proxy/Proxy Password" "fme_encrypt(<password>)"

Linux

sudo ./fme APPLY_SETTINGS SYSTEM "Proxy/Proxy Setting" "Use System Proxy"
sudo ./fme APPLY_SETTINGS SYSTEM "Proxy/Proxy Authentication Method" "<Basic|Digest|NTLM>"
sudo ./fme APPLY_SETTINGS SYSTEM "Proxy/Proxy Server Require Authentication" "true"
sudo ./fme APPLY_SETTINGS SYSTEM "Proxy/Proxy Username" "<UserName>"
sudo ./fme APPLY_SETTINGS SYSTEM "Proxy/Proxy Password" "fme_encrypt(<password>)"

Astuce

Toutes les lignes ne sont pas nécessaires, chaque ligne correspond à un champs du formulaire du workbench. Il n'est pas obligatoire d'appliquer les cinq paramètres.

Ressources Partagées

Configuration

Dans le cas de l'utilisation de ressources partagées, il est obligatoire de configurer des chemins pour déployer les ressources. Ces chemins ne seront utilisés que pour les instances FME desktop.

Configuration ressources partagées

Les chemins pour remplir ces champs sont disponibles au début d'un log FME.

Pour linux ce sera le plus souvent (où $HOME est le dossier de l'utilisateur qui lance Apache):

  • $HOME/.Safe Software/FME/FME Store/Transformers

  • $HOME/.Safe Software/FME/FME Store/Formats

  • $HOME/.Safe Software/FME

Pour Windows ce sera le plus souvent (où %USERPROFILE% et %APPDATA% sont les dossiers de l'utilisateur qui lance Apache):

  • %USERPROFILE%/Documents/FME/Transformers

  • %USERPROFILE%/Documents/FME/Formats

  • %APPDATA%/Roaming/Safe Software/FME

Avertissement

Si les chemins n'existent pas sur votre serveur, GTF les créera pour les tranformers et les formats. En revanche, il ne le fera pas pour les connexions nommées. Pour les connexions nommées, il vous suffit de lancer un traitement qui utilise un reader sur une base de données, FME devrait alors créer automatiquement le dossier et les fichiers nécessaires à cette fonctionnalité.

Connexions nommées

Depuis la version 2021.02.00 GTF permet la gestion des connexions nommées.

Les connexions nommées peuvent être utilisées pour mutualiser les informations de connexions entre plusieurs traitements FME.

Actuellement il n'y a que certains types de connexions nommées qui sont disponibles :

  • AWS Aurora

  • Authentification HTTP

  • Maria DB / MySql

  • Oracle

  • Postgres

  • AWS Redshift

  • Microsoft SQL Server (JDBC)

Avertissement

Le type de connexion Microsoft SQL Server "classique" n'est pas intégré car il est spécifique à Windows. Pour une meilleure compatibilité nous vous conseillons l'utilisation de la version JDBC qui est compatible également avec Linux.

La gestion des connexions se fait en deux temps, d'abord dans la base de GTF (création, mise à jour, suppression), puis il faut la déployer vers l'instance FME.

Le déploiement est mutualisé pour toutes les instances FME Desktop sur la machine, alors que les instance FME Server/Cloud sont gérées de manière indépendante.

deploy

Formats et transformers personnalisés

Il existe énormément de formats et de Transformers développés par la communauté FME afin de vous aider dans vos développements. La plupart disponibles sur des plateformes d'échange comme vStore ou FME Hub

Si vous utilisez ces éléments dans vos traitements, ils seront installés et donc disponibles sur votre poste mais pas sur GTF. Il faudra qu'un administrateur récupère les fichiers pour installer ces élements dans l'instance FME de GTF (fichier FDS pour les formats et FMX pour les transformers).

Avertissement

Si votre instance FME est bloquée (c'est à dire que vos demandes restent en attente dans la supervision pendant plusieurs minutes), aprés l'ajout d'un format ou d'un transformer personnalisé, c'est probablement que la version de l'élément n'est pas compatible avec votre version de FME. Il faudra alors supprimer la ressource que vous avez installé pour corriger le problème.

Astuce

Si le Transformer personnalisé que vous utilisez n'est pas protégé par un mot de passe il sera copié dans votre traitement. Vous n'aurez alors pas besoin de le déployer sur GTF.

Déploiement d'une ressource

Toutes les ressources partagées s'utilisent de la même façon dans GTF.

Il faut d'abord les créer dans GTF puis les déployer.

Le déploiement peut se faire via le formulaire ou depuis le tableau.

Deploiement depuis le formulaire

Déploiement GTF de la connexion

Exemple d'utilisation avec FME

En créant un traitement FME, je choisie d'utiliser une connexion nommée :

ajout FME de la connexion

Le traitement est finalisé et envoyé sur GTF. Mais la connexion nommée est en fait stockée sur le poste de l'utilisateur qui a fait le traitement, GTF ne peut donc pas y accéder.

Un administrateur doit créer cette connexion nommée sur GTF. Elle doit avoir exactement le même nom car c'est la seule manière de l'identifier dans le traitement FME.

ajout GTF de la connexion

Il faut maintenant ajouter les paramètres de connexions.

paramétrage GTF de la connexion

Avertissement

Il peut arriver que la définition de la connexion soit différente sur GTF. Par exemple GTF peut être sur le même réseau que la base de donnée à interroger, dans ce cas là il utilisera une adresse IP privée alors que vous utilisez une adresse IP publique pour y accéder depuis votre poste. Pour avoir à ces informations, rapprochez-vous de l'administrateur de votre infrastructure.

Il faut maintenant déployer la connexion vers votre instance FME, en la sélectionnant et en cliquant sur Actions > Déployer

Déploiement GTF de la connexion

Votre connexion est maintenant utilisable par tous vos traitements.