Décider intelligemment grâce à des outils BI

En mobilisant un arsenal de puissants outils libres Savoir-faire Linux rend possible la prise de décisions intelligentes à partir de données hétéroclites et souvent inorganisées.

Spécialiste des systèmes de santé et ancien ministre du gouvernement du Québec, Michel Clair, a déclaré un jour:

On possède beaucoup de données, mais peu d’informations…

Par là, il indiquait qu’il ne sert à rien d’avoir de nombreuses données si elle sont inorganisées, donc inutiles pour la prise de décisions intelligentes permettant par exemple de réduire des coûts de production ou d’améliorer le service à la clientèle.

Orientations stratégiques, décisions d’investissements, orientations marketing, offre de nouveaux produits ou services… ces grandes décisions doivent reposer sur des informations rigoureuses. Pour les obtenir, les entreprises disposent d’applications informatiques libres appartenant à l’informatique décisionnelle, souvent désignée par l’abréviation anglaise de BI (Business Intelligence).

Ces outils, utilisés par les consultants de Savoir-faire Linux, couvrent toutes les étapes de la transformation de données brutes en informations utiles. Grosso modo, on distingue trois étapes:

  1. Consolidation des données hétéroclites dans un « entrepôt » ou « cube » unique;
  2. Conception et activation d’outils d’analyse et de production de rapports à partir de ces données;
  3. Diffusion des informations et des résultats dans un environnement de type portail d’entreprise.

À ces trois étapes correspondent trois groupes d’outils:

  1. Les outils ETL (Extract, Transform, Load ou en français, Extraction, Transformation et Chargement) tels Talend;
  2. Les outils d’analyse comme SpagoBi, Pentaho BI et de production de rapports (reporting) tels JasperReports ou BIRT;
  3. Les outils Web comme Liferay (portail d’applications).

Les 250 lames du couteau suisse Talend

talend_logoTalend est un fournisseur opensource de solutions d’intégration de données. Grâce au modèle économique du logiciel libre – entre autres l’absence de licences payantes – Talend met l’intégration de données à la portée de toutes les entreprises, grosses ou petites. Les solutions de Talend, entre autres Talend Open Studio et Talend Open Profiler, peuvent être téléchargées et utilisées gratuitement!

Les solutions Talend gèrent l’intégration de données. Avec Talend Open Studio, on peut extraire, transformer, charger, consolider et analyser des flux de données. L’outil est applicable à n’importe quelle source et cible (input/outpout), que ce soit une base de données ou des fichiers Excel, ODS (OpenDocument), CSV, texte, services Web, courriels, etc.

Talend Open Studio génère du code en Perl ou en Java pour les scripts de transformation de données provenant de différentes sources ainsi que pour les programmes sous-jacents afin d’interconnecter les différentes plateformes logicielles d’un système d’information. En résumé, par ordre chronologique, les solutions d’intégration de données de Talend consistent à 1. extraire les données d’une ou de plusieurs sources; 2. analyser, manipuler et transformer les données afin que celles-ci soient compatibles avec le système vers lequel on souhaite les envoyer; 3. envoyer les données vers le système cible.

Ce « couteau suisse » de l’intégration de données est – osons le dire – une pure merveille susceptible d’être utile et utilisée par n’importe quelle entreprise. Ses quelque 250 connecteurs permettent d’interconnecter de nombreuses applications (CRM, ERP, etc.) qu’elles soient propriétaires ou libres. À titre d’exemples, mentionnons les solutions d’affaires CentricCRM database, Microsoft AX Server, SAP system, SugarCRM, OLAP cube, bases de données FireBird, etc.

Avec Talend Open Profiler, il est possible d’examiner les données disponibles dans les sources et de colliger des statistiques et informations sur ces données. Ce processus de « profilage » des données permet d’évaluer la qualité des données à partir d’un ensemble de paramètres et d’objectifs recherchés.

Talend Open Profiler est aussi capable de produire des rapports et graphiques sophistiqués permettant à l’utilisateur de jauger d’un simple coup d’œil la qualité des données.

Des applications exemplaires

Une fois les données consolidées, on passe à l’étape suivante qui consiste à produire et à activer les instruments d’analyse et de production de rapports. Les consultants de Savoir-faire Linux utilisent pour cela les nombreux outils applicatifs proposés par les plateformes d’intelligence économique SpagoBi et Pentaho Bi (voir plus bas).

Outre des fonctions d’analyse, ces outils ont la capacité de mobiliser des générateurs de rapports comme JasperReports et BIRT. Ces derniers sont capables – c’est leur fonction de « report designer » – de lier un modèle de rapport (un fichier XML) et une source de données. Le résultat est un rapport susceptible d’être présenté en différents formats (PDF, Excel, ODS, texte, HTML, etc…)

Mais où déposer un tel rapport? Dans un portail collaboratif puissant et convivial tel Liferay, qui présente des similitudes formelles avec les services iGoogle et Netvibes. Grâce à iGoogle, un internaute peut accéder à Internet ou à ses services Google via une page personnalisée comprend des services ou applications personnalisées appelés gadgets. Dictionnaires, grands titres d’information, horoscope du jour, calendrier… ces gadgets sont facilement accessibles et, surtout, déplaçables à volonté sur une page écran: il suffit de tirer un gadget d’une endroit à un autre pour que la mise en page se recompose immédiatement et en temps réel.

Liferay fait la même chose, mais avec des portlets, qui, lit-on sur Wikipedia, sont des applications « que l’on peut placer dans un portail web, qui sert alors de conteneur (…) Un portlet traite les requêtes d’une tâche ou d’un service donné et génère dynamiquement le contenu web affiché à l’utilisateur. Les portlets permettent de fournir toutes sortes de services généralistes ou spécialisés (interface de consultation de dossiers, agenda personnel, annuaire, panneau d’information, intégration d’un moteur de recherche, météo, etc.) »

Liferay vient avec quelque 60 portlets permettant de construire en un tour de main un intranet ou un site Internet, de gérer les droits et permissions d’accès. Plutôt que de réinventer la roue, il est bien plus simple d’utiliser un portlet (fourni par Liferay ou par un autre éditeur d’applications open source. Par contre, dans le cas de l’intelligence économique, il faut utiliser des portlets ou applications externes comme SpagoBI et Pentaho BI.

sven_werlen« En d’autres mots, explique Sven Werlen, directeur des solutions d’entreprise chez Savoir-faire Linux, SpagoBI et Pentaho BI sont des modules ou des mini-applications qui viennent se greffer au portail d’entreprise pour l’enrichir de fonctionnalités d’intelligence économique. »

Sven Werlen ajoute: « Les outils open source et libres que nous utilisons permettent à la fois d’économiser du temps, de bénéficier d’applications puissantes et de conserver une incroyable souplesse de gestion. Ce sont des applications exemplaires car elles permettent aux décideurs de décider en toute connaissance de cause. »

L’intelligence économique, c’est la possibilité d’avoir ou de produire…

  • de l’information pour prendre des décisions de transformer l’information en ressource stratégique pour l’entreprise
  • des rapports automatisés et précis sur des éléments ou périodes précises
  • de transformer des masses de données brutes en informations précises
  • d’extraire des données partielles de prendre des décisions sur des bases solides
  • de réduire la complexité ou le degré d’incertitude propre aux décisions économiques.

Talend: le maître de l’ETL

Talend se définit comme « le premier fournisseur de solutions d’intégration de données open source ». Cette affirmation n’est pas uniquement un slogan car le « modèle open source [met] l’intégration de données à la portée d’entreprises de toutes tailles, de tous niveaux d’expertise technique, et de tous les budgets. Les solutions de Talend se connectent à toutes les sources et cibles et peuvent être téléchargées librement et gratuitement. Talend offre également des solutions de gestion de la qualité de données, complémentaires à ses solutions d’intégration de données. » Migration de données, synchronisation de données intégration de données, Talend propose des solutions libres pour toutes ces fonctions essentielles.

SpagoBI: totalement libre

spagobi_logoSpagoBI: une plateforme d’intelligence économique purement libre, c’est-à-dire entièrement libre et gratuite et sans version commerciale. Destinée aux entreprises, la solution SpagoBI comprend un ensemble d’outils libres faciliter la prise de décisions. Les outils se rapportent aux grandes fonctionnalités de l’intelligence économique: ETL, requêtes, production de rapports variés, etc. cherches puissants, etc. SpagoBI est compatible avec solutions propriétaires comme Business Objects ou Microsoft Analysis Services. L’un des atouts de SpagoBI réside dans les requêtes pour lesquelles la plateforme offre un composant graphique « qui permet à l’utilisateur de sélectionner graphiquement les données à extraire de l’entrepôt de données puis d’effectuer des tris, groupements, sélections et d’exporter le résultat. L’interface graphique utilise un ensemble de portlets pour afficher graphiques, états et indicateurs à l’intérieur du portail. Certains indicateurs et graphiques sont capables d’actualiser leurs données sans intervention de l’utilisateur. »

Pentaho BI: deux versions

pentaho_logoPentaho BI: autre plateforme d’intelligence économique, Pentaho BI propose également un ensemble complet d’outils (ETL, production de rapports, analyse, tableaux de bord, etc.) Reposant sur une communauté reconnue comme très active, Pentaho BI est accessible en deux versions: une open source et une version pro commerciale… Évidemment, la dernière propose des fonctionnalités que la première n’offre pas, entre autres l’authentification Single-SignOn, outils de diagnostique, d’audit et de monitoring…

www.pentaho.com

Liferay: portail collaboratif

liferay_logo«%nbsp;Liferay, lit-on dans Wikipedia (section francophone), est un portail open source de gestion de contenu écrit en Java et créé en 2000 à l’origine pour une église américaine. Liferay s’appuie, au choix, sur un serveur d’application J2EE et exploite les EJB, mais, pour des déploiements plus légers, il peut se contenter d’un conteneur de servlets comme Tomcat. Une fonction de cache (OSCache) accélère le traitement du contenu statique et Liferay peut exploiter un équilibrage de charge matériel. »

Côté fonctionnalités, le texte ajoute ceci: « Liferay est notamment compatible JSR 168 (portlets), JSR 170 (Java Content Repository (en), WSRP (consommateur uniquement). Il est compatible avec la plupart des systèmes d’exploitation, serveurs d’applications et bases de données. Il embarque des fonctionnalités de gestion de contenu (Liferay journal) qui permettent de restituer des contenus formatés (XSL, Velocity) sur les pages du portail à travers des portlets dédiés. Quelques dizaines de portlets sont fournis avec la solution et permettent de mettre en place les fonctionnalités de base d’un portail Intranet facilement et rapidement. »

Au nombre des portlets, mentionnons ceux-ci: wiki, blogues, sondages, babillard électronique (avec abonnement et génération de flux RSS), calendrier avec la possibilité de gérer des événements par courriel ou flux RSS… Liferay possède même une fonctionnalité appelée « autodeploy », qui permet d’ajouter à la volée et automatiquement des portlets ou nouvelles fonctionnalités sans avoir à relancer le serveur!

À tout cela s’ajoutent la synchronisation avec un LDAP et les système SSO (Single Sign On) pour n’avoir à s’identifier qu’une seule fois, même si plusieurs applications exigent une identification (identifiant et mot de passe).

Obama et les logiciels libres

obamaLes signes indiquant que l’administration Obama se rapproche des logiciels libres sont tangibles. Il y a quelques semaines déjà, l’un des fondateurs de Sun, Scott McNealy indiquait à la BBC News que l’administration Obama lui avait demandé de préparer une étude sur l’utilisation des technologies Open Source en termes d’économies et de sécurité pour l’administration américaine… Lors de l’interview à la BBC il a en outre déclaré qu’il est « évident que les logiciels libres offrent des avantages en termes de coût et de productivité comparativement aux logiciels propriétaires ».

À cela s’ajoute le fait que dans la loi adoptée pour stimuler l’économie (Recovery Bill), un passage important de la page 488 concerne le mandat donné au ministre de la santé. Celui-ci devra d’ici le 1er octobre 2010 procéder à une étude portant sur:

  • la disponibilité des technologies libres d’information en santé pour les responsables du filet de sécurité fédéral (y compris ceux, plus petits, des régions rurales);
  • le coût total de possession de tels systèmes en comparaison des produits commerciaux propriétaires disponibles;
  • la capacité de tels systèmes à répondre concrètement aux besoins de divers groupes (incluant les enfants et les personnes handicapées) et
  • la capacité de tels systèmes à faciliter l’intéropérabilité.

L’article de la BBC News

Recovery Bill ou l’American Recovery and Reinvestment Tax Act of 2009

Le gouvernement fédéral s’informe sur les logiciels libres

drapeau_canadaLe 19 janvier, une « demande d’information sur les logiciels libres » a été lancée par le Ministère des Travaux publics et des Services gouvernementaux Canada (TPSGC). Cette demande d’information avait pour but « d’aider le gouvernement du Canada (GC) à élaborer des lignes directrices concernant la planification, l’acquisition, l’utilisation et la cession de logiciels libres. Alors que ces logiciels libres soulèvent passablement d’intérêt au sein du gouvernement du Canada, il reste de nombreuses questions auxquelles il faut apporter des réponses (voir ci-dessous). D’un point de vue opérationnel, il s’avère nécessaire d’élaborer des lignes directrices communes qui soient équitables, ouvertes et transparentes, et qui puissent être appliquées de façon cohérente dans l’ensemble des ministères. »

Parmi les questions posées, il y avait celles-ci :

  • Q2. Quels seraient les critères raisonnables que l’État devrait prendre en compte dans un processus décisionnel visant à faire l’acquisition de logiciels libres? Y a-t-il des circonstances où l’acquisition des logiciels libres n’est pas recommandée?
  • Q3. Quels éléments, autres que le prix, devraient être retenus pour la préparation de lignes directrices sur l’évaluation des logiciels libres?
  • Q4. Comment faut-il tenir compte des équipements et des services actuellement fournis par le gouvernement, des ententes sur les niveaux de service et des ressources internes lorsqu’il s’agit d’évaluer l’utilisation d’un logiciel libre?

L’un des éléments de réponse de Savoir-faire Linux a trait à la nécessité technologique du logiciel libre: « Nous considérons le logiciel libre comme une nécessité technologique seule capable de répondre aux nouveaux besoins des systèmes d’informations des organisations. »

« En effet ceux-ci sont devenus fortement intégrés, complexes, hétérogènes et en mutation constante. C’est ce dernier point qui invalide tous les indicateurs économiques antérieurs tels que le TCO ou le ROI car ceux-ci s’appuyaient sur une vision rigide, verticale et statique de l’organisation, à l’image des entreprises du XXe siècle. Cela n’est plus le cas. L’informatique ne se réduit plus à l’automatisation des processus de production. Dans bien des cas aujourd’hui, l’organisation et son système d’information se confondent et le coût du changement devient la question centrale. Comment rendre possibles ces interactions multiples et ces mutations constantes tout en maîtrisant au plus près les coûts? C’est là que le modèle du logiciel libre apporte une réponse décisive et c’est là que le modèle propriétaire trouve ses limites. »

Les bienfaits des logiciels libres dans les administrations publiques

open-source-software-in-the-spanish-public-administrationUne étude espagnole portant sur seize expériences d’implantation de logiciels libres dans l’administration publique démontre que les logiciels libres induisent plusieurs avantages: baisse des coûts, indépendance accrue vis-à-vis des fournisseurs, possibilité de création d’une communauté autour d’un projet. Le logiciel libre, ajoute-t-on, peut devenir un « modèle de collaboration » entre administrations publiques de différents niveaux (local, régional, national et international).

Cette étude a été réalisée par CENATIC, le groupe LibreSoft de l’Université Rey Juan Carlos et Telefónica I+D, division de R&D de l’entreprise de télécommunications espagnole Telefónica. Elle contient une liste de recommandations rédigées par un groupe d’expert de l’observatoire national des logiciels libres espagnol (ONSFA) dans le but d’aider les administrations et organismes publics, ainsi que d’autres entreprises, à recourir aux meilleures méthodologies d’introduction du modèle de développement des logiciels libres au sein de leurs équipes.

La téléphonie IP au service de Canadian Royalties

La construction d’un centre minier dans un coin isolé du grand nord québécois démontre que seule l’utilisation de protocoles ouverts — donc de logiciels libres — peut empêcher une explosion des coûts!

Logo Canadian RoyaltiesIl y a quelques mois, l’entreprise québécoise Canadian Royalties a amorcé la construction d’un centre minier comportant plusieurs sites à 150 kilomètres de Salluit, un village isolé situé à l’extrême nord du Québec et à 1857 kilomètres de Montréal. Le hic, c’est que le chantier, connu sous le nom de Projet Nunavik Nickel, est difficilement accessible: on n’y accède que par les airs avec un aéroport de fortune ou la mer (éloignée de plusieurs dizaines de kilomètres), mais seulement lorsque la saison ou le temps le permet!

La mise en place d’un tel complexe exige donc des investissements énormes et une formidable organisation logistique car tout élément matériel — de la boîte de céréales au matériel minier — doit être importé, trié et entreposé avant d’être repéré pour être à nouveau déplacé vers un autre endroit. À cela s’ajoute la gestion du transport du personnel entre le « sud » et le chantier, qui doit fonctionner 24 heures par jour sept jours par semaine. Qu’est-à dire? Que l’entreprise et son système d’information se confondent ou que, si l’on tient absolument à les séparer, on voit que la gestion de l’information est aussi importante que l’activité « officielle » d’une entreprise.

Cela se vérifie dans le cas de Canadian Royalties où on estime que quelque 60% des coûts d’exploitation sont reliés non à la phase d’exploration ou à l’exploitation directe de la mine, mais aux opérations connexes (transport, hébergement, alimentation, télécommunications, administration, etc.) Ces coûts sont colossaux car on estime que le coût relié à chaque poste de travail revient annuellement à plusieurs centaines de milliers de dollars! Tout ce qui permet d’abaisser ces coûts est donc bienvenu.

C’est dans ce contexte que Savoir-faire Linux, qui possède une expertise en téléphonie IP (entre autres grâce à son engagement dans le projet SFLPhone dont il est le est maître d’œuvre) a été invité à implanter un système de communications. téléphonie IP. Le défi était de taille: établir un système de téléphonie fluide et efficace couvrant tous les sites du chantier (plusieurs dizaines de kilomètres) et relier cet espace aux autres bureaux de l’entreprise situés à Longueuil, Montréal, Val d’or. Cela fut réalisé en adaptant la téléphonie IP aux caractéristiques des réseaux satellites et en s’appuyant sur le socle constitué par le système de commutation sophistiqué Asterisk.

Inukshuk

Dans la foulée de son intervention en téléphonie, Savoir-faire Linux est intervenu dans un dossier logistique encore plus complexe: assurer le suivi de tous les mouvements physiques des personnes, matériaux, véhicules et bagages. Ce projet fut baptisé Inukshuk, un terme inuit servant à désigner un repère directionnel formé par un amoncellement de pierres; en réalité par contre, il s’agissait d’une opération fort complexe en raison de la multiplicité des fournisseurs, du déplacement continu des personnes et des objets, de l’impossibilité de garantir en tout temps une connectivité fiable et, enfin, de la multiplicité des systèmes d’informations impliqués. Quand les logiciels de lecteur de codes, de bases de données et de comptabilité ne communiquent pas entre eux, c’est l’enfer et… l’explosion des coûts, car on perd la maîtrise du chantier! Pour en sortir, Savoir-faire Linux a utilisé la stratégie de se mettre au centre de tous ces langages et systèmes hétérogènes en jouant le rôle d’interface unique.

Concrètement et afin de prendre le contrôle de la situation, il fut décidé d’assigner un code barre à tous les objets qui pouvaient recevoir un tel code; pour les personnes, Savoir-faire Linux a créé un système de cartes d’identification en format PDF.

Par ailleurs, si certains fournisseurs sont capables de gérer les codes qui concernent leurs produits, d’autres, plus petits, ont besoin d’être soutenus; on leur fournit donc par voie électronique le matériel qu’ils n’ont ensuite qu’à imprimer et appliquer sur les produits. Concrètement, le système Inukshuk permet de générer un ensemble d’étiquettes d’expédition en format 8,5 X 11 destiné à être imprimées sur une imprimante laser standard. Ce document est normalement envoyé en format PDF au fournisseur en même temps que la commande ou PO (Purchase Order).

De l’expérience avec Canadian Royalties, Benoit Grégoire, directeur général de Savoir-faire Linux, retient surtout le défi qui consistait à unifier en un tout cohérent un ensemble de systèmes hétérogènes : « Nous avons réussi à digérer la complexité pour offrir un système solide et efficace. Seule une approche massive de logiciels libres nous a permis de répondre à ces défis. »

D’un système téléphonique à la gestion logistique des personnes et du matériel… Le contrat avec l’entreprise minière Canadian Royalties n’était pas banal. Mais c’était loin d’être une « mission impossible » pour le manchot Linux et Savoir-faire Linux!

Quelques unes des applications libres utilisées par Savoir-faire Linux pour le projet Inukshuk de Canadian Royalties:

  • Linux: système d’exploitation
  • Apache: serveur Web
  • Pylons: outil de développement d’applications Web
  • ReportLab: un générateur de rapports et de documents PDF
  • Asterisk: offrant puissance et flexibilité, Asterisk est un autocommutateur téléphonique de téléphonie IP souvent désigné par l’abréviation anglaise de PABX (pour Private Automatic Branch eXchange). Asterisk offre, grâce à l’intégration de l’informatique et de la téléphonie, une multitude de services susceptibles de répondre aux besoins des entreprises (messagerie, renvois d’appels, appels conférences, envoi des messages vocaux par courriel, etc.
  • MySQL: acheté par Sun pour un milliard de dollars en janvier 2008, MySQL est un système de gestion de bases de données les plus utilisés au monde. MySQL n’est pas allergique à la multiplicité des systèmes d’exploitation, car il roule sur de nombreux systèmes: Linux (évidemment) mais aussi FreeBSD, HP-UX, Mac OS X, NetWare, NetBSD, OpenBSD, Solaris, SunOS, SCO OpenServer, SCO UnixWare, Tru64 Unix et Windows.