sql2008-bi-blog

Le futur (proche ) de la BI chez Microsoft

2011-04-20T01:51:00.000-07:00

Développée depuis une dizaine d’année environ, la solution BI Microsoft est aujourd’hui à un stade d’évolution mature depuis la version SQL SERVER 2005.

Elle s’articule autour d’une architecture classique de type ETL (SSIS integration services), Stockage relationnel et multidimensionnel (SQL SERVER OLTP et SSAS), et restitution (SSRS reporting services) pour la partie serveur et l’infrastructure SHAREPOINT et EXCEL pour les accès du client.

Cette architecture robuste et économique présente cependant quelques insuffisances constatées par les clients historiques, en particulier avec l’apparition des outils type BI personnelle, qui ne pourront être levées que par une évolution radicale de l’architecture du produit.

Celle-ci est présentée dans le schéma ci-dessous et rompt avec l’architecture actuelle :

Figure 1 Le futur proche de la BI chez MICROSOFT

On note en particulier la refonte de l’outil SSRS au sein du projet « Crescent » , l’apparition du moteur VERTIPAQ et du langage d’interrogation de données DAX associé, aussi bien en relationnel qu’un multidimensionnel et la mise en avant des applications POWERPIVOT.

L’éditeur distingue 2 types de cible clients BI en fonction du contexte :

1. Environnement de forte volumétrie avec des besoins de capacité de stockage élevée ou des besoins d’intégration de type « quasi temps réel » - Besoin d’intégrité fort - Ressources IT adaptée maîtrisant l’OLAP et le langage MDX – clients nombreux avec des exigences précises et peu évolutives et terme de reporting – complexité métier faible à moyenne : domaine de la BI institutionnelle de type groupe. L’architecture préconisée dans ce cas est SQL SERVER 2008 R2 dont SSAS avec l’utilisation du MDX pour la manipulation des données et un accès à SSRS au travers du portail SHAREPOINT 2010 ou EXCEL 2007 a minima.

2. Environnement de volumétrie faible à moyenne – Besoin d’intégration non temps réel – Enrichissement progressif du modèle de données avec préemption de ce modèle par les utilisateurs métiers – ressources IT concentrée sur son cœur de métier à savoir l’administration technique et le suivi des performances – complexité et évolutivité moyenne à forte des domaines métiers – besoin de reporting personnalisé et adapté en plus du reporting institutionnel : domaine de la BI personnelle de type département ou service. L’architecture préconisée sera dans ce cas SQL SERVER 2008 R2 avec l’utilisation du moteur VertiPaq et du langage DAX au travers de POWERPIVOT pour EXCEL 2010 et de POWERPIVOT pour SHAREPOINT 2010, l’IT exerçant la surveillance des performances et l’administration des serveurs.

Version actuelle

Un certain nombre de points ont été relevés sur la version actuelle

Manque de cohérence et d’étendue fonctionnelle des modèles sémantique UDM (unified data model modèles OLAP) et SMDL (modèles de rapport) - absence de capillarité de ces modèles sur toute la suite BI, la conséquence étant une administration double voire triple sur l’ensemble de la suite (SSIS, SSAS, SSRS) lors des évolutions du modèle de données.
Complexité de la mise en œuvre et du maintien en condition opérationnelle de SSAS et manque d’agilité lors de l’enrichissement des modèles multidimensionnels, complexité du langage MDX pour la manipulation des cubes OLAP nécessitant le maintien de ressources IT compétentes,
Manque de richesse fonctionnelle de l’outil SSRS Reporting Services et performance en retrait par rapport à des solutions de type « In memory »,
Autonomie des utilisateurs réduites en terme de conception de rapports moyennement complexes à très complexes, l’outil client lourd Report Builder 3.0 étant en dessous d’un outil de type SAP BO XI et assez peu déployé de manière opérationnelle dans les grandes organisations,
Forte demande des analystes et experts métiers du maintien d’EXCEL comme outil d’interrogation des données mais également de conception et publication de rapports autres que les rapports institutionnels de l’entreprise.

Version future

Fort de ces constats, l’éditeur a donc annoncé qu’il souhaite faire évoluer radicalement et rapidement son produit, notamment sous la pression de produits concurrents proposant des solutions plus simples et plus économiques, voire plus performantes (solution du type « In Memory »).

Cette approche, partiellement amorcée par le lancement de l’offre conjointe SQL SERVER 2008 R2, SHAREPOINT 2010 et POWERPIVOT for EXCEL ou SHAREPOINT sera définitivement adoptée sur la version SQL SERVER 2011 code DENALI et présentera une architecture radicalement nouvelle avec notamment l’apparition :

Du BI Semantic model (BISM) sous Visual Studio 2010 proposé en parallèle du modèle UDM actuel non évolutif. Il s’agit d’un modèle sémantique couvrant cette fois ci toutes les briques des outils et simplifiant avantageusement le développement,
Du projet CRESCENT refondant profondément l’outil Reporting Services en offrant une richesse fonctionnelle au niveau des meilleurs outils actuels,
Du langage de manipulation de données DAX (Data Analysis Expression), très proche en terme de syntaxe du langage macro d’EXCEL et en alternative au MDX pour les usages des analystes et experts métiers permettant un transfert progressif de l’administration et l’enrichissement des modèles métiers de l’IT vers les utilisateurs avancés.

Figure 2 Architecture Microsoft BI selon les 3 couches

On distingue donc désormais et de manière séparée :

La couche modèle de données qui est exposé à des applications clientes et qui traite à la fois les données relationnelles comme les données multidimensionnelles

La couche règle métier (business Logic) : la logique métier est définie par les utilisateurs métier en utilisant le modèle DAX (Data Analysis Expression) ou MDX (Multidimensional Expressions). DAX est un langage d'expression basé sur des formules de calcul Excel qui a été introduit par PowerPivot et construit sur des concepts relationnels. Il n'offre pas la puissance et la même souplesse que le MDX, mais il est plus simple à utiliser et nécessite un réglage minimal. Il y aura toujours des applications complexes de BI qui nécessiteront la puissance de calculs du MDX mais l’utilisation du BI Semantic Model s’appuiera préférentiellement sur DAX.

La couche accès aux données qui intègre des données provenant de diverses sources - bases de données relationnelles, applications d'entreprise, des fichiers plats, Data RSS, etc. Il y a deux options pour l'accès aux données : le mode mise en cache et le mode temps réel. Le mode mis en cache extrait les données des sources et les stocke dans la mémoire en colonne dans la zone de stockage mémoire VertiPaq. VertiPaq est une technologie qui utilise des algorithmes de compression performants avec les processeurs multi-thread pour des requêtes sophistiquées et qui est optimisé pour les derniers chipsets multi-core, délivrant ainsi de performances exceptionnelles sans avoir besoin de mettre en œuvre des stratégies élaborées d'indexation, d'agrégats ou de réglage.

Le mode temps réel, d'autre part, est le mode classique qui exécute les traitement des requêtes et d'évaluation des logiques métier jusqu'à la source de données, en exploitant ainsi les capacités du serveur et en évitant le besoin de copier les données dans la zone de stockage mémoire VertiPaq du client. Le choix du meilleur compromis d'utilisation reste du ressort du client.

Il est entendu que dans le cas d’un réseau suffisamment dimensionné et de mémoire disponible importante, le mode mise en cache offre des performances nettement supérieures.

A titre indicatif, les maquettes réalisées offrent des performances plus de 100% supérieures sous POWEPIVOT sous EXCEL par rapport à SSRS sous SQL SERVER 2008 R2 avec des fonctionnalités de filtrage (utilisation des segments, filtres d’en tête de lignes et de colonnes) nettement supérieures.

Toutefois, cette architecture nécessite par principe une quantité de mémoire vive plus importante, aussi bien sur le serveur que sur le poste client (dans le cas d’utilisation de POWERPIVOT pour EXCEL 2010).

Google instant palmares

2010-09-09T06:26:00.000-07:00

Rien à voir mais après avoir découvert aujourd'hui google instant, je me suis amusé à établir le palmares des mots clés pour chaque lettre de l'alphabet. Le résultat, parfois surprenant est le suivant:

A ANPE ALLO CINE AIR FRANCE AMAZON

B BUT BNP BADOO BON COIN
C CAF CDISCOUNT CARREFOUR CONFORAMA
D DEEZER DARTY DAILY MOTION DECATHLON
E EBAY EUROSPORT EDF EQUIPE
F FACEBOOK FNAC FREE
G GMAIL GOOGLE MAP GO SPORT
H HOTMAIL HABBO HSBC
I IKEA IMPOTS ITUNES
J JEUX
K KIABI KOREUS KILOUTO
L LE BON COIN LA REDOUTE LCL
M METEO MAPPY MSN
N NRJ NORAUTO NEUF
O ORANGE OM OPODO
P PAGES JAUNES PROGRAMME TV POLE EMPLOI
Q QUELLE QUICK
R RATP REVERSO RMC
S SNCF
T TF1 TRDUCTEUR TELECHARGER
U UGC UTUBE UCPA URSSAF
V VIA MICHELIN VDM VOILA
W WAT WIKIPEDIA W9
X XBOX XE XANAKA
Y YOUTUBE YAHOO
Z ZARA

SQL Server 2008 Service Pack 2 CTP disponible

2010-07-08T09:56:00.001-07:00

http://www.microsoft.com/downloads/details.aspx?FamilyID=65606fdd-093f-4c70-91f6-dc1f24520e8f&displaylang=en

http://www.extendedresults.com/worldcup/

2010-07-08T09:50:00.000-07:00

Une belle applicattion Silverlight:
http://www.extendedresults.com/worldcup/

Stratégies de management des feuilles de calculs en entreprise

2010-01-05T15:58:00.000-08:00

Ce document est une reprise des résultats de diverses enquêtes conduites notamment par le DTWI (data warehouse institute) sur le phénomène classique de prolifération des feuilles de calculs (spreadmarts) dans les entreprises conduisant à la spécialisation et la dissémination des pratiques métiers générant des risques et des pertes difficiles à quantifier mais significatives. Ce phénomène va généralement à l’encontre du principe de « l’unicité et du partage de la vérité », aussi bien en terme d’informations que de pratiques métiers et conduit souvent à la remise en cause des efforts de centralisation du capital informationnel de l’entreprise. Plutôt que d’adopter une attitude intransigeante, aussi bien du côté de l’équipe de direction que du département IT consistant à viser leur éradication dans les processus clefs de l’entreprise, il convient de s’interroger sur leur nature et leur utilité, sur leur rôle exact auprès des analystes avant d’envisager de mettre en place des outils fédérateurs et mieux pilotés. La composante conduite du changement des pratiques est aussi importante que la composante technologique dans ce type de projet.

Les différentes approches possibles du problème sont analysées, avec leurs avantages et inconvénients et quelques suggestions de solutions d’éditeurs sont présentées.

Ayant eu à conduire plusieurs projets de ce type, j’ai agrémenté ce documents de remarques issues de réflexions personnelles sur l’efficacité des diverses approches possibles. Il s’agit donc en quelque sorte d’un petit traité de non-prolifération des feuilles de calculs dans l’entreprise.

Quelques stratégies de management des feuilles de calculs en entreprise

Installation de PowerPivot sur un serveur sharepoint 2010

2009-11-20T07:51:00.000-08:00

Quelques subtilités dans l'installation de PowerPivot sur une serveur sharepoint 2010. Instructions ici pour une installation standalone:
Single Server Install

DAX (Data Analysis Extensions) pour EXCEL 2010 (suite)

2009-11-20T03:06:00.000-08:00

D'après un article publié sur http://blogs.msdn.com/powerpivot/
Remerciements à Howie Dickermann [MSFT]

DAX est un langage basé sur la syntaxe des formules d'EXCEL. Il est capable d'adresser plusieurs tables et comprend des fonctions permettant d'invoquer des bases relationnelles. Il comprend également des fonctionnalités permettant de créer dynamiquement des aggrégations, ce qui permet d'envisager d'afficher des valeurs calculées dans un TCD. Au grand bonheur des utilisateurs d'EXCEL, DAX reprend une partie des bibliothèques de fonctions d'EXCEL et beaucoup de fonctions sont identiques.

Quelques exemples:
= [First Name] & “ “ & [Last Name] formule de concaténation de texte classique
= SUM(Sales[Amount]) la fonction SUM somme sur une colonne plutôt que sur une plage de cellules
= RELATED (Product[Cost]) permet de référer la table produit dans un tableau basé sur la table SaleOrderDetails par exemple

Quand utiliser DAX ?

En partant du principe que l'utilsateur a chargé grâce à POWERPIVOT un certain nombre de tables, il est probable qu'il ne dispose pas de toutes les valeurs nécessaires dans ces tables.

Il peut être alors nécessaire de faire appel à 2 types d'objet de calcul pour poursuivre l'analyse:

les colonnes calculées et les mesures (ce vocabulaire est propre à la sémantique de l'analyse multidimensionnelle).

Colonnes calculées:

Elles sont identiques à celles d'EXCEL et il n'y a pas de nouveau concept sous jacent
Lorsque vous entrez une formule pour définir une colonne calculée, la formule est évaluée pour chaque cellule et vous disposez immédiatement du résultat.
Par exemple, si vous avez une colonne [Quantite] et une colonne [Prix], vous pouvez créer une colonne [Montant] qui est simplement [Quantite]*[Prix]
Les valeurs ainsi crées dans des colonnes calculées peuvent être exploitées dans le TCD de diverses façons. Une colonne calculée peut contenir:

Des valeurs numériques qui peuvent être agrégées dans la zone "Valeurs" de votre TCD
Des valeurs qui peuvent à leur tour constituer les lignes ou les colonnes de votre TCD
Des valeurs qui peuvent être utilisées dans un "slicer" pour découper le résultat de votre TCD

Mesures:

Les mesures dans Powerpivot sont des formules qui sont placées dans la zone "Valeurs" de votre TCD. Elles sont évaluées pour chaque cellule de la zone "Valeur". Chaque évaluation est le résultat résultant de la combinaison unique d'un colonne, d'un ligne et d'un filtre associé à cette cellule.

Il y a 2 types de mesures dans PowerPivot: les mesures "implicites" et les mesures "DAX".

Mesures "implicites: si vous cochez une valeur numérique dans la liste des champs disponibles de votre TCD, Powerpivot va automatiquement créer une mesure "somme de MonChamp" et cette mesure sera automatiquement placée dans la zone de valeur du TCD (voir diapo). Vous pouvez bien sûr changer le type d'agrégation en COUNT, AVERAGE, MIN ou MAX. Nous les appelerons les mesures "implicites" car il n'est pas nécessaire de sélectionner un champ (colonne) et un type d'agrégation. La formule associée à ce type de mesure est implicite et sera toujours une simple agrégation à partir d'un croisement de lignes et de colonnes.

Mesures DAX: quand vous créez une mesure en utilisant la boîte de dialogue "Nouvelle mesure", vous pouvez nommer la mesure et lui attribuer la formule DAX souhaitée. Vous n'êtes cette fois plus limité à une simple aggrégation de colonnes mais vous pouvez vous livrer à des traitements un peu plus sophistiqués.

Il faut cependant bien comprendre que lorsque vous saisissez une formule pour définir une mesure, celle ci n'est pas évaluée immédiatement. C'est lorsque votre mesure sera déposée dans la zone de valeurs de votre TCD qu'elle sera évaluée.

Bien sûr, que vous cochiez un champs pour en faire une mesure implicite ou que vous choisissiez "Nouvelle mesure" et entriez une formule DAX, votre mesure sera ajoutée à votre TCD.

Quelque exemples de colonnes calculées comprenant des fonctions DAX basiques

Le schéma de Sales dans AdvetureWorks

A partir de la table Sales, on définit une colonne [Amount] = [OrderQty] * [UnitPrice]

Vue dans Powepivot

vue dans SQL SERVER Management studio

A partir de la table Product, il est possible de récupérer le UnitCost pour l'intégrer dans notre tableau en utilisant la fonction RELATED().
UnitCost= RELATED('Product'[StandardCost]))

vue dans SQL SERVER Management studio

Il

Vue dans Powerpivot

Il existe également une fonction RELATEDTABLE() qui permet de permet de renvoyer l'ensemble des lignes liées à la table d'origine. Par exemple, à partir d'un tableau basé sur la table Product, il est possible de récupérer l'ensemble des ventes des produits:
=SUMX(RELATEDTABLE([SalesOrderDetails],SalesOrderDetails[UnitPrice])

Vue dans Powerpivot

Notons dans cet exemple que nous avans utilisé la fonction SUMX plutôt que la fonction SUM. La fonction SUMX prend 2 arguments: la table dans laquelle nous allons chercher les valeurs et une expression à retourner pour chaque ligne de cette table.

Dans notre exemple, nous retournons dans notre tableau le montant des ventes par produit dans notre TCD.

DAX ne se réfère pas aux emplacement des cellules pour référencer des données

Dans DAX, il n'existe pas de notion d'adressage de cellule pour une données. Les données ne sont pas identifiés par leur emplacement dans la feuille de calcul. DAX ne se réfère qu'aux colonnes dans la table. Plutot que de considérer une plage de cellules, il faut concevoir les données comme un jeu de tables constituées de colonnes et de lignes

Fonctions d'agrégation DAX

DAX inclut de nombreuses fonctions d'agrégations d'EXCEL dont les fonctions SUM, AVERAGE, MIN, MAX, COUNT mais ces fonctions prennent pour arguments des colonnes. Il existe également de nouvelles fonctions d'agrégation capable d'agréger n'importe quel expression à partir de lignes d'une table:

SUMX (Table, Expression)
AVERAGEX (Table, Expression)
COUNTAX (Table, Expression)
MINX (Table, Expression)
MAXX (Table, Expression)

Fonctions de table DAXDAX ne dispose pas de fonctions permettant de retourner une table. La formule qui définit la valeur d'une colonne calculée doit renvoyer une valeur scalaire afin de pouvoir être placée en colonne. Mais disposer de fonctions qui permettent de retourner des tables de données est très utiles surtout si vous souhaitez utiliser ces résultats intermédiaires pur les passer en arguments à d'autres fonctions. L'exemple ci dessus illustre ce mécanisme où l'on renvoie l'ensemble des lignes de la table SalesOrderDetails et qu'elles sont agrégées via la fonction SUMX pour être enfin renvoyées à la table Product.

Cette notion de fonctions renvoyant des tables peut être nouvelle pour un utilisateur d'EXCEL mais c'est un concept facile à assimiler. Quelques exemples de fonctions renvoyant des tables:

RelatedTable (Table) renvoie la table contenant les données liées
Filter (Table, Condition) renvoie la table filtrée par la condition
Distinct (Column) renvoie une colonne de la table par valeur distincte

En conclusion, les fonctionnalités puissantes mis en oeuvre grâce à DAX pourront dérouter les utilisateurs d'EXCEL mais ceux ci pourront rapidement en tirer bénéfice en terme de performance mais également ( et surtout) en terme de clarté et de maintenabilité de leurs multiples sources de données. Finies les macros alambiqués pour tenter d'improbables et de périlleuses jointures entre leurs feuilles de calcul. Fini le joyeux mélange entre données stockées et calculées. Fini les hasardeuses mises à jour en cascade de formules entre feuilles et fichiers. Désormais, toutes les données résident en tables dans Powerpivot avec une gestion relationnelle propre. L'interface classique d'EXCEL 2010 devient uniquement le client du fournisseur de données Powerpivot et peut être utilisé à plein régime pour l'analyse. Nul doute qu'à terme analystes et spécialistes IT s'y retrouvent.

Introduction aux Data Analysis Expressions (DAX) dans Powerpivot (ex Gemini)

2009-11-19T15:50:00.000-08:00

Powerpivot (ex Gemini) et DAX étendant les possibilités des Tableaux croisés dynamiques (TCD) dans EXCEL

Les Tableaux croisés dynamiques (TCD) d’EXCEL ne sont pas nouveaux mais le fait de pouvoir les baser sur de multiples tables est une nouveauté rendu possible par l’add-in Powerpivot d’EXCEL 2010. Associé au nouveau langage d’expression DAX (Data Analysis Expression), cette nouvelle possibilité offre un outil puissant pour l’analyse des données vu du côté d'un "EXCELcolique". En effet, plus besoin d'une DSI jargonante, d'experts business intelligence et de cube Analysis Services à administrer (on peut rêver...)

Egalement fini le message "requête OLAP en cours d'exécution" lors du rafraichissement d'un TCD sur le poste client puisque tout est sur le poste client.

Pour ceux qui en douteraient encore, pas d'autre solution: testez ! j'ai donc tenté l'aventure avec une configuration très légère: portable 1Go RAM dual core Windows Seven evaluation Office 2010 Professional Plus beta et SQL SERVER 2008 R2 CTP. Je n'ai pas poussé cette pauvre machine dans ses derniers retranchements en lui assénant Sharepoint 2010.

L’exemple suivant est tiré de la base exemple AdventureWorks2008 en extrayant les tables product et salesorder ainsi que les tables associées.

Dans l’application Powerpivot lancé depuis EXCEL, sélection d’une source SQL SERVER. Il est cependant possible de choisir toute autre forme de format de données du type relationnel:

Sélectionner la table Product et cocher la case “tables associées”.

La liste des tables associées à [Product] apparait. On choisit de tous sélectionner. Idem pour les tables [SalesOrder]

L’import débute dans une fenêtre qui ressemble à la fenêtre d’exécution de SSIS. On notera au passage que les 121 317 lignes de la table SalesOrderDetails s’importe sans aucune difficulté.

Au final, l’ensemble des tables sont importés dans le classeur Powerpivot (et non dan un classeur EXCEL classique).

Créons le tableau en cliquant sur PivotTable. Et nous voici de retour sous EXCEL un TCD basé sur Product, ProductSubCategory, SalesOrderDetail et SalesTerritory:

Il ne reste plus qu'à ajouter les filtres et slicer avec une gestion de dépendance et le tour est joué. On peut ensuite publier sur Sharepoint le tableau de bord.

Si il avait fallu réaliser ce TCD sous EXCEL, il aurait fallu créer une feuille de calcul opérant une jointure entre Product, Product, ProductSubCategory, SalesOrderDetail et SalesTerritory avec les problèmes de performances et de synchronisation de cette feuille. Dans certaines situations avec des relations de type plusieurs à plusieurs, la création d’un seule feuille contenant l’ensemble des données n’est même pas possible.

Cette fois ci il est possible de renommer ces axes d’analyse et mesures et de créer ses propres formules de calcul depuis les mesures suivant une syntaxe familière aux utilisateurs avancés d'EXCEL: les DAX. Là non plus, point de MDX ni d'effort de modélisation ou de programmation.

En terme de volumétrie de données, notre fichier excel 2010 pèse 14,1 Mo

A titre de comparaison, le même fichier au format EXCEL 2007 avec les mêmes données à plat dans des feuilles pèse 14 Mo également donc je n’ai pas noté sur cet exemple d’amélioration sensible en terme de compression de données, mais peut être que la volumétrie n'est pas significative.

En terme de performance, difficile d'en juger: les temps de réponse sont imperceptibles ! là encore il faudrait tester sur de plus grosses volumétries.

En conclusion, le produit semble prometteur et surtout très performant. Il permet surtout à un non IT de pousser très loin la conception en terme d'outil d'analyse jusqu'à la réalisation d'une maquette quasi opérationnelle. Personnellement, j'irai même jusqu'à dire qu'il convient de s'interroger si il ne suffit pas de mettre les données de production à disposition de l'équipe d'analyste sur un serveur SQL et de les laisser concevoir leur tableaux de bord plutôt que de partir dans la phase de conception d'un modèle multidimensionel qui reste une phase longue, couteuse et non dénuée de risque.

En terme de stratégie commerciale, on peut également s'interroger de savoir si PowerPivot ne cannibalise pas quelque peu la suite BI SQL SERVER 2008. Après tout SQL SERVER 2008 n'est absolument pas indispensable pour bâtir avec PowerPivot et quelques vieux routiers des macros et formules EXCEL une plate forme décisionnelle tout à fait à la hauteur et ni SQL SERVER ni Analysis Services n'ont été sollicités pour réaliser cet exemple.

Expert Cube Development with Microsoft SQL Server 2008 Analysis Services

2009-10-05T02:53:00.000-07:00

Après Aurélien Koppel et François Jehl, j'ai succombé à la lecture de l'ouvrage de Chriss Web, Alberto Ferrari et Marco Russo, spécialistes émérites des technologies SQL SERVER sur le sujet de la mise en oeuvre des meilleures pratiques autour de SSAS 2008 dans un ouvrage baptisé "Expert Cube Development with Microsoft SQL Server 2008 Analysis Services", excusez du peu. Le titre est finalement assez explicite et constitue une excellente lecture en miroir de la documentation officielle MS, abordant sans tabou les capacités et limites de l'outil et en apportant un point de vue éclairé, par une pratique intensive sur les recommandations de l'éditeur.
Il ne s'agit pas d'un livre pédagogique ni même d'un approfondissement des fonctionnalités de SSAS mais véritablement d'un retour d'expérience sur sa mise en oeuvre. Hormis bien sûr l'intérêt que peut y trouver un chef de projet BI ou responsable d'application BI, j'y vois une utilité immédiate si vous êtes chargé d'éditer des préconisations en terme de développement ou si vous devez conduire un audit de performance d'un système existant.
Je tenterai de dégager les points essentiels et parfois surprenants de ce livre dans un prochain article.

Rachat de SPSS par IBM

2009-07-28T05:30:00.000-07:00

IBM poursuit sa politique d'acquisition en rachetant l'éditeur SPSS. Les deux sociétés se sont accordées sur un montant de 50 dollars l'action en numéraire soit un montant global de 1,2 milliard de dollars. Créé en 1968, SPSS est devenu est un des leaders de l'analyse prédictive. Le rachat devrait être finalisé dans la seconde moitié de l'année 2009.

Les solutions d’analyse prédictive de SPSS couvrent les différents objectifs métier de l’entreprise, l’accent étant mis sur la totale convergence entre analyse, architecture et processus métier.
L’utilisation de l’analyse dans l’entreprise n’est pas nouvelle. Ce qui est nouveau c’est le passage de la business intelligence à la prévision utilisable. La puissance prédictive vient de la connaissance du client, laquelle est uniquement possible à partir d’une véritable compréhension des individus, de leurs comportements et de leurs préférences.

IL s'agit là à mon sens d'une acquisition stratégique dans un secteur en pleine ébullition. En effet, l'étape qui consiste à passer d'un simple outil d'analyse BI à un outil capable d'effectuer des prévisions est probablement la plus délicate à mettre à mettre en oeuvre oujourd'hui mais aussi celle qui peut assurer un maximum d'information utiles pour les décideurs. Il s'agit de passer de la logique de restitution en tableau de bord à l'implémentation du processus de décision.

SPSS dispose pour cela d'un outil à mons sens assez performant et unique sur le marché: le PASW Modeler ex SPSS Clementine.

A ma connaissance et en excluant les outils de statistiques avancées demandant une forte expertise, il n'existe pas d'autre outil sur le marché capable de conduire des simulations et des prédictions de manière relativement accessible à un opérationnel.

Cycle de renforcement d'un projet de Business intelligence

2009-07-09T08:46:00.000-07:00

	Inspiré de la BI USABILITY MIND MAP du DATAWAREHOUSE INSTITUTE voici un schéma de principe des meilleures pratiques afin de renforcer la crédibilité de votre projet BI. Il s'inspire de la théorie des systèmes qui décrit les facteurs d'accélération ou de frein à la réussite de votre projet de BI. Le manque de convivialité ou l'inadaptation de l'outil au besoins réels des utilisateurs constitue le frein principal à l'adoption de l'outil. les schémas suivant reprennent donc, sur le thème des architectures, du support développement, de l'analyse conception et de la conduite du changement les meilleures pratiques à mettre en oeuvre. Rien de nouveau donc sur le sujet sauf que chaque point peut être un facteur d'échec ou a contrario faire l'objet d'un plan d'action.
	Architecture: Données Fonctionnalités Flexibilité Performance
	Support développement RETEX Services Formation Méthode de développement
	Analyse conception: Rôle Expression de besoin Logiciel
	conduite du changement Gouvernance de projet Communication Gestion des attentes Executives

Voir la présentation complète:

La Business intelligence et les prises de décision sont rarement liées, affirme le Gartner Group

2009-07-04T07:51:00.000-07:00

Il suffit de parcourir les pages d'affaires des journaux économiques pour constater que de bien mauvaises décisions ont été prises au cours des dernières années,que ce soit de la part des banques décidant d'investir dans des titres adossés à des prêts hypothécaires risqués ou de la part de Boston Globe décidant de ne pas investir dans Monster.com.

Malgré d'énormes investissements en business intelligence (BI) en logiciels et en plates-formes qui ont abouti à une montée en compétence, la plupart des entreprises n'ont pas encore franchi à l'aide de leurs outils de Business intelligence "le dernier km» vers le processus de décision, selon un récent rapport de Gartner

L'absence d'un lien entre les outils de BI et les décisions impactées a également conduit à un manque de transparence dans de nombreuses organisations. Ce qui empêche les outils de BI de disposer du crédit qu'ils méritent quand il aboutit à une bonne prise de décision, a déclaré Kurt Schlegel, analyste chez Stamford Connecticut et co-auteur du rapport.

«Malgré une disponibilité de l'information sans précédent, la dernière décennie a souffert de plusieurs prises de décisions critiquables, à la fois dans les secteurs public et privé», a écrit Schlegel. "Il ne suffit pas de fournir un accès aisé à l'information pour que les bonnes décisions soient prises en conséquence."

Le cycle de vie La BI est composée de trois étapes, décrit Schlegel. La première implique simplement d'organiser le nettoyage et la collecte de données, suivie par une deuxième étape de livraison des données, souvent sous la forme de rapports, de façon cohérente pour les consommateurs. La troisième et peut-être la plus importante, dit-il, est en fait l'application de Business intelligence dans le processus de prise de décision.

De nombreuses organisations ont subi une maturation au travers des étapes un et deux, mais n'ont pas encore réussi à faire le saut vers la troisième étape, a déclaré Schlegel. «C'est une marche en avant à petit pas qui nécessite un apprentissage mais je pense que la plupart des organisations sont prêtes à passer à la phase trois."

Afin de faire la transition, les organisations doivent développer des systèmes d'aide à la décision qui leur permettent d'utiliser leurs outils d'analyse BI avec plus de "qu'est ce qui se passe si (what if ?)" en jouant des scénarios respectant les règles de prises de décision à partir de données et d'acteurs de décision grandeur nature.

Schlegel a demandé aux 4 principaux fournisseurs d'outils BI - SAP, Oracle, IBM et Microsoft - d'investir davantage de ressources dans le développement de systèmes d'aide à la décision, mais il a admis qu'il pourrait se passer un certain temps avant d'obtenir des résultats tangibles, que les bénéfices de ces technologies sont dans un premier temps de nature à être faible. "aux fournisseurs de regarder les marchés émergents et, malheureusement, ils ne sont souvent pas important pour eux», dit-il.

Avec peu d'outil disponibles "out of the box" parmi les produits d'aide à la décision, les logiciels de collaboration et de réseaux sociaux constituent l'un des moyens les plus faciles pour les organisations d'établir de lien avec les processus décisionnels, affirme Schlegel. «C'est une idée très simple avec de nombreux avantages».

Les logiciel de collaboration, à l'instar de Microsoft SharePoint Server, pourraient être utilisé non seulement pour partager des rapports , a il dit, mais aussi pour tester et valider des hypothèses sur les processus de décisions à partir de données opérationnelles.

"Ces environnements permettent aux décideurs de collaborer de manière plus active aux échanges autour des scénarios à mettre en place, de prendre en compte les résultats des analyses issues des outils de BI ou d'autres sources d'information, et d'étudier puis d'obtenir un consensus sur les avantages et les inconvénients de telle ou telle orientation dans les plans d'action», affirme Schlegel.

Les logiciel de collaboration peuvent également fournir un historique de la manière dont les décisions ont été prises - les informations sur le déroulement du processus de décision sont souvent perdues, une fois le processus terminé. Ces dossiers sont susceptibles de devenir de plus en plus critiques, dit-il, alors que de nouvelles règles gouvernementales et étatiques exigent de plus en plus de transparence des organisations. Ils peuvent aussi aider à la capitalisation du savoir faire institutionnel.

"Etre capable d'expliciter le lien entre les décisions prises et les chiffres produits procure une plus grande transparence des organisations sur la manière de conduire les processus de décisions", at-il dit, "afin qu'elles puissent identifier les véritables acteurs de la décision et exploiter au mieux le retour sur expérience des actions concluantes et capitaliser sur les meilleures pratiques à travers un large panel de processus métier, qu'ils soient parfaitement définis ou plus originaux ou inédits. "

Les entreprises doivent commencer le processus d'acquisition d'un outil de BI en inventoriant les décisions qu'ils prennent et d'identifier celles qui sont les plus importantes pour leur stratégie, a déclaré Schlegel. Déterminer le nombre d'embauche du personnel temporaire pendant la période des fêtes de fin d'année pourrait être une processus critique pour un détaillant, par exemple, ou - pour un fabricant - le fait d'ouvrir ou non une nouvelle usine.

"Les entreprises doivent également opérer une transformation culturelle visant à considérer les compétences nécessaires à l'optimisation des procesus de décision comme une compétence de base», a écrit Schlegel. "Commencer par axer l'effort sur la diffusion au sein de l'entreprise des meilleures pratiques, puis susciter des possibilités de mettre en place quelques scénarios de simulation afin de démontrer la vertu du jeu de la transparence dans les processus décisionnels et enfin créer un vocabulaire commun apte à conduire le changement culturel."

D'après un article de Jeff Kelly, News Editor

Microsoft ou « BI omniprésente » ou la «BI pour les masses ».

2009-07-03T08:06:00.000-07:00

Malgré les récentes décisions de mise au rencart de PerformancePoint Server et le report de son sommet annuel qui aura lieu désormais tous les 2 ans, Microsoft insiste sur l’aspect stratégique du marché de la business intelligence (BI).

L'année prochaine verra la sortie de SQL Server 10 et des outils en self-service de Business intelligence, nom de code Kilimanjaro et Gemini, qui couvriront un certain nombre de lacunes d'Excel en BI et démontre l'engagement de Microsoft à offrir à ses clients des capacités de stockage de données robuste,facile à utiliser et des technologie BI efficaces

A terme, la volonté de Microsoft est de faire d’Excel un véritable outil complet de BI, et pas seulement un outil qui a des caractéristiques BI.
En plus des outils en self-service, la nouvelle mise à jour de SQL Server intégrera la technologie d'un certain nombre d'acquisitions de Microsoft visant à rendre la base de données plus évolutive et efficace afin de rivaliser avec des outils comme Teradata.
Il comprendra, par exemple, les technologies MPP de DATAllegro, la technologie de recherche de FAST, la technologie d’analyse de qualité des données de capacités Zoomix et les capacités de Stratature en matière de Data Master Management.

Avec comme point d’entrée les technologies SharePoint Server, logiciel de collaboration, Microsoft espère étendre l'utilisation de ses outils de BI à un plus grand nombre d’utilisateurs parmi ses clients, dans un concept appelé la « BI omniprésente » ou la «BI pour les masses ».

Il s'agit d'une stratégie suivie par d'autres BI méga-fournisseurs, notamment SAP et IBM, mais Microsoft pense qu'il dispose d’une avance sur la concurrence grâce à sa large base d’utilisateurs d’Office, comme l’analyse le cabinet Gartner, dans son dernier Magic BI Quadrant rapport.

«En mettant Excel, SQL Server et grâce à la politique de diffusion très rapide de SharePoint Server au centre de sa stratégie de BI, Microsoft s’assure pratiquement de l’adoption de offre BI indique le rapport, publié en Janvier 2009

Laisser aux utilisateurs la possibilité de faire leurs propres analyses en mode self service est une bonne solution à la fois pour les clients et pour Microsoft. De toute évidence, cela signifie plus de revenus à terme pour Microsoft, mais il permet aussi de utilisateurs de mieux exercer leur travail en leur offrant la possibilité de faire de l’analyse rapide sans assistance informatique. Cela libère également les acteurs des métiers de l’information afin de se concentrer sur des projets plus stratégiques, BI ou autre.

Microsoft espère aussi clarifier son message auprès de ces clients afin qu'ils pensent aux solutions Microsoft dans les mêmes termes que SAP BusinessObjects, Cognos, IBM et Information Builders, par exemple. À cette fin, les forces de vente de Microsoft sont formé à se concentrer sur la vente de la BI comme un concept et une stratégie, et pas uniquement sur la vente de différents outils tels que SQL Server ou PerformancePoint Server.

Microsoft pousse également ses recherches dans l’incorporation de capacités d'analyse de texte dans la BI, mais reconnaît que Microsoft et l'industrie en général n'ont pas encore trouvé de cas d'utilisation pratique et élargie de cette technologie.

Certes, l'entreprise a pris la décision de tenir son sommet BI tous les deux ans plutôt que chaque année mais, même si les facteurs économiques ont joué dans cette décision, ce nouvel arrangement s’aligne également mieux avec le calendrier de sortie des produits Microsoft.

En outre Microsoft étend sa stratégie BI par le biais d'autres produits Microsoft, tels que son Dynamics CRM et ses ERP.

Financial planning accelerator

2009-07-03T05:02:00.000-07:00

Microsoft Corp a dévoilé une surprise de taille pour les utilisateurs de son produit Office PerformancePoint Server: un nouveau Financial planning accelerator (FPA) qui pourrait proposer de prolonger la vie de ce produit - pour certains utilisateurs, en tout cas.
En Janvier 2009, Microsoft envisage de cesser de diffuser PerformancePoint, qui avait été lancé (après une longue Community Technology Preview) moins de deux ans auparavant. Le scorecarding, le suivi et les capacités d'analyse de PerformancePoint 2007seront inclus dans la prochaine version de Microsoft SharePoint Server 10 (MSS, née de Microsoft Office SharePoint Server). Redmond envisagait alors de cesser la diffussion de PerformancePoint Server Planning - outil qui n'a été utilisé que par une petite fraction des utilisateurs de PerformancePoint et de le refondre dans un hypothétique produit en cours d'étude Reporter Manager.

Le résultat à court terme est que est que les les utilisateurs de Microsoft PerformancePoint planning se retrouve le bec dans l'eau (voir http://www.tdwi.org/Publications/display.aspx?Id=9434). MS décide donc de livrer le code source du module Planning. Ce n'est pas véritablement un «accélérateur» (Microsoft a livré plusieurs BI Accelerators dans le passé) car il s'agit de divulguer à ces clients le code source de PerformancePoint planning. Les partenaires et les clients ayant un accod sont libres de faire ce qu'il veulent avec - y compris de développer des offres de services autour de PerformancePoint planning.

D'un autre côté, Microsoft ne publie pas le code source de PerformancePoint planning ou ne le rend pas disponible via une Microsoft Public License (MPL) ou Microsoft Reciprocal License (LMR) - qui ont la bénédiction de l'Open Source Initiative ( OSI). Les clients doivent signer un accord de licence plus restrictif, aux termes duquel ils doivent accepter de renoncer à tout support de l'éditeur pour tout ce qu'ils développent.

Un produit jamais fini
L'outil Planning de Microsoft Office PerformancePoint Server a longtemps semblé être une version pre realease. Contrairement à PerformancePoint scorecarding pour le suivi et les capacités d'analyse - basé sur Business Scorecard Manager (BSM) et des outils acquis lors de l'acquisition de l'ex groupe ProClarity - Planning Server est un outil développé "from scratch". Plus précisément, Business Scorecard Manager et ProClarity ont amené des outils tout de suite crédibles en matière de scorecarding et d'analyse.

PerformancePoint planning, en revanche, a été décrit (par le spécialiste visionnaire du maché OLAP Nigel Pendse) comme un outil "qui colle parfaitement ou pas du tout". Bien que disposant de fonctionnalités interessantes (Nigel Pendse cite les possibilité de conversion de devises), il note aussi quelques omissions flagrantes - tels que l'absence d'une interface web de saisie des données, ce qui d'après Pendse constitue «une lacune jamais vue dans aucun des produits récents de planification budgétaire".

En soi, la dernière démarche de Microsoft ne fait rien pour améliorer les fonctionnalités de PerformancePoint Planning. Toutefois, en donnant aux clients l'accès au code source du composant , Redmond encourage les utilisateurs à se débrouiller par eux-mêmes.
Ces clients vont donc devoir s'y habituer. Microsoft a officiellement cessé la diffusion de PerformancePoint Server en avril 2009, et - bien que Redmond prévoit de sortir plusieurs autres services packs PerformancePoint (y compris un SP3 prévu cet été), - le nouveau code est mis à disposition tel quel.

Microsoft ne prévoit pas de proposer de nouvelle version. "Quand nous avons fait cette annonce et en avons parlé à nos clients, ce que nous avons entendu est qu'ils aimeraient avoir accès au code source de PerformancePoint planning à des fins de diagnostic", explique Kristina Kerr, senior product manager de Microsoft Office Business Applications group. Redmond a le même retour de ses partenaires, affirme Kerr.

"Ainsi, en annonçant Financial Planning Accelerator, nous mettons le code source de PerformancePoint Planning à la disposition des clients, et il est destiné aux clients afin de faire l'auto-diagnostic et aux partenaires afin de personnaliser les solutions existantes pour leurs clients. Ce code ne sera pas soutenu par nous en aucune façon.

Les clients de Financial Planning Accelerator, seront en mesure de faire ce qu'ils veulent avec ce code, mais une partie de l'accord de licence stipule que nous avons la propriété intellectuelle (IP) de ce que qui est exposé dans le code source - que, fondamentalement, nous nous efforçons de protéger la propriété intellectuelle tout en répondant aux besoins de nos clients », souligne-t-elle.

De la même façon, les clients - et non Microsoft - bénéficient de droits de propriété intellectuelle sur les améliorations qu'ils se développent. "Si les clients faire des améliorations, cela devient leur propriété intellectuelle. Si, par exemple, un partenaire voulait développer une solution personnalisée en utilisant PerformancePoint Planning, ils peut le vendre sur le marché par le biais de leurs revendeur. La seule exigence est qu'ils disposent d'une licence SharePoint Server Enterprise".

Robert Kerr précise que le Service Pack 3 pour PerformancePoint Server s'applique au module Planning tel qu'il existe aujourd'hui. "Tout service pack pour PerformancePoint planification sera uniquement pour le produit tel qu'il est aujourd'hui, nous ne ferons pas de service packs pour Financial Planning Accelerator", déclare Robert Kerr. Le SP3 apportera quelques améliorations attendues sur PerformancePoint - détail au niveau de la ligne - ainsi que la compatibilité avec les correctifs pour SQL Server 2008.
Microsoft prévoit également de fournir des futurs Service Pack qui traitent des problèmes de compatibilité avec les produits à venir, comme Office 2010, MSS 2010 et SQL Server 2008 R2. «Nous sommes également sur la planification d'un autre service pack pour les futures versions d'Office, SharePoint et SQL Server. Nous programmerons d'autres service packs afin de maintenir la compatibilité de ces versions", explique Kerr.