Business Integration

1
Business Integration

• Besoins en Business Integration
• Intégration de données (EII)
• Intégration d'applications (EAI)
• L'architecture SOA pour votre SI
• Le commerce électronique B2B

2
1. Introduction

• Lexistant
• Nombre croissant de données dispersées dans une
  grande variété de sources de données hétérogènes
• Données internes à lentreprise (protégées par un
  firewall) et externes, chez des fournisseurs, des
  partenaires ou des clients
• Le besoin
• Les applications doivent accéder et combiner ces
  données efficacement, facilement et en toute
  sécurité
• Le B2B nécessite lintégration lâche des systèmes
  dinformation par les données

Introduction
3
Les niveaux d'intégration
Business Process EAI
Intégration d'applications
BD Fédérées EII
Intégration de données
Standards J2EE Web Services
Intégration de plate-formes
Systèmes
Réseaux
SGBD
Introduction
4
Intégration données et d'applications (EIS)

• Intégration de données (EII)
• 1 serveur d'applications
• N sources de données
• Accès unifié par vues et requêtes
• Intégration d'applications (EAI)
• N serveurs d'applications
• 1 serveur d'intégration
• Échange de données inter-applications
• Pilotage par workflows

Introduction
5
Enjeux de lintégration

• Selon études IBM
• pour 1 dépensé pour une application packagée, de
  5 à 9 sont dépensés pour assurer son intégration
• Selon le Gartner
• 40 des budgets IT sont dépensés en intégration
• Selon Morgan Stanley
• lintégration de données est devenue la priorité
  N1 des entreprises en conjonction avec le
  e-business et le CRM

Introduction
6
2. Intégration de données (EII)

• Base de données intégrée virtuelle
• approche où les données intégrées ne sont pas
  matérialisées dans un SGBD
• intégration à la demande pour répondre aux
  requêtes
• Seules les données utiles sont manipulées
• Lutilisation dun cache augmente les
  performances
• Limitations
• performance
• calculs dintégration complexes,
• sources lentes ou indisponibles
• Difficultés de mises à jour

Intégration de données
7
Exemple de scénario
Systèmes classiques
CLIENT
Données techniques
Site 5
Vue intégrée
Commandes, Clients, Factures
Site 4
Opérations des produits
Site 1
Réseau de communication
Données géographiques
Données textuelles
Site 3
Site 2
Descriptions des produits
Localisation des clients
SERVEUR
Intégration de données
8
Hétérogénéité des modèles
Source 2 Repository XML
lt!ELEMENT Vin (Cru, Degre, Description)gt lt!ATTLIS
T Vin nv CDATA IMPLIEDgt lt!ELEMENT Buveur (Nom,
Place,Date, Type)gt lt!ATTLIST Buveur nb CDATA
IMPLIEDgt lt!ELEMENT Catalogue (Vin, Offre,
Publicité?)gt ...
Source 1 SGBDR
Nom DateN Pays Type
Buveurs
NV Cru Mill Degre
Vins
Source 4 LDAP
?personne?
Source 3 WEB
?buveur?
?service?
?chef?
?employé?
boire
Personne
Boisson
?vins?
?Région?
?Description?
Intégration de données
9
Vue intégrée pour la médiation
Schéma intégré
mappings
Schéma source
Schéma source
Source 1
Source 2

• Méthodes de mapping
• Descendante (le schéma de médiation est une vue)
  - GAV
• Ascendante (le schéma source est une vue) - LAV
• Mixte (la combinaison de schémas sources est une
  vue)

Intégration de données
10
Hétérogénéité des langages
Source 1 RDBMS
Source 2 XML Repository
SOAP XQuery
ODBC/JDBC SQL
Source 4 LDAP
Source 3 WEB
LDAP QUERY
Google Text Queries
WEB Services
Intégration de données
11
Traitement dune requête globale
Source 1 Wrapper 1
Vue Intégrée
Traduction
q1
Q
Décomposition Intégration
q2
Traduction
Vue utilisateur
Médiateur
Source 2 Wrapper 2
Dans tous les cas, le médiateur génère des
sous-requêtes optimisées à partir de Q
Intégration de données
12
Avantages des médiateurs

• Support dun langage de requêtes uniforme pour
  les données hétérogènes (SQL/XML ou XQuery)
• Accès intégré par API objet et services Web
  (requêtes paramétrées)
• Transparence à la localisation des données pour
  les applications
• Disponibilité accrue des données en cas de pannes
  des serveurs par gestion de copies
• Intrusion minimum au niveau des serveurs
• Transparence à lhétérogénéité des sources

Intégration de données
13
Architecture DARPA I3
Services Interaction
Applications objet
Applications client
Browser web
Niveau Client
Services Coordination
Facilitateur 2
Facilitateur 1
Services Integration
Niveau Médiation
Médiateur 1
Médiateur N
Services Translation
Wrapper
Wrapper
Wrapper
...
Niveau Source
Services Accès
Source 1
Source N
Source 2
Intégration de données
14
Schéma de médiation XML

• Atouts
• Un modèle complet (XML Schema) plus riche que le
  relationnel
• Permet de mixer documents et données structurées
• Langages de requêtes normalisé XQuery, SQL/XML
• Bien adapté aux échanges B2B Unification des
  noms possible, mécanisme de "namespaces" 
• Difficultés
• Technologie complexe à maîtriser
• Performance de XML (texte)

Intégration de données
15
Des produits industriels

• Enosys
• Médiateur XQuery
• Librairie de wrappers
• Nimble.com
• Racheté par Actuate
• Base d'intégration sémantique
• Correspondance entre Xpath
• IBM Xperanto
• XQuery au-dessus de SGBDR
• Compilation en SQL
• Médience (INRIA?BO)
• Relationnel API XML

• Liquid Data (BEA)
• Dérivé de Enosys
• Vues XML/XQuery
• IBM Information Integrator
• Système hybride SQL et XML
• Basé sur SQL/XML
• OLE/DB.NET
• Extension de OLE/DB à XML
• Interrogation SQL for XML
• DENODO
• Plate-forme d'intégration SQL
• Extension à XQuery en cours

Intégration de données
16
IBM DB2 Information Integrator

• Accès unifié à des vues SQL/XML
• Tables virtuelles avec colonnes XML docs
• Interrogation en SQL/XML
• SQL avec fonctions XPath
• Accès à toute source
• SQL (DB2, Oracle, Sybase, etc.)
• MQ message queues  
• Lotus Notes  
• Documentum Enterprise Content Management System
• web search engines and Web services
• MS Excel spreadsheets,
• XML docs and more

Intégration de données
17
BO Data Integrator
Site 2

• Intégré à BO XI
• Solution mixte Relationnel/XML
• Architecture récursive

Site 1
Application2
Données DR
Application1
Site 3
Données CD
Application3
Données NP
Intégration de données
18
Liquid Data de BEA

• Architecture intégrée à WebLogic

Intégration de données
19
XLive (Open Source)

• Schéma de médiation XML
• Sources de données
• BDs, XML, fichiers, services Web
• Interfaces applicatives 
• XQuery en Java et Web Services, insertion dans
  des sources
• Version Open source disponible
• Industrialisée par start up fermée début 2003
• Médiateur en Open Source (www.prism.uvsq.fr)
• Version issues de eXMLMedia (www.xquare.com)
• Version industrielle commercialisée
• DataDirect XQuery for data integration
  www.xquery.com

Intégration de données
20
Bilan

• Les bases fédérées s'orientent vers XML
• XQuery distribué est en marche
• Technologie idéale pour
• Portails BD
• Interrogation multi-sources
• Exemples d'applications
• Le dossier patient virtuel
• Le portail touristique
• Problèmes
• Architecture complexe
• Performance

Intégration de données
21
3. Intégration d'applications (EAI et XML)

• Enterprise Application Integrator
• Échange de données entre applications
• Transformation et fusion des sources
• Stockage intermédiaire en BD
• Diffusion vers les cibles
• Pilotage des flots (Workflow)
• Connexion avec bus applicatif (CORBA, DCOM)
• De plus en plus souvent basés sur XML

EAI et XML
22
Intérêt d'un modèle pivot

• L'intégration d'information nécessite un modèle
  pivot (global, fédérateur, d'échange)
• XML est conçu pour cela
• Les Services Web peuvent être invoqués pour
  produire/consommer du XML
• SOAP est de plus en plus présent

nm versus nm
EAI et XML
23
Structure d'un EAI

• Hub and Spoke
• Bus (ESB)

Application J2EE
Application SAP
Hub EAI
Application .NET
Application Siebel
Application J2EE
Application SAP
Bus EAI
Application .NET
Application Siebel
EAI et XML
24
Les couches

• Couche transport
• Transport des messages depuis l'EAI aux
  applications et vice-versa
• Peut ou non intégrer Intranet/Internet
• Couche transformation et routage
• Transformation et intégration des messages
• Routage vers les applications
• Couche modélisation métier
• Modélisation des flux (workflow)
• Définition des objets métiers
• De plus en plus basée sur BPM (Web services)

EAI et XML
25
Le transport
Request Queue
Application
Response Queue
Serveur EAI

• Connectivité du réseau
• Gestion des messages et files d'attentes
• Sécurité et cryptage
• Logging et répétition des messages
• Routage des messages
• Utilisation TCPIP, HTTP, SOAP, SMTP, IIOP,
• ?Message-Oriented Middleware (MOM)

EAI et XML
26
La transformation

• De l'application au modèle d'échange (XML)
• Connecteur, Adaptateur, Extracteur
• Transforme une source en XML
• De XML à XML
• Utilisation de XSL
• Intégration de N flots en 1
• Du modèle d'échange à l'application
• Connecteur, Adaptateur, Publisher
• Présente les données aux applications
• La gestion des méta-données
• Formats et règles
• Annuaire des applications et utilisateurs

EAI et XML
27
Les processus métiers

• Modélisation de processus métiers
• Enchaînement d'activités
• Echange de messages XML
• Transactions courtes et longues
• Intégration des Services Web
• API standards décrites en WSDL
• Langages d'orchestration (WFSL, XLANG, BPEL, ...)
• Interpréteur des workflows
• Généralement centralisé
• Pilote les processus et échanges

EAI et XML
28
Architecture fonctionnelle
Admin.
Processus Métier
S U P E R V I S I O N
A D M I N I S T R A T I O N
C O N F I G U R A T I O N
Workflows
Routage Messages
Chemins
Transformation
Règles
Connecteurs
Formats
TRANSPORT
SGBD
Progiciels
Application
Fichiers



EAI et XML
29
Types d'échanges

• 3) Split
• Needs ability to cache response from multiple
  requests to respond to one message

Y

• 2) Request / Reply
• System makes request
• and gets response

• 1) Fire and Forget
• No Response required

Y
Y
EAI
X
EAI
X
EAI
X
B
A
C
Y
A
Z
B
EAI
EAI
X
X
EAI
X
C
XREF

• 5) Publish Subscribe
• A, B and C subscribe to message
• Can subscribe on different events

• 6) External join
• Needs data from Z to be
• able to update Y

• 4) External reference
• Multiple Applications needed to satisfy request
• 4A XREF Look-up
• 4B XREF Update

EAI et XML
30
Exemple MS BizTalkServer

• BizTalk Server offre un moyen sophistiqué de
  créer une activité commerciale avec échanges de
  documents XML
• BizTalk Serveur est basé sur .NET, SQL Server et
  les Web Services
• Possibilité de création automatique des documents
  XML suivant une base de donnée existante (vues
  XML)
• Bibliothèque de schémas extensibles (Editor)
• Définition graphiques des mappings (Mapper)
• Support du Business Process Management et de
  transactions longues avec BPEL
• Support des standards de sécurité XML

EAI et XML
31
Exemple de flux dans BizTalk Server
Processus métiers
Orchestration
Port destination
Adresse de réception
SendAdapter
ReceiveAdapter
Mapping
SendPipeline
ReceivePipeline
lttaggt lttaggtlttaggt lttaggt
EAI et XML
32
Les outils de développement
Schémas
Définition des documents métiers
Orchestration
Modélisation du processus métier
Pipelines
Visual Studio .net
Mapping
Analyse des Messages
Transformation des données
EAI et XML
33
Exemple de scénario B2B

• Modélisation d'une activité commerciale
• Process Buyer (acheteur)
• Process Supplier (fournisseur)
• Génération et échange de message XML/SOAP
• Tests et contrôles de la demande de commande par
  lacheteur
• Total lt 1000
• Réception commande et génération facture par le
  fournisseur

EAI et XML
34
Evolution du marché des EAI

• Intégration des services web
• Intégration du  business process management 
• Architectures en bus ESB
• Vers les architectures SOA
• L'évolution d'IBM est typique ...
• Fusion avec les serveurs d'applications ?

• Autres "key-players"
• Tibco
• www.tibco.com
• BEA WebLogic Integration
• www.bea.com
• Oracle Integration Server
• www.oracle.com
• WebMethods
• www.webmethods.com
• Seebeyond
• www.seebeyond.com
• Vitria
• www.vitria.com
• Mercator
• www.mercator.com
• Axway (Sopra)

EAI et XML
35
4. Larchitecture SOA pour le SI

• Service Oriented Architecture Architecture
  Orientée Services
• Système dinformation structuré de manière à ce
  que les différentes ressources (données,
  traitements, processus, infrastructure) soient
  accessibles uniquement par envoi de messages
  normalisés vers leurs interfaces.

SOA
36
Briques de base

• Modélisation des processus métiers
• A partir des Uses Cases avec UML
• Bibliothèque de service déclenchés messages
• Définis par des documents XML stables et
  homogènes
• Implémentation sur de multiples plate-formes
• Hétérogènes, encapsulation de l'existant

SOA
37
Web services et Bus dentreprise

• Des Web Services encapsulant lexistant
• Basés sur les standards WSDL, SOAP, UDDI
• Assure linteropérabilité des composants
• Un bus dentreprise
• Médiateur entre services producteur et
  consommateur
• Backbone pour la fiabilité des messages
• Assure le routage des messages
• Propose un cadre sécurisé
• Couche transport des EAI mais distribuée (P2P)

SOA
38
Enterprise Service Bus (ESB)

• EAI à prises Web services
• Bus de services distribués
• Backbone pour messagerie fiable
• Routage intelligent basé contenu
• Coordination des processus
• Cadre sécurisé
• Transformation XML
• Exemples SONIC, TIBCO

SOA
39
Niveaux de composition de la technique au métier

• Des services gros grains composés en BP

SOA
40
Architecture Fonctionnelle
Outils de Conception
Moteur BPEL
Applications Composites
Processus métiers
Services Métiers et Données
Messages XML Fiables et Sécurisés
Bus Logiciel dEntreprise (ESB)
Plateformes hétérogènes
SOA
41
Bénéfices

• S'appuie sur les standards
• Encapsule la complexité
• Favorise la réutilisation
• Facilite le développement de business process
• Fiabilise les business process
• Simplifie des échanges inter-entreprises
• Sécurise les échanges
• Choix de plate-formes inter-opérables
• .NET
• J2EE

SOA
42
Une méthode de conception intégrée

• Une méthodologie multi-niveaux
• Stratégie du SI dentreprise
• Définition des processus métiers (BP)
• Définition des Web services (WS)
• Encapsulation de modules existants
• Définition de nouveaux services
• Aller retour BP ??WS
• Prototypage et mesures de performance
• Un pont depuis UML
• Cas dusages ?Processus métiers
• Scénarios ? Workflows
• Paquetages ? Web services

SOA
43
Les niveaux de maturité

• Daprès Progress Software Corporation, AmberPoint
  Inc., BearingPoint, Inc., Systinet Corporation.

Business process optimisés Business
process mesurés Business process Modélisés Serv
ices architecturés Services initaux (fonctional
ités)
SOA
44
SOA Ce quil ne faut pas faire

• Partir totalement des applications existantes
• Encapsulation parfois lourde et service mal
  taillé
• Refaire totalement les applications existantes
• Réfaction coûteuse faisant perdre ce qui marche
  bien
• Développer de nombreux services Web
• Granularité et réutilisation sont les objectifs,
  pas le nombre
• Sappuyer sur un pare-feu XML pour la sécurité
• Solution lourde et insuffisante pour trapper les
  attaques
• Ne pas user trop des attachements binaire SOAP
• Compatibilité et évolution difficile
• Utiliser trop ou pas assez doutils mal évalués
• Difficultés intégration et performance les
  benchmarks manquent

SOA
45
Quelques produits labellisés SOA

• Axway Axway Synchrony
• Progress Software Sonic ESB TIBCO TIBCO
  ActiveMatrix
• BEA Aqualogic Service Bus
• Casewise SOA Accelerator
• Information Builders/iWay Software  iWay SOA
  Middleware
• Oracle Oracle SOA Suite
• SAP Sap Netweaver
• Software AG suite Crossvision
• webMethods webMethods Fabric
• Obeo  Acceleo

• Open sources
• JBoss ESB
• Open ESB
• ServiceMix
• Mule
• PEtALS Consortium ObjectWeb
• Intalio

SOA
46
Exemple de Produits IBM WebSphere

• Business Modeler
• Modélisation des processus
• Rational Architect
• Modélisation des composants (WS) et messages
• Integration Developer
• Développement du code
• ESB, Process Server
• Déploiement et exécution
• Business Monitor
• Monitoring et surveillance

SOA
47
Quel futur pour SOA ?

• De nombreux projets, peu de recul
• SNCF
• Impôts
• 94 en France (2006) avec IBM
• Sonic mentionne de multiples projets aux USA
• Les outils sont là
• Manque de méthodologie claire mais en progrès
• Une nouvelle approche pour les SI
• Modularité
• Interopérabilité
• Couplage lâche
• Sécurité

SOA
48
5. Le Commerce B2B avec XML

• Reprise des objectifs de l'EDI
• Rationaliser les flux d'information de
  l'entreprise
• Optimiser les approvisionnements
• Supprimer les doubles saisies manuelles
• Améliorer la traçabilité des produits
• Permettre une réactivité plus forte des
  organisations
• Assurer une meilleure flexibilité et qualité de
  service
• Utiliser Internet et les échanges XML
• Réduction des coûts
• Support de standards
• Démocratisation de l'EDI

B2B
49
Marché du B2B sur Internet

• Monde
• 800 milliards en 2002
• 12 trillons en 2006
• Europe
• 150 milliards en 2002
• 2,2 trillons en 2006
• 22 du business
• D'après Forrester Research.

B2B
50
Composants dune plateforme déchanges BtoB

• Interface avec le système dinformation de
  lentreprise
• Peut sappuyer sur un EAI
• Traduction des données
• Mise au format EDIFACT, XML,
• Gestion des messages
• Réseau déchange RVA, Internet, 
• Garantie de service et sécurité dans les
  échanges.
• Gestion des processus métiers
• Enchainement des traitements distribués
  (séquence, parallélisme)
• Gestion de la sécurité
• Trace, confidentialité, archivage 
• Reporting et tableaux de bord

51
Architecture type (EDI-XML)
Fournisseur
Internet
Donneur d'ordre
Serveur d'échange
Navigateur
Message XML
SYS.
INFO.
EDIXML
EAI
Sécurité
Formulaires
B2B
52
Apports de XML

• Prise en compte de messages  standardisés 
• Transactions sur catalogue (cXML, xCBL, UBL )
• Cadres pour la composition (Rosettanet, ebXML,
  .)
• Description des partenaires et artifacts
• Références des partenaires (annuaires)
• Description des messages et processus (registres)
• Gestion des processus déchanges
• Modélisation par workflows (BPEL, BPSS )
• Orchestration des messages (EAI)
• Garantie de sécurité
• Utilisation de messages cryptés, signés,

B2B
53
Quelques dialectes B2B
Nom Description Organisation
cXML Catalogue électronique et transactions Ariba
xCBL Business components Pour commerce sur catalogue (product,catalog,...) Commerce One, ... http//www.xcbl.org
UBL Librairie de business documents (purchase orders, invoices, etc.) OASIS
RosettaNet Cadre XML pour l'industrie et référentiel de formats PIP Partner Interface Process Consortium CommerceNet
OAGIS Formats de messages pour les contenus (catalogues,livraison,.) OAG (Open Application group)
FIX Formats de messages pour données financières (trading) De facto standard http//www.fixprotocol.org
B2B
54
Exemple FIX (Finance)
B2B
55
Autres Protocoles

• Santé
• HL7 Gestion du Patient diagnosics,
  traitements, prescriptions, etc.
• http//www.hl7.org
• Banque et Marchés Financiers
• IFX - Interactive Financial Exchange trades,
  banque, transactions client, etc.
• http//www.ifxforum.org
• SWIFT
• http//www.swift.com
• Assurance
• ACORD Gestion des Polices Indemnités,
  réclamations, etc.
• http//www.acord.org
• Distribution
• IXRetail Inventaire, transactions client, et
  gestion des employés
• http//www.nrf-arts.org
• Business to Business cross-industrie (y compris
  Gouvernement)
• UBL Transactions B2B Factures, Commandes,
  statut inventaire, etc.

B2B
56
UBL de l'OASIS

• Order, LineItem, Party, Item, Deliverery, ...

B2B
57
Nécessité d'ouvrir les protocoles

• Beaucoup de protocoles sont disponibles
• DTDs XML et schemas XML, Business Process
• Tout business doit pouvoir commercer avec tout
  autre business
• Nécessité d'étendre ou spécialiser des messages
• Nécessité de définir des nouveaux messages
• Respecter un guideline (comme EDIFACT)
• Intitiative ebXML
• Protocoles ouverts
• Architecture de référence

B2B
58
XML for e-business ebXML

• Mission
• "To provide an open XML-based infrastructure
  enabling the global use of electronic business
  information in an interoperable, secure and
  consistent manner by all parties."
• Supporté par UN/CEFACT (EDIFACT) et OASIS
• Résultats
• Architecture patronnée par 850.000 entreprises
• Groupes de travail et spécifications associées
• OASIS Infrastructure
• UN/CEFACT Sémantique
• Quelques applications et outils  conformes .

ebXML
59
Les groupes de travail

• La pile de travail
• OASIS
• Infrastructure de communication (Messaging)
• Référentiel et annuaires de documents (Registry)
• Recherche d'agréments entre partenaires (CPA)
• UN/CEFACT
• Librairie de vocabulaires XML (Components)
• Business Process Modeling Language (BPSS)

ebXML
60
Architecture fonctionnelle
I M P L E M E N T A T I O N
DECOUVERTE et ECHANGES
ebXML
61
Des dialectes ouverts

• Spécifications de composants de base
• Exemples Adresse, Référence client, etc.
• Peuvent être spécifique dun domaine (santé,
  etc.)
• Stockés en  core library 
• Assemblage pour un business
• Définition des objets et processus du business
• Stockage en référentiel (repository)
• Possibilité dutiliser UML
• Pour assembler les  core components 
• Pour générer les schémas XML

ebXML
62
Exemples de  Core Components 
ebXML
63
Où va ebXML ?

• Des comités productifs
• Business Process
• Core Components
• Collaboration Protocol
• Messaging
• Registry / Repository
• Implementation
• Quelques outils open source
• Repository
• Quelques protocoles de base
• UBL

ebXML
64
6. Bilan Business Integration

• Intégration de données
• BD fédérées via XML
• Support de XQuery et/ou SQL/XML
• Intégration dapplications
• EAI XML et Web Services
• Business Process et SOA
• Support de BPML
• B2B
• Protocoles ouverts standards
• Plate-forme ouverte B2B en perspective
• Intégration des web services (UDDI, SOAP et BPEL)

• Questions ?

Bilan