Sistemes d'Informació a les Organitzacions: Introducció al Data Warehousing

Sistemes d'Informació a les Organitzacions

Introducció al Data Warehousing

UNIVERSITAT
ROVIRA i VIRGILI

AGENDA

0 1 Introducció
0 2 BBDD Estratégica
0 3 Eines OLAP

INTRODUCCIÓ

· Les empreses es troben a diari en un escenari
de competencia.
· Necessiten sistemes, tècniques i metodologies
que els permetin:
✓
Incrementar els seus ingresos i beneficis
Millorar el servei als clients
✓
Millorar el seu posicionament al mercat

1,538.70 58.9
0.01 -0KJ
7482
19,5G FLOW
15H48
04
03
02

INTRODUCCIÓ a la Business Intelligence

5
5
BUSINESS
INTELLIGENCE
· Es dediquen esforços a
desenvolupar la Business
Intelligence
· Per assolir aquests
objectius es fixen en la
importància de tota la
informació al seu abast.
?
Quina creieu que és la
informació que tenen al seu
abast i on l'emmagatzemen?
Ventes - Logística - RRHH -
Economia
BASES OPERATIVES

INTRODUCCIÓ: BD Operatives

· Les bases de dades operatives estan
orientades a:
· Executar les operacions quotidianes de les
empreses (transaccions)
· l'Eficiencia del processament
· Reducció de la redundancia
· Centralització de l'administració
–
Seguretat
–
Control d'accés
–
. ..

INTRODUCCIÓ: ODBMS - OPCIONS PRINCIPALS

Figure 1: Magic Quadrant for Cloud Database Management Systems
CHALLENGERS
LEADERS
Amazon Web Services
Microsoft
Google
Oracle
Alibaba Cloud
MongoDB
Databricks
InterSystems
Snowflake
IBM
SAP
Teradata
Cloudera
Microsoft®
SQL Server®
Redis
EDB
Cockroach Labs
Neo4j
Couchbase
Yugabyte
NICHE PLAYERS
VISIONARIES
COMPLETENESS OF VISION
As of December 2023
Gartner, Inc
ORACLE
amazon
web services
ABILITY TO EXECUTE
Source: Gartner
https://www.gartner.com/en/research/methodologies/magic-quadrants-research

BD ESTRATÈGICA

· Una base de dades estratégica és
aquella sobre la que es duen a terme
anàlisis i estudis.
· Coneguda com Data Warehouse
(Magatzem de dades).
· Es nodreix de les dades de les BBDD
operatives (Màrqueting, Ventes ... ) i
d'altres dades externes
· L'objectiu és transformar la informació
en accions i idees útils per incrementar
la productivitat del negoci
J

BD ESTRATÈGICA: Integració de Dades

· Un Data Warehouse ens permet integrar dades corporatives
procedents de diverses fonts.
· Integra dades en un únic magatzem que el gerents/managers
poden analitzar i consultar per a prendre decisions.

BD ESTRATÈGICA: Definició de W.H. Inmon

· Una primera definició
Data Sources
Operational
-
Data
Operational
Reporting
Flat Filo
<< Un Data Warehouse és un conjunt
de dades integrades orientades a una
matèria, que depenen del temps i són
no volàtils.
Donen suport al procés de presa de
decisions d'una administració >>
W.H. (Bill) Inmon (1990)
Enfoc Top-down

BD ESTRATÈGICA: Definició de Ralph Kimball

· Una altra definició
Chers
Sales
HR
Denessional
Duta
Finance
m
Barking
Transaction
Applications
Data mart
within
data warehouse
<< Un base de dades estratégica és
una copia de les dades de les
transaccions, específicamente
estructurada per a consultes i
anàlisis. >>
Ralph Kimball
Enfoc Botton-up

BD ESTRATÈGICA: Característiques

· Características destacades d'una BBDD Estratégica:
v És un magatzem de dades independents dels sistemes de
bases de dades operatives i de les aplicacions operatives
existents
v Utilitza dades provinents de diverses fonts (internes i
externes a la organització)
v Permet realitzar consultes adreçades a la presa de decisions
Les dades contingudes en un DW constitueixen la historia
detallada dels negocis d'una empresa i (per exemple) la seva
relació amb els clients (en determinats àmbits, o fins i tot, en
el seu conjunt)

BD ESTRATÈGICA: Usos i Aplicacions

· Usos i aplicacions:
· Els usos i aplicacions d'un DW depenen del tipus de necessitats i
capacitats creatives que tinguin els usuaris de la informació.
· ¡ Un DW no es compra es construeix !
APLICACIONS
Gestió de
relacions
amb clients
Administració
estratégica
Anàlisi de
rendiment
de clients
Administració
de bens
corporatius
DW
Planificació
Finances
Comercialització
Logística
FUNCIONS
Quan és millor visitar un client?
: En quin sector hauria d'invertir?
* Quins clients/segments hauria
d'atacar?
Puc reduir despeses associades
als meus edificis (llum, aigua,...?

BD ESTRATÈGICA vs OPERATIVA

BBDD Estratégica
BBDD Operativa
Processament d'informació Historica
Processament del dia-a-dia
Usada per executius
Usada per administradors, DBAs
Permet Analitzar el negoci
Permet Portar el negoci
Centrat en extreure info.
Centrat en les dades d'entrada
Dades resumides/consolidades
Dades molt detallades
Usa un model multidimensional
Típicament usa un model relacional
Centenars d'usuaris
Escala a milers d'usuaris
100Gb - 100Tb
100Mb - 100GB
Orientada a la flexibilitat
Orientada a l'alt rendiment

BD ESTRATÈGICA: Model de 3 Capes

La BBDD estratégica en el model de 3 capes
Presentació
Negoci
Dades
BBDD
Operativa
EFFFF FFFA
Clients
BBDD
Operativa
Servidor
WEB
Servidor
BBDD
Dades
Externes
DATA
WAREHOUSE

BD ESTRATÈGICA: Funcions i Utilitats

· Funcions de les eines i utilitats d'un DW
V
Extracció de dades
Neteja de dades (cleaning)
v Transformació de dades
Carrega de dades (Loading)
y Actualització de dades (Refreshing)
ETL -Extract, Transform, Load

BD ESTRATÈGICA: L'arquitectura

Operational System
Olap Analysis
ETL
Metadata
ERP
Extraction,
Transformation,
Loading
Reporting
Summary
Data
Raw data
CRM
Data Warehouse
Flat
Files
Data Mining

BD ESTRATÈGICA: Emmagatzematge de Dades

· Com guardem les dades
al DW?
Data
Information
Decision
0
Data
Dippers
Operational
Data
A
External
Data
2040 242400₾
N
Detailed
Information
Summary
information
Meta
Data
DMOPZEE <DmcO
OLAP
Tools
Warehouse Manager
Detailed Information In
Archive Media

OLAP

· OLAP: On-line analytical processing, és una aproximació
d'organització i explotació de dades que busca agilitzar el
procés de resposta a consultes multidimensionals sobre
grans volums
· N'hi ha de diversos tipus
· OLAP Relacional (ROLAP)
· OLAP Multidimensional (MOLAP)
· OLAP Híbrid (HOLAP)

OLAP: Eines

Consolidació (roll-up)

· A OLAP podem realitzar
principalmente tres tasques:
1. Consolidació (roll-up)
· Agregació de dades que
poden ser agrupades i
acumulades en múltiples
dimensions (p.e. passem
de ciutat a pais, regió,
etc ... )
· JERARQUIA!
Locations
(countries)
2000
USA
Canada
Q1
1000
Time
(Quarter)
Q2
Q3
Q4
Mobile Modem Phone Security
item(types)
roll-up on location
(from cities to
countries)
Chicago
440
New York
1560
Toronto
39
Vancouver
Q1
605
825
14
400
(Quarter)
Q2
Time
Q3
Q4
Mobile Modem Phone Security
item(types)
Locations
(cities)

Aprofundiment (drill down)

2. Aprofundiment (drill
down)
· Obtenció de detalls -
Invers al roll up.
· JERARQUIA!
Locations
(cities)
Chicago
440
New York
1560
Toronto
395
Vancouver
Q1
605
825
14
400
(Quarter)
Q2
Time
Q3
Q4
Drill down on
time(from
quarters to month)
Mobile Modem Phone Security
item(types)
Locations
(countries)
Chicago
440
New York
1560
Toronto
395
Vancouver
January
150
February
100
March
150
April
May
June
July
August
September
October
November
December
Mobile Modem Phone Security
item(types)
Time (months)

Divisió (Slicing & Dicing)

3. Divisió (Slicing & Dicing)
· Segmentació de les dades
per dimensions i
características
Region 1
Region 2
Region 3
Product 3
Region 4
Product 2
Region 5
Product 1
Day 1 Day 2 Day 3 Day 4

OLAP: Models

Hi ha diversos models
· Model en cub
· Model en estrella
· Model en floc de neu
· Model mix
Region 1
TAIA.CE HRO-0
Region 2
Region 3
Product 3
Region 4
Product 2
Region 5
Product 1
Come: FLOAT
0 Edad: 2-09/200
@ Pici: BATE
PW DATE
Day 1 Day 2 Day 3 Day 4
Der Marca
@ Nonbre: MARCHA1549
Can Sub Category
Nonbre: WARC-10/50)
@ Pres: FLOAT
+ fecha: DATE
O NON INTEGER
· Profundidad INTEGER
triestre: MEGER
Dwa Categoria
TABLA DE HECHOS
robata: INTEGR(%)
Countryion Cliente
@ Direccion_T: WAPCHAR(100)
@ Direccion_2: KARICHAR(100)
@ Locandad WAR-[70)
Dinenson_Promocion
@ 050000 INTEGER
V &Ders: INT
@ Edad_Incial 247
@ Cats: FLOAT
@ Edad Pind: INT
· Inicio: DATE
FI DATE
Dos: RCAT
The DATE
@ Dirección_JI WHO-AA(0)
Direcoon _?: MA:0-81300)
@KSVONICENI INTEGO
· Mowa MEGR
Anchun INTOGOR
7 .*
· PRACOI DOUBLE

OLAP vs OLTP

OLTP
On-line TRANSACTION Proce.
Informació detallada
Permet fer operacions
Necessita dades detallades
· Treballa sobre un únic conjunt de
dades de forma simultània
eficientment
Usa un model relacional
OLAP
. On-line ANALYTICAL Proce.
· Imatge global
· Permet fer anàlisis
· Necessita dades agregades
· Avalua múltiples conjunts de
dades de forma simultània
eficientment
· Usa un model multidimensional
Optimitza els INSERTS
Optimitza els SELECTS

CONCLUSIÓ - RESUM

SMS
SMB
C
Necessitat d'entendre les
dades
Creació de Data Warehouses
infographics
Anàlisi de les Dades (OLAP)
Informació útil de negoci
-susana.prado@inetum.com
i