Técnicas avanzadas de predicción en negocios y aprendizaje automático

Aprendizaje Automático

Jose M. Pavía¿Qué es el Aprendizaje automático (ML)? Definición, Susan Athey (2019): " ... [M]achine learning is a field that develops algorithms designed to be applied to datasets, with the main areas of focus being prediction (regression), classification, and clustering or grouping tasks."

Los problemas de ML se pueden agrupar en tres (cuatro) categorías:

• Aprendizaje Supervisado.
• Aprendizaje No-Supervisado.
• Aprendizaje Semi-Supervisado.
• Aprendizaje Reforzado.

Athey, S. (2019) "The impact of machine learning on economics". In The Economics of Artificial Intelligence: An Agenda. University of Chicago Press.Un mapa de ML centrado en problemas

Meaningful Compression Structure Discovery Image Classification Customer Retention Big data Visualistaion Dimensionality Reduction Feature B'eitation Idenity Fraud Dececcion Classification Diagnostics Recommender Systems Unsupervised Learning Supervised Learning Advertising Popularity Prediction Weather Forecasting Clustering Regression Targetrod Marketing Machine Learning Population Growth Prediction Market Forecasting Customer Segmentation Estimating life expectancy Real-time decisions Game Al Reinforcement Learning Robot Navigation Skill Acquisition Learning Tasks Source: Caspi (2019). Basic Machine Learning ConceptsUn par de mapas de ML centrados en técnicas

Machine Learning Supervised Learning Unsupervised Learning Reinforcement Learning Data with label Data without label State and action A. Classification A. Clustering Kernel SVM Mapping Function Symmetric Hierarchical Kernel Trick Orthogonal Matrix Property Dimensionality Reduction Singular Variance-Bios Bagging Inductive Bios Diagnosing Model Random Forest - Email spam detection - Identifying fake news 2. Given the Model - Document analysis Type 1,2 Error Accuracy Weight Decay Trade Off Presicion Machine Learning Dropout Layer F1 Score Recall Training Github @ graykode Regularization Normalization Batch Validation Linear Regression Logistic Regression Weight Test logits Sigmoid Regularized Google ML Term From Gerneative to Discriminative Proof Activation Function tanh Ridge(L2) ReLU - Market basket analysis - Strock market prediction - Rainfall prediction C. Dimensionality Reduction C.1. Feature Extraction Principal Component Analysis C.2. Feature Selection 1. Wrapper 2. Filter 3. Embedded Mathod Example - Analysis of written texts and DNA microarray data. Machine Learning: Mind Map KNN Algorithm Kernel PCA Lagrangian approach Primal Problem PCA KKT Condition Duolity Dual Problem Idempotent Eigen Vector C-SVM Square Matrix Eigen Decomposition 1. Logistic Regression 1. K-means 1. Q-Learning 2. Naive Bayes Classifier 2. K-median 2. Hybrid 3. K-Nearest Neighbor 3. Hierarchical clustering - Multi-agent System 4. Support Vector Machine 4. Expection Maximization - Motion Planning - Navigation Example Example 1. Learn the Model - Speech Recognition Ensemble Confusion Matrix Score Training B. Regression B. Association Analysis 1. APRIORI 2. Ridge Regression 2. Eclat 3. ordinary least squares 3. FP-Growth regression 4. Stepwise regression Example Maximize Likelihood is Minimize Cross Entropy Proof Leakly ReLU Elastic Net(L1+L2) NAG Taylor Series Proof PRELU Optimization Gradient Descent ELU RMSProp SGD(b=1) Learning Rote Jensen's inequality Representation Learning Adam Backpropagation Proof Nodom Gradient Vanishing & Exploding Proof MACHINE LEARNING INDIA - @ML.INDIA Convex Function Frobenius Norm Norm Adagrad Maxout AdaDelta Finite Difference Method Projection Spectrol Determinant Eigen Value SVD SOM Pational K-means SVM Clustering B. Model-Based AdoBoost Non-Probabilistic AUCROC Early Stopping Data Splitting 1. Linear Regression k-fold cross validation MSE Example LASSO(L1) Momentum Instonce-based Learning A. Model-Free Example 3. Policy optimization

Aprendizaje No Supervisado

En aprendizaje no supervisado, los objetivos suelen ser: reducir dimensionalidad, etiquetar ejemplos o agrupar objetos.

Ejemplos de Algoritmos de Aprendizaje No Supervisado

• Principal component analysis.
• K-means clustering, hierarchical clustering.
• Latent Dirichlet Allocation model.

Ejemplos de Aplicaciones de Aprendizaje No Supervisado

• Cluster analysis.
• Anomaly detection.
• Topic modelling.

Aprendizaje Reforzado (RL)

Definición, Sutton and Barto (2018): "Reinforcement learning is learning what to do-how to map situations to actions -so as to maximize a numerical reward signal. The learner is not told which actions to take, but instead must discover which actions yield the most reward by trying them."

Principales Componentes de una Aplicación de RL

• Agente(s).
• Un ecosistema/contexto/entorno.
• Una estrategia.
• Una función de pagos.
• Un modelo para el entorno.

Ejemplos de Aplicaciones de RL

• Juegos (e.g., Ajedrez, AlphaGo, ... ).
• Coches autónomos.

Sutton, R.S. & Barto, A.G, (2018) Reinforcement Learning: An Introduction. MIT Press, Cambridge.

Aprendizaje Supervisado

En aprendizaje supervisado, el objetivo es aprender una función que dada una entrada (X) genera una salida (Y) basándose en ejemplos de pares entrada-salida. Una gran mayoría del aprendizaje automático práctico utiliza aprendizaje supervisado. Y= f(X) + & El objetivo es aproximar la función, f (X), tan bien que cuando tenga nuevos datos de entrada (X, nuevos), pueda predecir con precisión las variables de salida (Y) para esos datos. Se llama aprendizaje supervisado porque el proceso de aprendizaje de un algoritmo a partir del conjunto de datos de entrenamiento se puede considerar como un maestro que supervisa el proceso de aprendizaje. Los algoritmos de aprendizaje supervisado están diseñados para aprender mediante ejemplos. Los problemas de aprendizaje reforzado pueden ser agrupados en problemas de clasificación y problemas de regresión (predicción).

Ejemplos de Algoritmos de Aprendizaje Automático

• Linear, logistic and kernel smoothing regression (1805, 1958, 1960s), with regularization (1970s).
• K-Nearest neighbors (1967).
• Decision and regression trees (1984).
• Naïve Bayes, Bayesian Networks (1980s, 1990s).
• Neural Networks (1940s, 1970s, 1980s, 1990s, 2000s).
• Support Vector Machines (1990s).
• Simulation-based methods (boosting (1990), bagging (2001), Random forests (2001)).
• ...

Aprendizaje Semi-Supervisado

En el aprendizaje semi-supervisado, se combinan pequeñas cantidades de datos etiquetados y una gran cantidad de datos no etiquetados durante el proceso de entrenamiento. El aprendizaje semi-supervisado explota las ventajas de ambos enfoques para mejorar los modelos predictivos y los algoritmos de clasificación.

Ejemplos de Aplicación de Aprendizaje Semi-Supervisado

• Clasificación de textos.
• Clasificación de clientes a partir de muestras de clientes.

Ejemplo de Algoritmo de Aprendizaje Semi-Supervisado

• Adversarial training, que se basa en introducir ruido en los ejemplos para generalizar el modelo y hacerlo más robusto.

Aprendizaje Automático y Estadística

statistics Artificial intelligence Machine Learning The "two cultures" (Breiman, 2001): · Los estadísticos asumen un proceso de generación de datos y tratan de inferirlo (aprender sobre él) utilizando datos (parámetros, intervalos de confianza, supuestos, ... ). · Los científicos de datos tratan el mecanismo de datos como desconocido y tratan de predecir o clasificar con la mayor precisión. En realidad ambos grupos hacen ambas cosas.

Breiman, L. (2001) Statistical Modelling: The Two Cultures. Statistical Science, 16, 199-231.

Definiendo un Proyecto de Negocio

project understanding revise objective data understanding What data do we have available? Is the data relevant to the problem? Is it valid? Does it reflect our expectations? Is the data quality, quantity, recency sufficient? partially does data no suit problem? cancel project yes data preparation Which data should we concentrate on? How is the data best transformed for modeling? How may we increase the data quality? modeling What kind of model architecture suits the problem best? What is the best technique/method to get the model? How good does the model perform technically? technical quality improvable? likely revise objective y unlikely evaluation How good is the model in terms of project requirements? What have we learned from the project? partially business objective achieved? no close project success deployment How is the model best deployed? How do we know that the model is still valid? What exactly is the problem, the expected benefit? How would a solution look like? What is known about the domain? Source: Berthold et al. (2020). Guide to Intelligent Data Science.

Construyendo un Modelo de ML: Pre-procesado

BUILDING THE MACHINE LEARNING MODEL Initial Dataset Exploratory Data Analysis Input variables Output variable 1 PCA SOM 1 Data curation Remove redundant features x. x. x, x, x Y 0.1 5.2 2.1 0.2 2.4 A 0.2 4.9 1.9 0.1 3.1 A Pre-processed Dataset 5.1 48 1.9 1.2 6.1 B Data splitting 80% SVM DL -> Learning algorithms GBm use as Test set Hyper parameter 1 optimization MCC Feature Selection Specificity Sensitivity RMSE K Accuracy · MSE 1 Cross - Validation Model Trained Model Classification Regression 1 By: Chanin Nantasenamat DATA PROFESSOR Predicted Y values Evaluate Madel Performance Initial Dataset Input variables Output variable 1 x, x, x, x, xY 0.1 5.2 2.1 0.2 2.4 A 0.2 4.9 1.9 0.1 3.1 A 5.1 48 1.9 1.2 6.1 B Limpieza de datos: · Clases variables · Subconjunto top-k · Backward- and forward- selection . Correlaciones · Varianza · Missing · Componentes principales • .. Transformación de variables: · Tipificación. · Normalización (Box-Cox, ... ). • ... Exploratory Data Analysis PCA SOM Data cleaning Data curation Remove redundant features Pre-processed Dataset Selección de variables: · Coherencia · Restricciones • … Valores ausentes: · Proceso generador · Imputación • ... Outliers. 20% use as Training set RF DT KNN R2 Data cleaning

Prediciendo con Mínimos Cuadrados y Vecinos Más Próximos

Linear Regression of 0/1 Response 15-Nearest Neighbor Classifier 1-Nearest Neighbor Classifier O O 8.90 0 O O O O O O O O 00 O O 0 O 0 O O 0 O O 0 0 0 O O 0 O O O O O 0 O O 0 O O O 0 c 0 0 000 800 O O O O O O O O O O O O O 0 0 O 0 O O 0 O O 0 O O 0 0 0 0 O 0 O O O G O O O A 0 O O O O 00 of 0 O C Source: Berthold et al. (2020). Guide to Intelligent Data Science. O 0