Richiami di Machine Learning Parte 1, Università Guglielmo Marconi

Richiami di Machine Learning

Marconi

Richiami di Machine Learning Parte 1 & & 01010101011010 -GSM-HSDPA -·· 10110101001010 010101010 li Studi G

Argomenti

1. Artificial Intelligence: definizione e percorso storico
2. Machine Learing. definizioni, percorso storico e finalità
3. Modalità di apprendimento
4. Classi di problemi cui applicare il ML
5. Supervised Learning (SL) e Unsupervised Learning (UL)
6. Deep Learning (DL): definizione ed ambiti di applicazione
7. Principali tools software per l'implementazione di algoritmi di ML
8. Ciclo di vita delle applicazioni di ML
9. Formalizzazione del concetto di modello di ML

2 UKvelarconi

Obiettivi della lezione

• Obiettivo della lezione è di fornire ai partecupanti le conoscenze fondamentali per formalizzare ed impostare la soluzione di semplici ma indicativi problemi sotto forma di algoritmi di Machine Learning (ML). L'impostazione degli argomenti è basata sul giusto compromesso tra rigore teorico e finalizzazione pratica orientata a consentire l'implementazione di algoritmi di ML mediante la piattaforma tecnologica adottata nel corso. A tal fine:

1. il ML verrà contestualizzato all'interno della più ampia disciplina della Artificial Intelligence (AI), illustrandone anche il percorso storico;
2. verranno studiati i fondamenti del ML dal punto di vista sia applicativo che matematico;
3. verranno analizzati i principali paradigmi algoritmici offerti dal ML;
4. verrà svolta una panoramica delle più diffuse tecniche di ML e delle classi di problemi cui esse si applicano;
5. verranno indicati i tools di ML più diffusi sul mercato.

3

Artificial Intelligence

• La Artificial Intelligence pur essendo studiata oramai da decenni, permane tuttavia uno degli ambiti meno consolidati della Computer Science, principalmente a causa della numerosità dei suoi campi di applicazione, spesso estremamente diversi tra di loro.
• Le origini della AI risalgono, verso la fine della seconda guerra mondiale, ad un articolo dal titolo As We May Think scritto nel luglio 1945 da Vannevar Bush per la rivista The Atlantic Monthly. Bush era a quel tempo direttore dell'Office of Scientific Research and Development , l'organismo che controlla il Progetto Manhattan.
• Bush introdusse un nuovo modo di concepire i sistemi informatici (al tempo primordiali) avviando la riflessione su come la tecnologia nel futuro avrebbe potuto aiutare l'uomo a migliorare la sua conoscenza. Il titolo è un riferimento al filosofo e pedagogista John Dewey, autore di How We Think nel 1910.

4 UniverMarconi

Artificial Intelligence: il Memex

66 ... Consider a future device for individual use, which is a sort of mechanized private file and library. It needs a name, and, to coin one at random, "memex" will do. A memex is a device in which an individual stores all his books, records, and communications, and which is mechanized so that it may be consulted with exceeding speed and flexibility. It is an enlarged intimate supplement to his memory .... [A]ssociative indexing, the basic idea of which is a provision whereby any item may be caused at will to select immediately and automatically another, [is] the essential feature of the memex. The process of tying two items together is the impor thing .... AS WE MAY THINK A TOP U.S. SCIENTIST FORESTES A POSSIBLE FUTURE WORLD IN WHICH MAN-MADE MACHINES WILL START TO THINK

5 Studi Gugs

John McCarthy: Definizione di AI

John McCarthy: What is Artificial Intelligence? Definizione: AI is the science and engineering of making intelligent machines, especially intelligent computer programs. It is related to the similar task of using computers to understand human intelligence.

• AI features: - Thinking humanly Thinking rationally – - Acting humanly – Acting rationally John McCarthy, computer scientist: known as the father of AI. He coined the term Artificial Intelligence in 1956, holding his first academic conference on the subject. He won the Turing Award in 1985. He was born in Boston, Massachusetts, on September 4th, 1927; died in Stanford, California, in October 2011.

6 UKvýarconi

The Turing Test

• Alan Turing (1912 - 1954), in 1950 wrote the article Computing Machinery and Intelligence in which he discussed conditions for considering a machine to be intelligent.
• He argued that: if the machine could successfully pretend to be human to a knowledgeable observer then you certainly should consider it intelligent.
• The Turing test is a one-sided test. A machine that passes the test should certainly be considered intelligent, but a machine could still be considered intelligent without knowing enough about humans to imitate a human.

7

Origini del Machine Learning

• Arthur Samuel (1901-1990) was a pioneer of artificial intelligence research. His vehicle for this was the game of checkers. "the field of study that gives computers the ability to learn without being explicitly programmed".
• Tom M. Mitchell, Machine Learning Department, School of Computer Science, Carnegie Mellon University , Pittsburgh, Pennsylvania. "A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E".

8 UKivGenerace arconi

Machine Learning: una definizione

• In generale l'apprendimento consiste nel processo di conversione dell'esperienza in conoscenza.
• Con riferimento al computer, il ML, particolare campo della AI, si pone l'obiettivo di realizzare software che sia in grado di apprendere dai dati di input, senza necessità di aggiornare tale software di volta in volta.
• Secondo la definizione rigorosa di T. M. Mitchell, affinché si possa parlare di apprendimento da parte di un programma software occorre che siano formalmente definiti: - l'esperienza di addestramento (training experience) E; - l'insieme dei tasks T; - la misura delle performance P.

9 Studi GuglielAs

Problemi risolvibili mediante Machine Learning

Gioco degli scacchi

• Training Experience E: giocare di nuovo partite già svolte da giocatori reali oppure giocare contro se stesso.
• Task T: giocare nuove partite contro giocatori reali.
• Misura di performance P: percentuale di partite vinte durante l'esecuzione dei tasks T, cioè contro giocatori reali.

Riconoscimento di numeri scritti manualmente

• Training Experience E: riconoscimento di numeri già noti.
• Task T: riconoscimento di numeri incogniti.
• Misura di performance P: percentuale di nuovi numeri riconosciuti. -

10

Problemi risolvibili mediante Machine Learning: Immagini e Caratteristiche

Riconoscimento di immagini

• Training Experience E: riconoscere immagini già classificate.
• Task T: tentare di classificare nuove immagini.
• Misura di performance P: percentuale di immagini correttamente classificate.

Ricerca di caratteristiche simili

• Training Experience E: non applicabile.
• Task T: clustering delle osservazioni.
• Misura di performance P: metriche di natura geometrica.

11 Studi Guglielmo Marconi

Problemi risolvibili mediante Machine Learning: Previsioni e Difetti

Previsioni metereologiche

• Training Experience E: classificare situazioni passate già note.
• Task T: prevedere nuove situazioni metereologiche.
• Misura di performance P: percentuale di situazioni previste correttamente.

Riconoscimento di difetti (anomalie) di produzione

• Training Experience E: non applicabile.
• Task T: riconoscimento di prodotti realizzati con parametri produttivi anomali rispetto ai precedenti.

Misura di performance P: percentuale di casi correttamente stimati.

12 UKiveLearning Paradigms

Learning Paradigms

• L'estrema ampiezza del campo dell'apprendimento impone che il ML sia specializzato in funzione del campo di applicazione.
• Il processo di apprendimento avviene mediante interazione da parte dell'agente «learner» con l'ambiente circostante «teacher».
• Esistono pertanto, a seconda del tipo di interazione tra learner e teacher, diversi learning paradigms, lo studio dei quali consente di definire una tassonomia del ML, basata sulle seguenti caratteristiche: - Supervised versus Unsupervised Learning; - Active versus Passive Learners; - Online versus Batch Learning Protocol.

13 Studi Guglielnaar marconi

Supervised versus Unsupervised Learning

Definendo in generale il processo di apprendimento come «utilizzare l'esperienza per acquisire competenza», possiamo affermare che:

• l'apprendimento supervisionato consiste nel praticare esperienza su un campione di dati contenente tutte le informazioni significative (tra cui la classificazione della natura delle osservazioni) e nell'applicare la competenza così maturata su nuove osservazioni, in cui le informazioni mancanti devono essere inferite. Quindi in questo caso il teacher (ambiente) è in grado di istruire il learner, fornendogli adeguate informazioni;
• nell'apprendimento non supervisionato l'ambiente è in grado di fornire al learner una ed una sola struttura di features dei dati, quindi il learner non applica un processo di esperienza / competenza, ma può soltanto effettuare delle sintesi o delle aggregazioni (tipicamente clustering).

14 Univegasarconi

Active vs Passive e Online vs Batch Learning

Active versus Passive Learners

Questo tipo di paradigma di apprendimento dipende dal ruolo svolto dal learner. Si parla infatti di active learner quando quest'ultimo interagisce con l'ambiente circostante durante la fase di training, ad esempio inoltrando queries o eseguendo esperimenti. Di contro un passive learner si limita ad osservare le informazioni fornite dall'ambiente, senza alcun intervento che possa influenzare il processo sia di training che di applicazione della competenza acquisita.

Online versus Batch Learning Protocol

Si tratta di processi di apprendimento in cui il learner deve applicare dinamicamente (online) la competenza acquisita fino a quel momento (esempio: broker finanziario), piuttosto che dopo l'elaborazione (batch) di grandi volume di dati.

15

Machine Learning: Problemi e Tecniche

Supervised (target available)

Problems:

• Classification
• Regression
• Fraud Detection
• Pattern Recognition

Techniques (algorithms):

• Linear regression
• Logistic regression
• Decision trees
• Random forests
• Neural networks
• Support Vector Machine
• K-Nearest Neighbors
• Naive bayes

Unsupervised (no target available)

Problems:

• Clustering
• Association rule learning
• Anomaly Detection

Techniques:

• K-means
• Dimensionality Reduction (Principal Component Analysis)

Univer. 16