Μοντέλα σε στοιχηματισμό

[Larry]

Συνεχίζουμε τη συζήτηση για τα μοντέλα εδώ, που ήταν στο θέμα των ιπποδρομιών.

Όπως έλεγα @cosmicsports , υπάρχουν πολλών ειδών τρόποι να προσθέσεις μοντέλα. Εγώ θα πάρω τον απλό, το majority vote. Η πολυφωνία κερδίζει.
Ας υποθέσουμε ότι παίρνουμε 3 μοντέλα που το καθένα έχει ποσοστό επιτυχίας 70%. Αν τα προσθέσουμε όλα μαζί και σε κάθε επιλογή πάρουμε την πλειοψηφία, τότε το μοντέλο αυξάνει το ποσοστό επιτυχίας.
Έστω ότι θέλουμε σε 10 ματς που είναι το σωστό αποτέλεσμα 1. Οπότε στα 10 ματς, κάθε μοντέλο παίρνει 7 άσσους και 3 μηδενικά ως αποτυχία.

Τα a,b,c, είναι τα μοντέλα και το vote είναι η συνολική πρόβλεψη που βγαίνει από την πλειοψηφία. Εκεί πιάνουμε 8 στα 10, απλά προσθέτοντας τις γνώμες των μοντέλων. Είναι μαθηματικά, δεν έχει να κάνει με τίποτα άλλο. Το μόνο που έχεις να επαληθεύσεις είναι αν όντως πιάνεις 7 στα 10 σε όλα τα μοντέλα.
Ψάξε για bagging, boosting, ensemble.

 

[cosmicsports]

Συνεχίζουμε τη συζήτηση για τα μοντέλα εδώ, που ήταν στο θέμα των ιπποδρομιών.

Όπως έλεγα @cosmicsports , υπάρχουν πολλών ειδών τρόποι να προσθέσεις μοντέλα. Εγώ θα πάρω τον απλό, το majority vote. Η πολυφωνία κερδίζει.
Ας υποθέσουμε ότι παίρνουμε 3 μοντέλα που το καθένα έχει ποσοστό επιτυχίας 70%. Αν τα προσθέσουμε όλα μαζί και σε κάθε επιλογή πάρουμε την πλειοψηφία, τότε το μοντέλο αυξάνει το ποσοστό επιτυχίας.
Έστω ότι θέλουμε σε 10 ματς που είναι το σωστό αποτέλεσμα 1. Οπότε στα 10 ματς, κάθε μοντέλο παίρνει 7 άσσους και 3 μηδενικά ως αποτυχία.

Προβολή συνημμένου 29060

Τα a,b,c, είναι τα μοντέλα και το vote είναι η συνολική πρόβλεψη που βγαίνει από την πλειοψηφία. Εκεί πιάνουμε 8 στα 10, απλά προσθέτοντας τις γνώμες των μοντέλων. Είναι μαθηματικά, δεν έχει να κάνει με τίποτα άλλο. Το μόνο που έχεις να επαληθεύσεις είναι αν όντως πιάνεις 7 στα 10 σε όλα τα μοντέλα.
Ψάξε για bagging, boosting, ensemble.

Όχι, στο φινάλε η τύχη αποφασίζει.
Στο φινάλε και Ολυμπιακός - Καστοριά η τύχη αποφασίζει.
Αλλά προσθέτοντας μοντέλα επιτυγχάνεις μιά μικρή πρόοδο σε κάθε βήμα.
Κάπου φτάνεις που είτε είναι ικανό να νικήσει την αγορά, είτε δεν είναι.

 

[Larry]

Όχι, στο φινάλε η τύχη αποφασίζει.

Όχι, δεν αποφασίζει η τύχη. Όταν πεις 70%, είναι 70%. Γι' αυτό τόνισα ότι πρέπει να σιγουρεύεσαι για την αποτελεσματικότητα των μοντέλων σου. Σήμερα θα είναι 68%, αύριο 72%.
Όσο για το παραπάνω παράδειγμα, να προσθέσω ότι υπάρχει και η πιθανότητα να μην είναι καλύτερη η σύνθεση των μοντέλων, στην περίπτωση που και τα 3 μοντέλα προβλέψουν το ίδιο.
Δηλαδή στις ίδιες θέσεις να υπάρχουν μηδενικά και στα 3. Και η πιθανότητα είναι (0,30^3)*3 = 8,1%, αν δεν κάνω λάθος.

 

[cosmicsports]

Όχι, δεν αποφασίζει η τύχη. Όταν πεις 70%, είναι 70%. Γι' αυτό τόνισα ότι πρέπει να σιγουρεύεσαι για την αποτελεσματικότητα των μοντέλων σου. Σήμερα θα είναι 68%, αύριο 72%.
Όσο για το παραπάνω παράδειγμα, να προσθέσω ότι υπάρχει και η πιθανότητα να μην είναι καλύτερη η σύνθεση των μοντέλων, στην περίπτωση που και τα 3 μοντέλα προβλέψουν το ίδιο.
Δηλαδή στις ίδιες θέσεις να υπάρχουν μηδενικά και στα 3. Και η πιθανότητα είναι (0,30^3)*3 = 8,1%, αν δεν κάνω λάθος.

Στην conflation μετράνε και οι συμφωνίες.
Είναι στατιστικό το θέμα.

 

[s-t-x-m-a]

Οταν θελουμε να ορισουμε η εξετασουμε ενα Μοντελο(με καποιες προσθεσεις,η διορθωσεις ισως στην πορεια )θα πρεπει να θεσουμε η ορισουμε τι ορους και στοιχεια θα εχει το Μοντελο.Ετσι αοριστα δεν προκυπτει κατι.
Για παραδειγμα μπορεις να βαλεις μια ψηφοφορια με 5-10-20 ,στοιχεια και να επιλεξουμε καποια απο αυτα η αυτα που θα προτιμηθουν π.χ απο 70% και πανω?

 

[Larry]

Οταν θελουμε να ορισουμε η εξετασουμε ενα Μοντελο(με καποιες προσθεσεις,η διορθωσεις ισως στην πορεια )θα πρεπει να θεσουμε η ορισουμε τι ορους και στοιχεια θα εχει το Μοντελο.Ετσι αοριστα δεν προκυπτει κατι.
Για παραδειγμα μπορεις να βαλεις μια ψηφοφορια με 5-10-20 ,στοιχεια και να επιλεξουμε καποια απο αυτα η αυτα που θα προτιμηθουν π.χ απο 70% και πανω?

Φυσικά θα επιλέξεις τα καλύτερα Χ μοντέλα που παίζουν από κάποιο ποσοστό και πάνω.
Αν έχω ένα μοντέλο με 90%, θα το μπλέξω με άλλα 2 μοντέλα που δίνουν 50% ; . Φυσικά και όχι, γιατί στην ψηφοφορία θα νικήσουν το καλό μοντέλο σε κάποιες περιπτώσεις, με συνέπεια χειρότερη απόδοση.Αποδεικνύεται τόσο μαθηματικά, αλλά και διαισθητικά είναι κατανοητό.
Αλλά όταν μιλάμε για μοντέλα που αποδίδουν πάνω κάτω το ίδιο, τότε ναι, όσο περισσότερα, τόσο καλύτερα.

 

[cosmicsports]

Φυσικά θα επιλέξεις τα καλύτερα Χ μοντέλα που παίζουν από κάποιο ποσοστό και πάνω.
Αν έχω ένα μοντέλο με 90%, θα το μπλέξω με άλλα 2 μοντέλα που δίνουν 50% ; . Φυσικά και όχι, γιατί στην ψηφοφορία θα νικήσουν το καλό μοντέλο σε κάποιες περιπτώσεις, με συνέπεια χειρότερη απόδοση.Αποδεικνύεται τόσο μαθηματικά, αλλά και διαισθητικά είναι κατανοητό.
Αλλά όταν μιλάμε για μοντέλα που αποδίδουν πάνω κάτω το ίδιο, τότε ναι, όσο περισσότερα, τόσο καλύτερα.

Μήπως όμως τα μπερδεύεις ;
Άλλο είναι όταν προσπαθούμε να διερευνήσουμε μιά κατάσταση που δεν εξαρτάται πολύ από τυχαία γεγονότα.
Π.χ. ποιός θα είναι ο μεθεπόμενος πρόεδρος των Ηνωμένων Πολιτειών, σε στυλ Ασίμωφ Foundation and empire.
Αλλά στα αθλητικά γίνεται ένα πείραμα τύχης πάντα και εμείς προσπαθούμε να βρούμε ποιό είναι το πείραμα τύχης. Άπαξ και το βρήκαμε μετά είναι ένα τείχος - δεν πάμε παραπέρα. Επίσης άπαξ και όλοι ξέραμε ποιό ακριβώς είναι το πείραμα τύχης, μπουκ και λαός, δεν θα είχε νόημα ο στοιχηματισμός. Θα ήταν Lotto.

 

[Larry]

Μήπως όμως τα μπερδεύεις ;
Άλλο είναι όταν προσπαθούμε να διερευνήσουμε μιά κατάσταση που δεν εξαρτάται πολύ από τυχαία γεγονότα.
Π.χ. ποιός θα είναι ο μεθεπόμενος πρόεδρος των Ηνωμένων Πολιτειών, σε στυλ Ασίμωφ Foundation and empire.
Αλλά στα αθλητικά γίνεται ένα πείραμα τύχης πάντα και εμείς προσπαθούμε να βρούμε ποιό είναι το πείραμα τύχης. Άπαξ και το βρήκαμε μετά είναι ένα τείχος - δεν πάμε παραπέρα. Επίσης άπαξ και όλοι ξέραμε ποιό ακριβώς είναι το πείραμα τύχης, μπουκ και λαός, δεν θα είχε νόημα ο στοιχηματισμός. Θα ήταν Lotto.

Δε μπορώ να καταλάβω τι θες να πεις.
Εγώ μιλάω για μοντέλα. Μηχανές που μπορούν να προβλέψουν. Δε με νοιάζει αν είναι τύχης το πείραμα ή όχι, εγώ βάζω μέσα μεταβλητές οι οποίες μου δίνουν πολλή πληροφορία, που μπορεί να βοηθήσει στην πρόβλεψη. Ακόμα και το στρίψιμο του νομίσματος, μπορεί να περιέχει μεταβλητές όπως ταχύτητα προώθησης, ταχύτητα ανέμου, βάρος νομίσματος, θερμοκρασία δωματίου κλπ.
Στα δικά σου μάτια (δε μιλώ προσωπικά) φαίνεται 50-50. Αυτός που αναλύει, προσπαθεί να βρει ποιά μεταβλητή θα του δώσει το δικαίωμα να προβλέπει πάνω από το 50%.
Φτιάχνουμε 3 μηχανές λοιπόν, που η κάθε μία προβλέπει ακριβώς 90%. Στα 10 στριψίματα, θα σου βρει η κάθε μία από 9 σωστά στριψίματα. Λέει κάποιος λοιπόν, "αν συνδυάσουμε τις προβλέψεις, μήπως είναι καλύτερα; ".
Λοιπόν ναι, είναι καλύτερα και αυτό αποδεικνύεται μαθηματικά το πόσο καλύτερα είναι και το πόσες φορές να περιμένω καλύτερες προβλέψεις.
Αυτό αναλύω εδώ και 2-3 ποστ. Δε λέω κάτι άλλο και θεωρώ ότι δεν είναι παράλογο.

Επίσης μπορείς να δεις εδώ την πτυχιακή εργασία που το λέει ξεκάθαρα περί σύνθεσης αποφάσεων. Στη σελίδα 81 είναι, αν θες να το δεις. Βέβαια το αναλύει ακόμα περισσότερο, λέγοντας ότι καλό είναι τα μοντέλα να έχουν αρκετές διαφορές μεταξύ τους ως προς την πρόβλεψη, δηλαδή να μην προβλέπουν ακριβώς τα ίδια στριψίματα.

Μοντέλα Τεχνητής Νοημοσύνης για την Πρόβλεψη Αποτελεσμάτων σε Αγώνες Ποδοσφαίρου. - PDF Free Download

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ: Μοντέλα Τεχνητής Νοημοσύνης για

docplayer.gr

 

[anon]

Η εργασία που έχεις λινκάρει είναι σκουπίδι ως προς τα αποτελέσματα που έχει παρουσιάσει και εξηγώ. Για αρχή, πήρανε ένα πρόβλημα classification με 1-Χ-2 και το μετέτρεψαν σε regression από 0 ως 1. Αυτό από μόνο του σαν τεχνική δεν ενδείκνυται αλλά οκ, πάμε παρακάτω. Το μεγάλο πρόβλημα βρίσκεται στο σημείο που γίνεται το grid search για τα x1,x2. Έχουν κάνει grid search και επέλεξαν το ζευγάρι x1,x2 που δίνει τα καλύτερα αποτελέσματα και εδώ είναι το πρόβλημα γιατί πλέον τα μοντέλα τους έχουν κάνει overfit. Για κάθε 0<=x1<=1 και 0<=x2<=1 θα υπάρχει ένα εύρος από x1 και x2 που θα δίνουν θετικά αποτελέσματα. Πχ μπορεί για χ1=0.1 και χ2=0.46 να παίρνεις 5% κέρδος και για χ1=0.23 και χ2=0.67 να παίρνεις 6,5% κέρδος. Το να επιλέξεις το δεύτερο ζευγάρι δεν σημαίνει πως είναι και το σωστό. Το ίδιο ισχύει και αν αντί για κέρδος, βάλεις ως παράμετρο αξιολόγησης το hit rate.

Επίσης το δείγμα τους είναι πολύ μικρό για οποιαδήποτε συμπεράσματα. Έχω δοκιμάσει σε δείγμα 1500+ αγώνων αυτή την προσέγγιση με τυχαίους αριθμούς. Δηλαδή αντί να έχω έξοδο από μοντέλο, ο αριθμός μου ήταν απλά ένας τυχαίος αριθμός μεταξύ 0 και 1. Το αποτέλεσμα μετά το grid search ήταν θεαματικό καθώς πάλι υπήρχαν ζευγάρια x1,x2 που έδιναν κέρδος. Αυτό από μόνο του δείχνει πόσο προβληματική είναι αυτή η προσέγγιση.

Από εκεί και πέρα, γενικά δεν μπορεί να έχεις 3 μοντέλα εκπαιδευμένα στο ίδιο dataset για το ίδιο πρόβλημα και το 1 να δίνει 90% και τα άλλα 2 από 50%. Συνήθως η απόδοση ορίζεται καθαρά από τα δεδομένα που έχεις οπότε λογικά περιμένεις αν το ένα έχει 90%, τα άλλα 2 να είναι κάπου εκεί κοντά. Άντε δεν θα είναι 90, θα είναι 75% ή 80%. Αν υπάρχουν μεγάλες διαφορές τότε κατά πάσα πιθανότητα κάτι έχει γίνει πολύ λάθος και πρέπει να το ψάξεις για να βρεις για ποιο λόγο συμβαίνει αυτό. Μπορεί το πρώτο μοντέλο να έχει κάνει overfit. Επίσης καλό θα είναι το κάθε μοντέλο να χρησιμοποιεί features που δεν έχουν τα άλλα. Για παράδειγμα, αν έχεις 40 features στο dataset, δοκίμασε ένα μοντέλο με τα πρώτα 20 και τα υπόλοιπα 2 με 10 ή κάτι τέτοιο. Όχι πως είναι λάθος να βάλεις τα ίδια features σε όλα τα μοντέλα, αλλά σπάζοντας τα βοηθάς στην ανεξαρτησία μεταξύ τους και μειώνεις το συστημικό λάθος.

Είναι σαν να έχω 3 ανθρώπους που ο πρώτος παίζει με βάση τις φόρμες, ο δεύτερος με βάση την προιστορία και ο τρίτος με βάση το ιστορικό αποδόσεων. Όταν τους συνδιάσω αυτούς, περιμένω να έχω καλύτερη απόδοση γιατί αυτοί οι 3 λειτουργούν ανεξάρτητα μεταξύ τους οπότε απουσιάζει το συστημικό λάθος και αυτό είναι μια βασική προϋπόθεση της σοφίας του πλήθους. Τώρα το πως θα τους συνδιάσεις είναι και αυτό ένα θέμα. Το voting θα δώσεις ίδια βαρύτητα και στις 3 απόψεις. Εγώ θα δοκίμαζα stacking με τελικό classifier τον xgboost μήπως και είχε καλύτερα αποτελέσματα.

Επίσης καλό είναι να μην κοιτάς το ποσοστό επιτυχίας των μοντέλων γιατί είναι παραπλανητικό. Σκοπός δεν είναι να πεις πως το τάδε παιχνίδι είναι άσσος, αλλά πως είναι άσσος κατά 65%. Και θα πρέπει αυτό το 65% να είναι όσο πιο κοντά γίνεται στην πραγματικότητα. Αν βάλεις ένα μοντέλο να σου προβλέψει αν ένα πέναλτυ θα είναι γκολ ή οχι, τότε όλα τα μοντέλα θα έχουν κάπου 75% επιτυχία γιατί σε κάθε πέναλτυ θα προβλέπουν γκολ. Θα καταλήξεις δηλαδή με ένα άχρηστο μοντέλο που ναι μεν έχει 75% επιτυχία αλλά σε όλες τις προβλέψεις δίνει γκολ. Και πως θα το διορθώσεις αυτό το πρόβλημα; Αλλάζοντας το default threshold από 0.5 σε 0.75; Και γιατί σε 0.75 και όχι 0.76; Ίσως θα ήταν καλύτερα να σπάσεις τις πιθανότητες σε brackets πχ του 10% και να φτιάξεις μια δική σου μετρική με βάση την οποία θα βελτιστοποιείται και θα αξιολογείται το μοντέλο. Δηλαδή, στο bracket 50%-60%, αν οι αγώνες εκ του αποτελέσματος επαληθεύονται στο 55%, τότε το μοντέλο σου θα πρέπει στις πιθανότητες που θα δίνει να είναι και αυτό κοντά στο 55%. Γιατί μόνο έτσι θα μπορείς να βρεις αξία. Σε έναν άσσο που το μοντέλο μου δίνει 55% και έχω απόδοση 1.8 δεν θα τον έπαιζα. Αν όμως για 55% έχω απόδοση 1.9 τότε τα πράγματα αλλάζουν.

Γενικά δεν υπάρχει κάποιο guideline. Βλέποντας και κάνοντας πας. Θέλει πολλές δοκιμές και κυρίως καλό dataset τόσο από άποψης δειγμάτων όσο και από features. 500 και 1000 αγώνες με features του τύπου φόρμες ομάδων και βαθμολογίες δεν κάνουν για τίποτα.

 

[cosmicsports]

έχω 3 ανθρώπους που ο πρώτος παίζει με βάση τις φόρμες, ο δεύτερος με βάση την προιστορία και ο τρίτος με βάση το ιστορικό αποδόσεων.

Κάποια σύνθετη πιθανότητα της μορφής p1^Q1 x p2^Q2 x p3^Q3 ισχύει, νορμαλοποιημένη στη μονάδα φυσικά.
Από το δείγμα που έχεις σχηματίσει πρέπει να υπολογίσεις τα p1, p2, p3 αλλά και τα Q1,Q2,Q3 ώστε να έχεις τα μάξιμουμ πιασίματα. Μπορεί να βγει Q1 = 1, Q2 = 0.4, Q3 = 0 - να μην μετράει δηλαδή η προϊστορία αποδόσεων.
Πάντως κάτι θα βγάλεις παραπάνω από p1 σκέτο, p2 σκέτο ή p3 σκέτο.
Τα παρόμοια ισχύουν και για τα "pools of experts".
Μπορεί να ισχύει και το 100%, αλλά 100% τι πράγματος ;
100% της προσέγγισης του πραγματικού πειράματος τύχης που ισοδυναμεί με τον αγώνα θα έλεγα.
Ακόμα και το παροιμιακό Ολυμπιακός - Καστοριά να είναι ο αγώνας, είναι ένα πείραμα τύχης με πιθανότητα
95% υπέρ του Ολυμπιακού. Το 5% ήταν του Σαργκάνη !

 

[Larry]

Η εργασία που έχεις λινκάρει είναι σκουπίδι ως προς τα αποτελέσματα

i.Η εργασία παρουσιάστηκε για να καταδείξω τη σύνθεση ταξινομητών, για τίποτα παραπάνω.

ii.Ναι, συμφωνώ μαζί σου για το grid search που ανέφερες. Το είχα δει κι εγώ όταν βγήκε η πτυχιακή και απόρησα.

iii. Το παράδειγμα με τη σύνθεση 90-50-50 ήταν ακραίο, για να δείξω τη διαφορά και το αποτέλεσμα αν μπλέκεις τέτοια μοντέλα μεταξύ τους.

iv. Ναι στη μετρική που αναφέρεις που θα σου δώσει καλύτερα αποτελέσματα. Ακόμα την ψάχνουμε όμως!

 

[Larry]

Αν βάλεις ένα μοντέλο να σου προβλέψει αν ένα πέναλτυ θα είναι γκολ ή οχι, τότε όλα τα μοντέλα θα έχουν κάπου 75% επιτυχία γιατί σε κάθε πέναλτυ θα προβλέπουν γκολ. Θα καταλήξεις δηλαδή με ένα άχρηστο μοντέλο που ναι μεν έχει 75% επιτυχία αλλά σε όλες τις προβλέψεις δίνει γκολ. Και πως θα το διορθώσεις αυτό το πρόβλημα;

Και για να επανέλθω στο ίδιο θέμα, μιας και το ξέχασα κι αυτό:

Όταν έχεις δεδομένα που αναγκάζουν τον αλγόριθμο να λειτουργήσει έτσι, τότε μία τεχνική είναι να δημιουργήσεις τεχνητά δεδομένα για να αυξήσεις το πλήθος αυτών που είναι μειοψηφία, όπως στο παράδειγμα που λες.

SMOTE for Imbalanced Classification with Python

Imbalanced classification involves developing predictive models on classification datasets that have a severe class imbalance. The challenge of working with imbalanced datasets is that most machine learning techniques will ignore, and in turn have poor performance on, the minority class...

machinelearningmastery.com

Τα τεχνητά δεδομένα δημιουργούνται από άλλο αλγόριθμο, ο οποίος παίρνει τα πραγματικά δεδομένα της μειοψηφίας και δημιουργεί άλλα, τα οποία είναι σχετικά κοντά σε τιμές.
Στο τέλος καταλήγεις να μην έχεις μειοψηφία και μπορείς να τρέξεις τον αλγόριθμο.
Θυμάμαι κάποια στιγμή που ανέλυα τα αποτελέσματα σε σύνολο γκολ 7+. Εμφανίστηκε αυτό που λες, ότι όλα προέβλεπαν Under 7,5 και είχαν 96-97% επιτυχία (δε μπορούσαν να προβλέψουν τα 3-4 ματς που έρχονταν Over 7,5).
Δημιουργώντας δεδομένα τεχνητά, ο αλγόριθμος κατάφερε να έχει 10% πρόβλεψη στα ματς με over 7,5. Που αν το μεταφράσεις σε αποδόσεις, στις 10 προσπάθειες, έπιανες 1 ματς με απόδοση 25 περίπου.
Βέβαια δε σημαίνει ότι σε όλα τα προβλήματα θα έβρισκες λύση...Απλά στο συγκεκριμένο λειτούργησε.