Μάθημα 8: Q-Learning και Ενισχυτική Μάθηση

Το Q-Learning είναι ένας από τους πιο γνωστούς αλγόριθμους στην ενισχυτική μάθηση, που επιτρέπει στους πράκτορες (agents) να μαθαίνουν πώς να παίρνουν αποφάσεις μέσω της αλληλεπίδρασής τους με το περιβάλλον. Αυτό το μάθημα θα εξετάσει πώς λειτουργεί το Q-Learning και πώς μπορεί να εφαρμοστεί σε διάφορα προβλήματα.

Βασικές Έννοιες του Q-Learning

Το Q-Learning είναι ένας αλγόριθμος που δεν χρειάζεται ο πράκτορας να γνωρίζει το περιβάλλον εκ των προτέρων. Αντίθετα, μαθαίνει μέσω συνεχών αλληλεπιδράσεων και εμπειριών, ενημερώνοντας τις εκτιμήσεις του για κάθε απόφαση που παίρνει.

Η βασική εξίσωση ενημέρωσης του Q-Learning είναι η εξής:

$Q(s, a) \leftarrow Q(s, a) + \alpha \left[ r + \gamma \max Q(s', a') - Q(s, a) \right]$

Όπου:

Q(s, a): Η εκτίμηση της αξίας της ενέργειας a όταν ο πράκτορας βρίσκεται στην κατάσταση s.
α: Ο συντελεστής μάθησης (learning rate), που καθορίζει πόσο γρήγορα μαθαίνει ο πράκτορας από νέες πληροφορίες.
γ: Ο παράγοντας απόσβεσης (discount factor), που δείχνει πόσο σημαντικές είναι οι μελλοντικές ανταμοιβές.
r: Η ανταμοιβή που λαμβάνει ο πράκτορας μετά την εκτέλεση μιας ενέργειας a.
s': Η νέα κατάσταση στην οποία βρίσκεται ο πράκτορας μετά την ενέργεια.

Ουσιαστικά, με αυτή την εξίσωση, το Q-Learning ενημερώνει συνεχώς τις εκτιμήσεις του για τις καλύτερες ενέργειες που πρέπει να πάρει, ώστε να μεγιστοποιήσει τη μακροπρόθεσμη ανταμοιβή.

Παράδειγμα Χρήσης του Q-Learning

Ας φανταστούμε έναν ρομποτικό πράκτορα που προσπαθεί να βρει την έξοδο από έναν λαβύρινθο. Σε κάθε βήμα, το ρομπότ επιλέγει μια ενέργεια (π.χ., να πάει πάνω, κάτω, αριστερά ή δεξιά) και λαμβάνει μια ανταμοιβή που δείχνει αν πλησιάζει ή απομακρύνεται από την έξοδο. Το Q-Learning επιτρέπει στο ρομπότ να ενημερώνει τις εκτιμήσεις του για το ποιες ενέργειες είναι καλύτερες σε κάθε σημείο, και σταδιακά μαθαίνει πώς να βγαίνει από τον λαβύρινθο πιο γρήγορα.

Εξερεύνηση και Εκμετάλλευση (Exploration vs Exploitation)

Ένα βασικό στοιχείο στο Q-Learning είναι η ισορροπία μεταξύ εξερεύνησης και εκμετάλλευσης. Ο πράκτορας πρέπει να επιλέξει αν θα δοκιμάσει νέες ενέργειες (εξερεύνηση) για να μάθει περισσότερα για το περιβάλλον ή αν θα εκμεταλλευτεί τις γνώσεις που έχει ήδη αποκτήσει (εκμετάλλευση) για να αυξήσει την ανταμοιβή του.

Η πολιτική που χρησιμοποιείται συχνά είναι η ε-greedy πολιτική, όπου με πιθανότητα ε ο πράκτορας επιλέγει τυχαία μια ενέργεια (εξερεύνηση) και με πιθανότητα 1-ε επιλέγει την καλύτερη ενέργεια βάσει των τρέχουσων εκτιμήσεων (εκμετάλλευση).

Πρακτική Εφαρμογή

Μπορείς να δοκιμάσεις το Q-Learning χρησιμοποιώντας το εργαλείο OpenAI Gym σε Python. Ένα δημοφιλές παράδειγμα είναι το παιχνίδι Frozen Lake, όπου ο πράκτορας πρέπει να βρει τη βέλτιστη διαδρομή σε ένα παγωμένο δάπεδο χωρίς να πέσει στο νερό.

Παράδειγμα Κώδικα Python

import gym
import numpy as np

env = gym.make("FrozenLake-v0")

# Παράμετροι Q-Learning
alpha = 0.8
gamma = 0.95
epsilon = 0.1
num_episodes = 10000

Q = np.zeros([env.observation_space.n, env.action_space.n])

for i in range(num_episodes):
    s = env.reset()
    done = False
    while not done:
        if np.random.uniform(0, 1) < epsilon:
            a = env.action_space.sample()  # Τυχαία ενέργεια
        else:
            a = np.argmax(Q[s, :])  # Εκμετάλλευση της τρέχουσας γνώσης

        s1, r, done, _ = env.step(a)
        Q[s, a] = Q[s, a] + alpha * (r + gamma * np.max(Q[s1, :]) - Q[s, a])
        s = s1

print("Τελική Q-Μήτρα:\n", Q)

Σε αυτό το παράδειγμα, ο πράκτορας μαθαίνει να κινείται σε ένα περιβάλλον Frozen Lake για να βρει τη σωστή διαδρομή.

Συμπεράσματα

Το Q-Learning είναι ένας ισχυρός αλγόριθμος που επιτρέπει στους πράκτορες να μαθαίνουν μέσα από επαναλαμβανόμενες εμπειρίες με το περιβάλλον, βελτιώνοντας συνεχώς τις εκτιμήσεις τους για τις καλύτερες ενέργειες. Αυτό το καθιστά ιδανικό για περιπτώσεις όπου ο πράκτορας δεν έχει πλήρη γνώση του περιβάλλοντος.

Ερωτήσεις Αυτοαξιολόγησης

Τι είναι το Q-Learning και πώς λειτουργεί η εξίσωση ενημέρωσης;
- Το Q-Learning είναι ένας αλγόριθμος ενισχυτικής μάθησης που επιτρέπει στους πράκτορες να μαθαίνουν μέσω επαναληπτικής αλληλεπίδρασης με το περιβάλλον.
Ποια είναι η διαφορά μεταξύ της εξερεύνησης και της εκμετάλλευσης στο Q-Learning;
- Εξερεύνηση σημαίνει δοκιμή νέων ενεργειών, ενώ εκμετάλλευση σημαίνει χρήση των γνώσεων που έχει ήδη αποκτήσει ο πράκτορας για να μεγιστοποιήσει την ανταμοιβή του.
Δώσε ένα παράδειγμα από την καθημερινή ζωή όπου θα μπορούσε να χρησιμοποιηθεί το Q-Learning.
- Μπορεί να χρησιμοποιηθεί για την ανάπτυξη στρατηγικών σε παιχνίδια όπως το σκάκι ή για τη βελτίωση της απόδοσης των αυτόνομων οχημάτων που μαθαίνουν να κινούνται με ασφάλεια στους δρόμους.

Σύνδεση με το Επόμενο Μάθημα: Στο επόμενο μάθημα, θα εξετάσουμε τον αλγόριθμο SARSA, έναν άλλον αλγόριθμο ενισχυτικής μάθησης, και πώς αυτός συγκρίνεται με το Q-Learning.

επιστροφή στα μαθήματα

«Επικοινωνήστε μαζί μου στο Instagram!»

Αν υπάρχει κάτι στα μαθήματα που σε δυσκολεύει, αυτό με ενδιαφέρει ιδιαίτερα να το γνωρίζω. Μπορείς να μου στείλεις τις προτάσεις ή τις ιδέες σου στο Instagram. Εκτιμώ κάθε σκέψη και υπόδειξή σου, και, αν και δεν υπάρχει πιθανότητα να απαντήσω, υπάρχει πιθανότητα το αίτημά σου να εισακουστεί, εφόσον είναι εφικτό.