Δουλεύουμε για να επαναφέρουμε την εφαρμογή Unionpedia στο Google Play Store
ΕξερχόμενοςΕισερχόμενος
🌟Απλοποιήσαμε τον σχεδιασμό μας για καλύτερη πλοήγηση!
Instagram Facebook X LinkedIn

Απόκλιση Kullback–Leibler

Δείκτης Απόκλιση Kullback–Leibler

Στην θεωρία πληροφορίας, η απόκλιση Kullback-Leibler (KL) (ή σχετική εντροπία) μεταξύ δύο κατανομών πιθανότητας p και q ορίζεται ως Για διακριτές τυχαίες μεταβλητές με πεδίο ορισμού \mathcal, αυτή η ποσότητα είναι ίση με και για συνεχείς τυχαίες μεταβλητές είναι ίση με Η ποσότητα αυτή μπορεί να ερμηνευτεί ως η αναμενόμενη τιμή της έξτρα πληροφορίας πουχρειάζεται για να κωδικοποιήσουμε την τυχαία μεταβλητή X με κατανομή p υποθέτοντας ότι στην πραγματικότητα έχει κατανομή q.

Πίνακας περιεχομένων

  1. 2 συγγένειες: Κατανομή πιθανότητας, Ανεξαρτησία (Θεωρία πιθανοτήτων).

Κατανομή πιθανότητας

Στην θεωρία πιθανοτήτων και στην στατιστική, η κατανομή πιθανοτήτων αποδίδει την πιθανότητα σε κάθε μετρήσιμο υποσύνολο των πιθανών αποτελεσμάτων τουτυχαίουπειράματος, της έρευνας, ή την διαδικασία της επαγωγικής στατιστικής.

Δείτε Απόκλιση Kullback–Leibler και Κατανομή πιθανότητας

Ανεξαρτησία (Θεωρία πιθανοτήτων)

Στην θεωρία πιθανοτήτων, δύο γεγονότα A και B λέγονται ανεξάρτητα όταν γνωρίζοντας αν έγινε το ένα από τα δύο, δεν λαμβάνουμε πληροφορίες για το αν έγινε το άλλο.

Δείτε Απόκλιση Kullback–Leibler και Ανεξαρτησία (Θεωρία πιθανοτήτων)