Πίνακας περιεχομένων
7 συγγένειες: Κατανομή πιθανότητας, Τζοσάια Γουίλαρντ Γκιμπς, Θεωρία πληροφορίας, Ανισότητα λογαρίθμου-αθροίσματος, Ανισότητα Γένσεν, Απόκλιση Kullback–Leibler, Εντροπία πληροφοριών.
Κατανομή πιθανότητας
Στην θεωρία πιθανοτήτων και στην στατιστική, η κατανομή πιθανοτήτων αποδίδει την πιθανότητα σε κάθε μετρήσιμο υποσύνολο των πιθανών αποτελεσμάτων τουτυχαίουπειράματος, της έρευνας, ή την διαδικασία της επαγωγικής στατιστικής.
Δείτε Ανισότητα Γκιμπς και Κατανομή πιθανότητας
Τζοσάια Γουίλαρντ Γκιμπς
Ο Τζοσάια Γουίλαρντ Γκιμπς (11 Φεβρουαρίου1839 – 28 Απριλίου1903) ήταν Αμερικανός επιστήμονας πουπροσέφερε, με σημαντικά θεωρητικά μοντέλα, στη φυσική, τη χημεία και τα μαθηματικά.
Δείτε Ανισότητα Γκιμπς και Τζοσάια Γουίλαρντ Γκιμπς
Θεωρία πληροφορίας
Η θεωρία πληροφορίας είναι τμήμα των εφαρμοσμένων μαθηματικών και ασχολείται με την ποσοτικοποίηση της πληροφορίας.
Δείτε Ανισότητα Γκιμπς και Θεωρία πληροφορίας
Ανισότητα λογαρίθμου-αθροίσματος
Στα μαθηματικά, η ανισότητα λογαρίθμου-αθροίσματος λέει ότι για μη-αρνητικούς πραγματικούς αριθμούς a_1, \ldots, a_n και b_1, \ldots, b_n, ισχύει ότι \sum_^n a_i \log \left(\frac \right) Η ανισότητα βρίσκει αρκετές εφαρμογές στην θεωρία πληροφορίας.
Δείτε Ανισότητα Γκιμπς και Ανισότητα λογαρίθμου-αθροίσματος
Ανισότητα Γένσεν
Στα μαθηματικά, η ανισότητα Γένσεν (αναφέρεται και ως ανισότητα Jensen) λέει ότι για κάθε κυρτή συνάρτηση f: \R \to \R και πραγματικούς αριθμούς x_1, \ldots, x_n, ισχύει ότι f\left(\frac \right) \leq \frac.
Δείτε Ανισότητα Γκιμπς και Ανισότητα Γένσεν
Απόκλιση Kullback–Leibler
Στην θεωρία πληροφορίας, η απόκλιση Kullback-Leibler (KL) (ή σχετική εντροπία) μεταξύ δύο κατανομών πιθανότητας p και q ορίζεται ως Για διακριτές τυχαίες μεταβλητές με πεδίο ορισμού \mathcal, αυτή η ποσότητα είναι ίση με και για συνεχείς τυχαίες μεταβλητές είναι ίση με Η ποσότητα αυτή μπορεί να ερμηνευτεί ως η αναμενόμενη τιμή της έξτρα πληροφορίας πουχρειάζεται για να κωδικοποιήσουμε την τυχαία μεταβλητή X με κατανομή p υποθέτοντας ότι στην πραγματικότητα έχει κατανομή q.
Δείτε Ανισότητα Γκιμπς και Απόκλιση Kullback–Leibler
Εντροπία πληροφοριών
Η εντροπία στη θεωρία πληροφορίας είναι ένα «μέτρο αβεβαιότητας» πουδιακατέχει ένα σύστημα.
Δείτε Ανισότητα Γκιμπς και Εντροπία πληροφοριών
Επίσης γνωστός ως Ανισότητα Gibbs, Ανισότητα πληροφορίας.