Μέγιστα παραδείγματα εκτίμησης πιθανότητας

Ας υποθέσουμε ότι έχουμε ένα τυχαίο δείγμα από έναν πληθυσμό ενδιαφέροντος. Μπορεί να έχουμε ένα θεωρητικό μοντέλο για τον τρόπο με τον οποίο το πληθυσμός διανέμεται. Ωστόσο, μπορεί να υπάρχουν πολλοί πληθυσμοί Παράμετροι από τις οποίες δεν γνωρίζουμε τις αξίες. Η εκτίμηση μέγιστης πιθανότητας είναι ένας τρόπος για τον προσδιορισμό αυτών των άγνωστων παραμέτρων.

Η βασική ιδέα της εκτίμησης της μέγιστης πιθανότητας είναι ότι προσδιορίζουμε τις τιμές αυτών των άγνωστων παραμέτρων. Αυτό το κάνουμε με τέτοιο τρόπο ώστε να μεγιστοποιήσουμε μια συναφή συνάρτηση πυκνότητας πιθανότητας ή συνάρτηση μάζας πιθανότητας. Αυτό θα το δούμε με περισσότερες λεπτομέρειες στο εξής. Στη συνέχεια, θα υπολογίσουμε ορισμένα παραδείγματα εκτίμησης μέγιστης πιθανότητας.

Η παραπάνω συζήτηση μπορεί να συνοψιστεί με τα ακόλουθα βήματα:

1. Ξεκινήστε με ένα δείγμα ανεξάρτητων τυχαίων μεταβλητών X₁, Χ₂,... Χ_n από μια κοινή κατανομή κάθε μία με συνάρτηση πυκνότητας πιθανότητας f (x; θ₁,.. .θ_κ). Οι thetas είναι άγνωστες παράμετροι.
instagram viewer
2. Δεδομένου ότι το δείγμα μας είναι ανεξάρτητο, η πιθανότητα απόκτησης του συγκεκριμένου δείγματος που παρατηρούμε διαπιστώνεται πολλαπλασιάζοντας τις πιθανότητές μας μαζί. Αυτό μας δίνει μια συνάρτηση πιθανοτήτων L (θ₁,.. .θ_κ) = f (x₁ ;θ₁,.. .θ_κ) f (x₂ ;θ₁,.. .θ_κ)... f (x_n ;θ₁,.. .θ_κ) = Π f (x_Εγώ ;θ₁,.. .θ_κ).
3. Στη συνέχεια, χρησιμοποιούμε Λογισμός για να βρούμε τις τιμές του theta που μεγιστοποιούν τη συνάρτηση πιθανότητας Λ.
4. Συγκεκριμένα, διαφοροποιούμε τη συνάρτηση πιθανοτήτων L σε σχέση με το θ εάν υπάρχει μία μόνο παράμετρος. Αν υπάρχουν πολλαπλές παράμετροι, υπολογίζουμε τα μερικά παράγωγα του L σε σχέση με κάθε μία από τις παραμέτρους του theta.
5. Για να συνεχίσετε τη διαδικασία της μεγιστοποίησης, ρυθμίστε το παράγωγο του L (ή των μερικών παραγώγων) ίσο με το μηδέν και λύστε το theta.
6. Στη συνέχεια, μπορούμε να χρησιμοποιήσουμε άλλες τεχνικές (όπως μια δεύτερη δοκιμασία παραγώγων) για να επαληθεύσουμε ότι βρήκαμε το μέγιστο της πιθανότητας λειτουργίας μας.

Ας υποθέσουμε ότι έχουμε μια συσκευασία σπόρων, κάθε μία από τις οποίες έχει μια σταθερή πιθανότητα Π της επιτυχίας της βλάστησης. Φυτεύουμε n από αυτές και μετράνε τον αριθμό εκείνων που φυτρώνουν. Υποθέστε ότι κάθε σπόρος βλασταίνει ανεξάρτητα από τους άλλους. Πώς προσδιορίζουμε τον εκτιμητή μέγιστης πιθανότητας της παραμέτρου Π?

Ξεκινάμε σημειώνοντας ότι κάθε σπόρος διαμορφώνεται από μια κατανομή Bernoulli με επιτυχία Π. Αφήσαμε Χ να είναι 0 ή 1 και η συνάρτηση μάζας πιθανότητας για έναν μόνο σπόρο φά( Χ; Π ) = Π^Χ(1 - Π)^{1 - χ}.

Το δείγμα μας αποτελείται από n διαφορετικός Χ_Εγώ, καθένα από τα οποία έχει μια διανομή Bernoulli. Οι σπόροι που φυτρώνουν έχουν Χ_Εγώ = 1 και οι σπόροι που αποτυγχάνουν να βλαστήσουν έχουν Χ_Εγώ = 0.

Η συνάρτηση πιθανότητας δίνεται από:

L ( Π ) = Π Π^Χ_Εγώ(1 - Π)^{1 - Χ}_Εγώ

Βλέπουμε ότι είναι δυνατό να ξαναγράψουμε τη λειτουργία πιθανότητας χρησιμοποιώντας τους νόμους των εκθετών.

L ( Π ) = Π^{Σ x}_Εγώ(1 - Π)^{n - Σ x}_Εγώ

Στη συνέχεια διαφοροποιούμε αυτή τη λειτουργία σε σχέση με Π. Υποθέτουμε ότι οι τιμές για όλα τα Χ_Εγώ είναι γνωστά και συνεπώς είναι σταθερά. Για να διαφοροποιήσουμε τη λειτουργία πιθανότητας πρέπει να χρησιμοποιήσουμε το κανόνα προϊόντος μαζί με τον κανόνα ενέργειας:

L '( Π ) = Σ x_ΕγώΠ^{-1 + Σ x}_Εγώ (1 - Π)^{n - Σ x}_Εγώ- (n - Σ x_Εγώ )Π^{Σ x}_Εγώ(1 - Π)^{n-1 - Σ x}_Εγώ

Ξαναγράψουμε μερικούς από τους αρνητικούς εκθέτες και έχουμε:

L '( Π ) = (1/Π) Σ x_ΕγώΠ^{Σ x}_Εγώ (1 - Π)^{n - Σ x}_Εγώ- 1/(1 - Π) (n - Σ x_Εγώ )Π^{Σ x}_Εγώ(1 - Π)^{n - Σ x}_Εγώ

= [(1/Π) Σ x_Εγώ - 1/(1 - Π) (n - Σ x_Εγώ)]_ΕγώΠ^{Σ x}_Εγώ (1 - Π)^{n - Σ x}_Εγώ

Τώρα, για να συνεχίσουμε τη διαδικασία της μεγιστοποίησης, θέσαμε αυτό το παράγωγο ίσο με μηδέν και λύσαμε για Π:

0 = [(1/Π) Σ x_Εγώ - 1/(1 - Π) (n - Σ x_Εγώ)]_ΕγώΠ^{Σ x}_Εγώ (1 - Π)^{n - Σ x}_Εγώ

Από Π και (1- Π) είναι μηδέν έχουμε αυτό

0 = (1/Π) Σ x_Εγώ - 1/(1 - Π) (n - Σ x_Εγώ).

Πολλαπλασιάζοντας και τις δύο πλευρές της εξίσωσης από Π(1- Π) μας δίνει:

0 = (1 - Π) Σ x_Εγώ - Π (n - Σ x_Εγώ).

Επεκτείνουμε τη δεξιά πλευρά και δούμε:

0 = Σχ_Εγώ - Π Σ x_Εγώ - Πn + pΣ x_Εγώ = Σ x_Εγώ - Πn.

Έτσι Σ x_Εγώ = Πn και (1 / η) Σ x_Εγώ = p. Αυτό σημαίνει ότι ο μέγιστος εκτιμητής πιθανοτήτων Π είναι ένας μέσος δείκτης. Πιο συγκεκριμένα, αυτή είναι η αναλογία δείγματος των σπόρων που βλάστησαν. Αυτό είναι απόλυτα σύμφωνο με το τι θα μας έλεγε η διαίσθηση. Για να προσδιοριστεί το ποσοστό των σπόρων που θα βλαστήσουν, εξετάστε πρώτα ένα δείγμα από τον πληθυσμό που σας ενδιαφέρει.

Υπάρχουν ορισμένες τροποποιήσεις στην παραπάνω λίστα βημάτων. Για παράδειγμα, όπως έχουμε δει παραπάνω, αξίζει συνήθως να περάσετε κάποιο χρόνο χρησιμοποιώντας κάποια άλγεβρα για να απλοποιήσετε την έκφραση της συνάρτησης πιθανότητας. Ο λόγος για αυτό είναι να γίνει ευκολότερη η διαφοροποίηση.

Μια άλλη αλλαγή στην παραπάνω λίστα βημάτων είναι η εξέταση των φυσικών λογαρίθμων. Το μέγιστο για τη συνάρτηση L θα συμβεί στο ίδιο σημείο όπως για τον φυσικό λογάριθμο του L. Έτσι η μεγιστοποίηση του ln ισοδυναμεί με τη μεγιστοποίηση της συνάρτησης L.

Πολλές φορές, λόγω της παρουσίας εκθετικών λειτουργιών στο L, η λήψη του φυσικού λογαρίθμου του L θα απλοποιήσει σε μεγάλο βαθμό μέρος της δουλειάς μας.

Βλέπουμε πώς να χρησιμοποιήσουμε τον φυσικό λογάριθμο επανεξετάζοντας το παραπάνω παράδειγμα. Αρχίζουμε με τη λειτουργία πιθανότητας:

L ( Π ) = Π^{Σ x}_Εγώ(1 - Π)^{n - Σ x}_Εγώ .

Στη συνέχεια χρησιμοποιούμε τους νόμους λογαρίθμων μας και βλέπουμε ότι:

R ( Π ) = ln ( Π ) = Σ x_Εγώ ln p + (n - Σ x_Εγώ) ln (1 - Π).

Βλέπουμε ήδη ότι το παράγωγο είναι πολύ πιο εύκολο να υπολογιστεί:

R '( Π ) = (1/Π) Σ x_Εγώ - 1/(1 - Π)(n - Σ x_Εγώ) .

Τώρα, όπως και πριν, θέσαμε αυτό το παράγωγο ίσο με το μηδέν και πολλαπλασιάζουμε και τις δύο πλευρές Π (1 - Π):

0 = (1- Π ) Σ x_Εγώ - Π(n - Σ x_Εγώ) .

Λύπουμε για Π και να βρει το ίδιο αποτέλεσμα όπως πριν.

Η χρήση του φυσικού λογαρίθμου του L (p) είναι χρήσιμη με άλλο τρόπο. Είναι πολύ ευκολότερο να υπολογίσουμε ένα δεύτερο παράγωγο του R (p) για να επαληθεύσουμε ότι έχουμε πραγματικά ένα μέγιστο στο σημείο (1 / n) Σ x_Εγώ = p.

Για ένα άλλο παράδειγμα, ας υποθέσουμε ότι έχουμε ένα τυχαίο δείγμα X₁, Χ₂,... Χ_n από έναν πληθυσμό που μοντελοποιούμε με μια εκθετική διανομή. Η συνάρτηση πυκνότητας πιθανότητας για μια τυχαία μεταβλητή είναι της μορφής φά( Χ ) = θ^-1μι ^-Χ/θ

Η συνάρτηση πιθανότητας δίνεται από τη συνάρτηση πυκνότητας πιθανοτήτων. Αυτό είναι προϊόν πολλών από αυτές τις λειτουργίες πυκνότητας:

L (θ) = Π θ^-1μι ^-Χ_Εγώ^/θ = θ^-nμι ^-ΣΧ_Εγώ^/θ

Για άλλη μια φορά είναι χρήσιμο να εξεταστεί ο φυσικός λογάριθμος της συνάρτησης πιθανότητας. Η διαφοροποίηση αυτή θα απαιτήσει λιγότερη εργασία από τη διαφοροποίηση της συνάρτησης πιθανότητας:

R (θ) = ln L (θ) = ln [θ^-nμι ^-ΣΧ_Εγώ^/θ]

Χρησιμοποιούμε τους νόμους των λογαρίθμων και αποκτούμε:

R (θ) = ln L (θ) = - n ln θ + -ΣΧ_Εγώ/θ

Διακρίνουμε σε σχέση με το θ και έχουμε:

R '(θ) = - n / θ + ΣΧ_Εγώ/θ²

Ορίστε αυτό το παράγωγο ίσο με μηδέν και βλέπουμε ότι:

0 = - n / θ + ΣΧ_Εγώ/θ².

Πολλαπλασιάστε και τις δύο πλευρές θ² και το αποτέλεσμα είναι:

0 = - n θ + ΣΧ_Εγώ.

Τώρα χρησιμοποιήστε την άλγεβρα για να λύσετε το θ:

θ = (1 / η) ΣΧ_Εγώ.

Βλέπουμε από αυτό ότι το μέσο δείγμα είναι αυτό που μεγιστοποιεί τη λειτουργία πιθανότητας. Η παράμετρος θ για να ταιριάζει με το μοντέλο μας θα πρέπει απλώς να είναι το μέσο όλων των παρατηρήσεων μας.

Συνδέσεις

Υπάρχουν και άλλοι τύποι εκτιμητών. Ένας εναλλακτικός τύπος εκτίμησης καλείται a αμερόληπτη εκτιμητή. Για αυτόν τον τύπο, πρέπει να υπολογίσουμε την αναμενόμενη τιμή των στατιστικών μας και να καθορίσουμε αν αντιστοιχεί σε μια αντίστοιχη παράμετρο.