Õpiobjektid -> Binaarsete tunnuste analüüsimeetodid

BINAARSETE TUNNUSTE ANALÜÜSIMEETODID


Õpiobjekti kirjeldus
Õpijuhis
 
1. Sissejuhatus
2. Binaarse tunnuse seos mittearvulise tunnusega või diskreetse arvtunnusega
3. Binaarse tunnuse seos pideva arvtunnusega
4. Enesekontroll
Lisa
¤ Kogu materjal ühe pdf-failina: bin_tunnuste_analyys.pdf

ROC-kõvera alune pindala

ROC-kõvera alune pindala (ingl. area under the curve, AUC) on üks testi /mudeli headuse mõõte. Kui uuritava sündmuse toimumist ennustada näiteks kulli ja kirja viskamise teel, on ennustuse täpsus 0,5 (50%) - seega vastab AUC = 0,5 juhule, kus mudeli argument mingit rolli ei mängi, ehk mingit seost ei ole. Mida enam erineb AUC 0,5-st, seda täpsemini antud mudel ennustab ehk prognoosib (seda parem on mudel).

Kokkuleppelised piirid, hindamaks testi/mudeli headust on järgmised:

  • kui AUC≥0,9, siis on testi/mudeli täpsus suurepärane (ingl. excellent),
  • AUC≥0,8 puhul hea (ingl. good),
  • AUC≥0,7 puhul rahuldav (ingl. fair),
  • AUC≥0,6 puhul kasin (ingl. poor) ja alla selle ei ole erilist mõtet ennustuse/prognoosi täpsusest rääkida.

Kui statistiliste analüüside teostamisel kasutatav tarkvara väljastab lisaks ROC-kõvera aluse pinna suurusele ka selle 95%-lise usaldusaintervalli 95%CIAUC, on viimane kasutatav otsustamaks mudeli statistilise olulisuse üle:

  • kui argumenttunnuse ja prognoositava sündmuse sõltumatuse juhule (nullhüpoteesile) vastav arv 0,5 jääb usaldusintervalli sisse, ei ole mudel statistiliselt oluline (0,5Î95%CIAUC -> p>0,05),
  • kui aga usaldusintervall arvu 0,5 ei sisalda, on prognoosimudel statistiliselt oluline (0,5Ï95%CIAUC -> p<0,05).

Tudengite näites tuleb ROC-kõvera aluse pinna suuruseks AUC = 0,878, mistap võib tudengite soo prognoosimise täpsust nädalase keskmise õlletarbimise alusel lugeda heaks.

Et ROC-kõvera aluse pindala 95%-line usaldusintervall 95%CIAUC = (0,785; 0,970) ei sisalda arvu 0,5, võib seose tudengite õlletarbimise ja soo vahel lugeda ka statistiliselt oluliseks (p<0,05).

 


< Eelmine

Creative Commons License Creative Commons Attribution-NonCommercial-NoDerivs 3.0 Unported License