Conditional probability at Bayes formula. Kabuuang Formula ng Probability

Sino si Bayes? At ano ang kinalaman nito sa pamamahala? – maaaring sundan ng medyo patas na tanong. Sa ngayon, tanggapin ang aking salita para dito: ito ay napakahalaga! .. at kawili-wili (kahit para sa akin).

Anong paradigma ang pinapatakbo ng karamihan sa mga tagapamahala: kung may napansin ako, anong mga konklusyon ang maaari kong makuha mula dito? Ano ang itinuturo ni Bayes: ano talaga ang dapat para maobserbahan ko ang bagay na ito? Ito ay kung paano umunlad ang lahat ng mga agham, at nagsusulat siya tungkol dito (sinipi ko mula sa memorya): ang isang tao na walang teorya sa kanyang ulo ay mahihiya mula sa isang ideya patungo sa isa pa sa ilalim ng impluwensya ng iba't ibang mga kaganapan (obserbasyon). Hindi para sa walang sinasabi nila: walang mas praktikal kaysa sa isang mahusay na teorya.

Isang halimbawa mula sa pagsasanay. Ang aking nasasakupan ay nagkakamali, at ang aking kasamahan (ang pinuno ng ibang departamento) ay nagsabi na siya ay dapat epekto ng pamamahala sa isang pabaya na empleyado (sa madaling salita, upang parusahan / pagalitan). At alam ko na ang empleyadong ito ay gumagawa ng 4-5,000 ng parehong uri ng mga operasyon bawat buwan, at sa panahong ito siya ay gumagawa ng hindi hihigit sa 10 mga pagkakamali. Pakiramdam ang pagkakaiba sa paradigm? Ang aking kasamahan ay tumugon sa obserbasyon, at mayroon akong priori na kaalaman na ang isang empleyado ay gumagawa ng isang tiyak na bilang ng mga pagkakamali, kaya ang isa pa ay hindi nakaapekto sa kaalamang ito ... Ngayon, kung sa katapusan ng buwan ay lumabas na mayroong, para sa halimbawa, 15 tulad ng mga pagkakamali! .. Ito ay magiging dahilan upang siyasatin ang mga sanhi ng hindi pagsunod sa mga pamantayan.

Kumbinsido sa kahalagahan ng pamamaraang Bayesian? naiintriga? Sana". At ngayon ay isang langaw sa pamahid. Sa kasamaang palad, ang mga ideya ng Bayesian ay bihirang ibigay sa unang pagkakataon. Sa totoo lang hindi ako pinalad, dahil nakilala ko ang mga ideyang ito popular na panitikan, pagkatapos basahin kung saan maraming tanong ang naiwan. Kapag nagpaplanong magsulat ng isang tala, kinolekta ko ang lahat ng nauna kong binalangkas ayon kay Bayes, at pinag-aralan din ang isinulat nila sa Internet. Ipinakita ko sa iyo ang aking pinakamahusay na hula sa paksa. Panimula sa Bayesian Probability.

Derivation ng Bayes' theorem

Isaalang-alang ang sumusunod na eksperimento: pinangalanan namin ang anumang numerong nasa segment at inaayos kapag ang numerong ito ay, halimbawa, sa pagitan ng 0.1 at 0.4 (Fig. 1a). Ang posibilidad ng kaganapang ito ay katumbas ng ratio ng haba ng segment sa kabuuang haba ng segment, sa kondisyon na ang paglitaw ng mga numero sa segment equiprobable. Sa matematika, maaari itong isulat p(0,1 <= x <= 0,4) = 0,3, или кратко R(X) = 0.3, kung saan R- posibilidad, X ay isang random na variable sa hanay, X ay isang random na variable sa hanay . Iyon ay, ang posibilidad na matamaan ang segment ay 30%.

kanin. 1. Graphical na interpretasyon ng mga probabilidad

Ngayon isaalang-alang ang parisukat na x (Larawan 1b). Sabihin nating kailangan nating pangalanan ang mga pares ng mga numero ( x, y), ang bawat isa ay mas malaki sa zero at mas mababa sa isa. Ang posibilidad na x(unang numero) ay nasa loob ng segment (asul na lugar 1), katumbas ng ratio ng lugar ng asul na lugar sa lugar ng buong parisukat, iyon ay, (0.4 - 0.1). ) * (1 - 0) / (1 * 1) = 0, 3, iyon ay, ang parehong 30%. Ang posibilidad na y nasa loob ng segment (berdeng lugar 2) ay katumbas ng ratio ng lugar ng berdeng lugar sa lugar ng buong parisukat p(0,5 <= y <= 0,7) = 0,2, или кратко R(Y) = 0,2.

Ano ang maaaring matutunan tungkol sa mga halaga sa parehong oras x at y. Halimbawa, ano ang posibilidad na pareho x at y ay nasa kaukulang ibinigay na mga segment? Upang gawin ito, kailangan mong kalkulahin ang ratio ng lugar ng domain 3 (ang intersection ng berde at asul na mga guhitan) sa lugar ng buong parisukat: p(X, Y) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.

Ngayon ipagpalagay na gusto nating malaman kung ano ang posibilidad na iyon y ay nasa pagitan kung x ay nasa hanay na. Iyon ay, sa katunayan, mayroon kaming isang filter at kapag tumawag kami ng mga pares ( x, y), pagkatapos ay agad naming itinatapon ang mga pares na iyon na hindi nakakatugon sa kondisyon para sa paghahanap x sa isang naibigay na agwat, at pagkatapos ay mula sa mga na-filter na pares binibilang namin ang para sa kung saan y natutugunan ang aming kondisyon at isaalang-alang ang posibilidad bilang ratio ng bilang ng mga pares kung saan y nasa itaas na segment sa kabuuang bilang ng mga na-filter na pares (iyon ay, kung saan x namamalagi sa segment). Maaari naming isulat ang posibilidad na ito bilang p(Y|X sa X tumama sa hanay." Malinaw, ang posibilidad na ito ay katumbas ng ratio ng lugar ng lugar 3 sa lugar ng asul na lugar 1. Ang lugar ng lugar 3 ay (0.4 - 0.1) * (0.7 - 0.5) = 0.06, at ang lugar ng asul na lugar 1 ( 0.4 - 0.1) * (1 - 0) = 0.3, kung gayon ang kanilang ratio ay 0.06 / 0.3 = 0.2. Sa madaling salita, ang posibilidad ng paghahanap y sa segment, sa kondisyon na x nabibilang sa segment p(Y|X) = 0,2.

Sa nakaraang talata, aktwal naming binabalangkas ang pagkakakilanlan: p(Y|X) = p(X, Y) /p( X). Ang nakasulat ay: "probability of hit sa sa hanay, sa kondisyon na X ang hit sa hanay ay katumbas ng ratio ng posibilidad ng sabay-sabay na hit X nasa hanay at sa sa hanay, sa posibilidad ng pagtama X sa hanay."

Sa pamamagitan ng pagkakatulad, isaalang-alang ang posibilidad p(X|Y). Couple ang tawag namin x, y) at i-filter ang mga para saan y nasa pagitan ng 0.5 at 0.7, pagkatapos ay ang posibilidad na x ay nasa segment na ibinigay na y nabibilang sa segment ay katumbas ng ratio ng lugar ng lugar 3 sa lugar ng berdeng lugar 2: p(X|Y) = p(X, Y) / p(Y).

Tandaan na ang mga probabilidad p(X, Y) at p(Y, X) ay pantay, at pareho ay katumbas ng ratio ng lugar ng zone 3 sa lugar ng buong parisukat, ngunit ang mga probabilidad p(Y|X) at p(X|Y) hindi pantay; habang ang posibilidad p(Y|X) ay katumbas ng ratio ng area ng area 3 hanggang area 1, at p(X|Y) – domain 3 hanggang domain 2. Tandaan din iyon p(X, Y) ay madalas na tinutukoy bilang p(X&Y).

Kaya mayroon kaming dalawang kahulugan: p(Y|X) = p(X, Y) /p( X) at p(X|Y) = p(X, Y) / p(Y)

Isulat muli natin ang mga pagkakapantay-pantay na ito bilang: p(X, Y) = p(Y|X)*p( X) at p(X, Y) = p(X|Y) * p(Y)

Dahil ang mga kaliwang bahagi ay pantay, gayon din ang mga kanan: p(Y|X)*p( X) = p(X|Y) * p(Y)

O maaari nating muling isulat ang huling pagkakapantay-pantay bilang:

Ito ang theorem ni Bayes!

Posible ba na ang gayong simpleng (halos tautological) na mga pagbabagong-anyo ay nagbubunga ng isang mahusay na teorama!? Huwag magmadali sa mga konklusyon. Pag-usapan natin muli kung ano ang nakuha natin. Nagkaroon ng ilang paunang (a priori) na posibilidad R(X) na ang random variable X pantay na ipinamamahagi sa segment ay nasa loob ng hanay X. May nangyari na Y, bilang resulta kung saan nakuha namin ang posterior probability ng parehong random variable X: R(X|Y), at ang posibilidad na ito ay naiiba sa R(X) sa pamamagitan ng coefficient . Kaganapan Y tinatawag na ebidensiya, mas marami o hindi gaanong nagpapatunay o nagpapabulaanan X. Ang coefficient na ito ay tinatawag minsan kapangyarihan ng ebidensya. Kung mas malakas ang ebidensya, mas mababago ng katotohanan ng obserbasyon Y ang naunang posibilidad, mas naiiba ang posterior probability sa nauna. Kung mahina ang ebidensya, ang posterior ay halos katumbas ng nauna.

Formula ng Bayes para sa mga discrete random variable

Sa nakaraang seksyon, nakuha namin ang formula ng Bayes para sa tuluy-tuloy na random na variable na x at y na tinukoy sa pagitan. Isaalang-alang ang isang halimbawa na may mga discrete random variable, bawat isa ay kumukuha ng dalawang posibleng halaga. Sa kurso ng mga regular na medikal na eksaminasyon, natagpuan na sa edad na apatnapu, 1% ng mga kababaihan ang dumaranas ng kanser sa suso. 80% ng mga babaeng may kanser ay nakakakuha ng mga positibong resulta ng mammography. 9.6% ng malulusog na kababaihan ay nakakakuha din ng mga positibong resulta ng mammography. Sa panahon ng pagsusuri, isang babae sa pangkat ng edad na ito ang nakatanggap ng positibong resulta ng mammogram. Ano ang posibilidad na mayroon talaga siyang breast cancer?

Ang kurso ng pangangatwiran/pagkalkula ay ang mga sumusunod. Sa 1% ng mga pasyente ng cancer, ang mammography ay magbibigay ng 80% positibong resulta = 1% * 80% = 0.8%. Sa 99% ng malusog na kababaihan, ang mammography ay magbibigay ng 9.6% positibong resulta = 99% * 9.6% = 9.504%. Sa kabuuan, sa 10.304% (9.504% + 0.8%) na may positibong resulta ng mammogram, 0.8% lang ang may sakit, at ang natitirang 9.504% ay malusog. Kaya, ang posibilidad na ang isang babaeng may positibong mammogram ay may kanser ay 0.8% / 10.304% = 7.764%. Naisip mo ba na 80% o higit pa?

Sa aming halimbawa, ang formula ng Bayes ay kumukuha ng sumusunod na anyo:

Pag-usapan natin muli ang "pisikal" na kahulugan ng formula na ito. X ay isang random na variable (diagnosis), na kumukuha ng mga sumusunod na halaga: X 1- may sakit at X 2- malusog; Y– random variable (resulta ng pagsukat - mammography), na kumukuha ng mga halaga: Y 1- isang positibong resulta at Y2- negatibong resulta; p(X 1)- ang posibilidad ng pagkakasakit bago ang mammography (isang priori probability), katumbas ng 1%; R(Y 1 |X 1 ) – ang posibilidad ng isang positibong resulta kung ang pasyente ay may sakit (kondisyon na posibilidad, dahil dapat itong tukuyin sa mga kondisyon ng gawain), katumbas ng 80%; R(Y 1 |X 2 ) – ang posibilidad ng isang positibong resulta kung ang pasyente ay malusog (din kondisyon na posibilidad), katumbas ng 9.6%; p(X 2)- ang posibilidad na ang pasyente ay malusog bago ang mammography (isang priori probability), katumbas ng 99%; p(X 1|Y 1 ) – ang posibilidad na ang pasyente ay may sakit, na binigyan ng positibong resulta ng mammogram (posterior probability).

Makikita na ang posterior probability (kung ano ang hinahanap natin) ay proporsyonal sa naunang probabilidad (initial) na may bahagyang mas kumplikadong koepisyent. . Muli kong idiin. Sa aking opinyon, ito ay isang pangunahing aspeto ng pamamaraang Bayesian. Dimensyon ( Y) nagdagdag ng isang tiyak na halaga ng impormasyon sa unang magagamit (a priori), na nilinaw ang aming kaalaman tungkol sa bagay.

Mga halimbawa

Upang pagsamahin ang materyal na sakop, subukang lutasin ang ilang mga problema.

Halimbawa 1 Mayroong 3 urns; sa unang 3 puting bola at 1 itim; sa pangalawa - 2 puting bola at 3 itim; sa pangatlo - 3 puting bola. May random na lumapit sa isa sa mga urn at bumunot ng 1 bola mula dito. Ang bolang ito ay puti. Hanapin ang posterior probabilities na ang bola ay nakuha mula sa 1st, 2nd, 3rd urn.

Solusyon. Mayroon kaming tatlong hypotheses: H 1 = (napili ang unang urn), H 2 = (pinili ang pangalawang urn), H 3 = (pinili ang ikatlong urn). Dahil ang urn ay pinili nang random, ang a priori probabilities ng mga hypotheses ay: Р(Н 1) = Р(Н 2) = Р(Н 3) = 1/3.

Bilang resulta ng eksperimento, lumitaw ang kaganapan A = (isang puting bola ang kinuha mula sa napiling urn). Mga kondisyon na probabilidad ng kaganapan A sa ilalim ng mga hypotheses H 1, H 2, H 3: P(A|H 1) = 3/4, P(A|H 2) = 2/5, P(A|H 3) = 1. Halimbawa , ang unang pagkakapantay-pantay ay ganito: "ang posibilidad na gumuhit ng puting bola kung ang unang urn ang napili ay 3/4 (dahil mayroong 4 na bola sa unang urn, at 3 sa mga ito ay puti)".

Sa paglalapat ng formula ng Bayes, makikita natin ang posterior probabilities ng hypotheses:

Kaya, sa liwanag ng impormasyon tungkol sa paglitaw ng kaganapan A, ang mga probabilidad ng mga hypotheses ay nagbago: ang pinaka-malamang ay naging hypothesis H 3 , ang hindi bababa sa malamang - ang hypothesis H 2 .

Halimbawa 2 Dalawang shooter ang independiyenteng bumaril sa parehong target, bawat isa ay nagpapaputok ng isang putok. Ang posibilidad na matamaan ang target para sa unang tagabaril ay 0.8, para sa pangalawa - 0.4. Matapos ang pamamaril, isang butas ang natagpuan sa target. Hanapin ang posibilidad na ang butas na ito ay kabilang sa unang tagabaril (itinatapon namin ang kinalabasan (parehong mga butas na nagkataon) bilang hindi malamang na malamang).

Solusyon. Bago ang eksperimento, ang mga sumusunod na hypotheses ay posible: H 1 = (ni ang una o ang pangalawang arrow ay hindi tatama), H 2 = (ang parehong mga arrow ay tatama), H 3 - (ang unang tagabaril ay tatama, at ang pangalawa ay hindi tatama). ), H 4 = (hindi tatama ang unang tagabaril, at tatama ang pangalawa). Mga naunang probabilidad ng mga hypotheses:

P (H 1) \u003d 0.2 * 0.6 \u003d 0.12; P (H 2) \u003d 0.8 * 0.4 \u003d 0.32; P (H 3) \u003d 0.8 * 0.6 \u003d 0.48; P (H 4) \u003d 0.2 * 0.4 \u003d 0.08.

Ang mga conditional probabilities ng naobserbahang kaganapan A = (may isang butas sa target) sa ilalim ng mga hypotheses na ito ay: P(A|H 1) = P(A|H 2) = 0; P(A|H 3) = P(A|H 4) = 1

Pagkatapos ng karanasan, ang mga hypotheses H 1 at H 2 ay naging imposible, at ang posterior probabilities ng hypotheses H 3 at H 4 ayon sa Bayes formula ay:

Bayes laban sa spam

Ang formula ng Bayes ay nakahanap ng malawak na aplikasyon sa pagbuo ng mga filter ng spam. Sabihin nating gusto mong sanayin ang isang computer upang matukoy kung aling mga email ang spam. Magsisimula tayo sa diksyunaryo at mga kumbinasyon ng salita gamit ang mga pagtatantya ng Bayesian. Gumawa muna tayo ng puwang ng mga hypotheses. Magkaroon tayo ng 2 hypotheses tungkol sa anumang titik: Ang H A ay spam, ang H B ay hindi spam, ngunit isang normal, kinakailangang sulat.

Una, "sanayin" natin ang ating hinaharap na anti-spam system. Kunin natin ang lahat ng mga titik na mayroon tayo at hatiin ang mga ito sa dalawang "bunton" ng 10 titik. Naglalagay kami ng mga spam na titik sa isa at tinawag itong H A heap, sa kabilang banda ay inilalagay namin ang kinakailangang sulat at tinawag itong H B heap. Ngayon tingnan natin: anong mga salita at parirala ang matatagpuan sa spam at mga kinakailangang email at sa anong dalas? Ang mga salita at pariralang ito ay tatawaging ebidensiya at tinutukoy ng E 1 , E 2 ... Lumalabas na ang mga karaniwang ginagamit na salita (halimbawa, ang mga salitang "tulad", "iyo") sa mga tambak na H A at H B ay nangyayari na may humigit-kumulang na parehong dalas. Kaya, ang pagkakaroon ng mga salitang ito sa isang liham ay walang sinasabi sa atin kung saang bunton ito kabilang (mahinang ebidensya). Magtalaga tayo sa mga salitang ito ng neutral na halaga ng pagtatantya ng posibilidad ng "spam", sabihin nating, 0.5.

Hayaang lumabas ang pariralang "conversational English" sa 10 titik lang, at mas madalas sa mga spam na email (halimbawa, sa 7 spam na email sa lahat ng 10) kaysa sa mga tama (sa 3 sa 10). Bigyan natin ang pariralang ito ng mas mataas na marka na 7/10 para sa spam, at mas mababang marka para sa mga normal na email: 3/10. Sa kabaligtaran, lumabas na ang salitang "buddy" ay mas karaniwan sa mga normal na titik (6 sa 10). At kaya nakatanggap kami ng isang maikling sulat: “Kaibigan! Kumusta ang iyong sinasalitang Ingles?. Subukan nating suriin ang "spamness" nito. Ilalagay namin ang mga pangkalahatang pagtatantya na P(H A), P(H B) ng pag-aari sa bawat heap gamit ang medyo pinasimpleng formula ng Bayes at ang aming tinatayang mga pagtatantya:

P(H A) = A/(A+B), saan A \u003d p a1 * p a2 * ... * pan, B \u003d p b1 * p b2 * ... * p b n \u003d (1 - p a1) * (1 - p a2) * ... * ( 1 - p an).

Talahanayan 1. Pinasimple (at hindi kumpleto) Bayesian na pagsusuri sa pagsulat

Kaya, ang aming hypothetical na sulat ay nakatanggap ng isang pagtatasa ng posibilidad ng pag-aari na may diin sa direksyon ng "spam". Maaari ba tayong magpasya na itapon ang sulat sa isa sa mga tambak? Itakda natin ang mga limitasyon ng desisyon:

Ipagpalagay natin na ang titik ay kabilang sa heap H i kung P(H i) ≥ T.
Ang titik ay hindi kabilang sa heap kung P(H i) ≤ L.
Kung L ≤ P(H i) ≤ T, walang desisyon ang maaaring gawin.

Maaari kang kumuha ng T = 0.95 at L = 0.05. Dahil para sa liham na pinag-uusapan at 0.05< P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?

Oo. Kalkulahin natin ang marka para sa bawat piraso ng ebidensya sa ibang paraan, tulad ng iminungkahi ni Bayes. Hayaan:

Ang F a ay ang kabuuang bilang ng mga spam na email;

Ang F ai ay ang bilang ng mga titik na may sertipiko i sa isang tumpok ng spam;

Ang F b ay ang kabuuang bilang ng mga titik na kailangan;

Ang F bi ay ang bilang ng mga titik na may sertipiko i sa isang tumpok ng kinakailangang (kaugnay) na mga titik.

Pagkatapos: p ai = F ai /F a , p bi = F bi /F b . P(H A) = A/(A+B), P(H B) = B/(A+B), saanА = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n

Pakitandaan na ang mga marka ng ebidensya na salita p ai at p bi ay naging layunin at maaaring kalkulahin nang walang interbensyon ng tao.

Talahanayan 2. Isang mas tumpak (ngunit hindi kumpleto) na pagtatantya ng Bayesian para sa mga available na feature mula sa isang liham

Nakakuha kami ng isang tiyak na resulta - na may malaking margin ng posibilidad, ang liham ay maaaring maiugnay sa mga kinakailangang titik, dahil P(H B) = 0.997 > T = 0.95. Bakit nagbago ang resulta? Dahil gumamit kami ng higit pang impormasyon - isinaalang-alang namin ang bilang ng mga titik sa bawat isa sa mga tambak at, sa pamamagitan ng paraan, natukoy ang mga pagtatantya ng p ai at p bi nang mas tama. Natukoy sila sa parehong paraan tulad ng ginawa mismo ni Bayes, sa pamamagitan ng pagkalkula ng mga kondisyon na probabilidad. Sa madaling salita, ang p a3 ay ang posibilidad na ang salitang "buddy" ay lilitaw sa email, dahil ang email ay nabibilang na sa spam heap H A . Hindi nagtagal dumating ang resulta - tila makakagawa tayo ng desisyon nang may higit na katiyakan.

Bayes vs Corporate Fraud

Ang isang kawili-wiling aplikasyon ng diskarte sa Bayesian ay inilarawan ng MAGNUS8.

Ang aking kasalukuyang proyekto (IS para sa pag-detect ng panloloko sa isang kumpanya ng pagmamanupaktura) ay gumagamit ng pormula ng Bayes upang matukoy ang posibilidad ng pandaraya (panloloko) sa pagkakaroon / kawalan ng ilang mga katotohanan nang hindi direktang pabor sa hypothesis ng posibilidad ng pandaraya. Ang algorithm ay self-learning (na may feedback), i.e. muling kinakalkula ang mga coefficient nito (mga kondisyong probabilidad) sa aktwal na kumpirmasyon o hindi pagkumpirma ng pandaraya sa panahon ng pag-verify ng serbisyo sa seguridad ng ekonomiya.

Marahil ay nagkakahalaga ng pagsasabi na ang mga ganitong pamamaraan kapag nagdidisenyo ng mga algorithm ay nangangailangan ng medyo mataas na kultura ng matematika ng developer, dahil ang pinakamaliit na error sa derivation at/o pagpapatupad ng mga computational formula ay magpapawalang-bisa at magpapawalang-saysay sa buong pamamaraan. Ang mga probabilistikong pamamaraan ay lalo na nagkasala nito, dahil ang pag-iisip ng tao ay hindi iniangkop upang gumana sa mga probabilistikong kategorya at, nang naaayon, walang "visibility" at pag-unawa sa "pisikal na kahulugan" ng intermediate at final probabilistic na mga parameter. Ang ganitong pag-unawa ay umiiral lamang para sa mga pangunahing konsepto ng teorya ng posibilidad, at pagkatapos ay kailangan mo lamang na maingat na pagsamahin at makuha ang mga kumplikadong bagay ayon sa mga batas ng teorya ng posibilidad - ang sentido komun ay hindi na makakatulong para sa mga pinagsama-samang bagay. Ito, sa partikular, ay nauugnay sa medyo malubhang mga labanan sa pamamaraan na nagaganap sa mga pahina ng mga modernong libro sa pilosopiya ng posibilidad, pati na rin ang isang malaking bilang ng mga sophism, kabalintunaan at pag-usisa sa paksang ito.

Ang isa pang nuance na kinailangan kong harapin ay, sa kasamaang-palad, halos lahat ng higit pa o hindi gaanong kapaki-pakinabang sa pagsasabuhay sa paksang ito ay nakasulat sa Ingles. Sa mga mapagkukunan sa wikang Ruso, mayroon lamang isang kilalang teorya na may mga halimbawang demonstrasyon lamang para sa mga pinaka-primitive na kaso.

Lubos akong sumasang-ayon sa huling komento. Halimbawa, ang Google, kapag sinusubukang maghanap ng isang bagay tulad ng aklat na "Bayesian Probability," ay hindi nagbigay ng anumang bagay na mauunawaan. Totoo, sinabi niya na ang isang libro na may mga istatistika ng Bayesian ay pinagbawalan sa China. (Iniulat ng propesor ng istatistika na si Andrew Gelman sa isang blog sa Columbia University na ang kanyang aklat, Data Analysis with Regression and Multilevel/Hierarchical Models, ay pinagbawalan mula sa paglalathala sa China. text.”) Siguro kung ang isang katulad na dahilan ay humantong sa kawalan ng mga libro sa Bayesian probabilidad sa Russia?

Conservatism sa proseso ng pagproseso ng impormasyon ng tao

Tinutukoy ng mga probabilidad ang antas ng kawalan ng katiyakan. Ang posibilidad, pareho ayon kay Bayes at sa aming intuwisyon, ay isang numero lamang sa pagitan ng zero at kung ano ang kumakatawan sa antas kung saan ang isang medyo idealized na tao ay naniniwala na ang pahayag ay totoo. Ang dahilan kung bakit ang isang tao ay medyo idealized ay ang kabuuan ng kanyang mga probabilidad para sa dalawang magkahiwalay na mga kaganapan ay dapat na katumbas ng kanyang probabilidad ng alinman sa mga kaganapang naganap. Ang pag-aari ng additivity ay may ganoong mga implikasyon na ilang mga tunay na tao ang maaaring tumugma sa kanilang lahat.

Ang theorem ni Bayes ay isang maliit na bunga ng pag-aari ng additivity, hindi maikakaila at napagkasunduan ng lahat ng probabilists, Bayesian at iba pa. Ang isang paraan ng pagsulat nito ay ang mga sumusunod. Kung ang P(H A |D) ay ang kasunod na posibilidad na ang hypothesis A ay matapos ang ibinigay na halaga D ay naobserbahan, ang P(H A) ay ang naunang probabilidad nito bago ang ibinigay na halaga D ay naobserbahan, ang P(D|H A ) ay ang posibilidad na ang isang ang ibinigay na halaga D ay oobserbahan, kung ang H A ay totoo, at ang P(D) ay ang walang kondisyong posibilidad ng isang ibinigay na halaga D, kung gayon

(1) P(H A |D) = P(D|H A) * P(H A) / P(D)

Pinakamabuting isipin ang P(D) bilang isang normalizing constant na nagdudulot ng posterior probabilities na magdagdag ng hanggang isa sa kumpletong hanay ng mga hypotheses na kapwa eksklusibo na isinasaalang-alang. Kung kailangan itong kalkulahin, maaari itong maging ganito:

Ngunit mas madalas ang P(D) ay inalis sa halip na binibilang. Ang isang maginhawang paraan upang maalis ito ay ang pagbabagong-anyo ng teorama ni Bayes sa anyo ng ugnayang probability-odds.

Isaalang-alang ang isa pang hypothesis, H B , kapwa eksklusibo sa H A, at baguhin ang iyong isip tungkol dito batay sa parehong ibinigay na dami na nagpabago sa iyong isip tungkol sa H A. Sinasabi ng teorama ni Bayes na

(2) P(H B |D) = P(D|H B) * P(H B) / P(D)

Ngayon hinati namin ang Equation 1 sa Equation 2; ang magiging resulta ay ganito:

kung saan ang Ω 1 ay ang posterior odds na pabor sa H A sa mga tuntunin ng H B , Ω 0 ang mga naunang odds, at ang L ay isang numero na pamilyar sa mga istatistika bilang ratio ng mga probabilidad. Ang Equation 3 ay ang parehong may-katuturang bersyon ng Bayes' theorem bilang Equation 1, at kadalasan ay mas kapaki-pakinabang lalo na para sa mga eksperimento na kinasasangkutan ng mga hypotheses. Ipinapangatuwiran ng mga tagapagtaguyod ng Bayesian na ang teorama ng Bayes ay isang pormal na pinakamainam na tuntunin para sa kung paano baguhin ang mga opinyon sa liwanag ng bagong data.

Kami ay interesado sa paghahambing ng perpektong pag-uugali na tinukoy ng Bayes' theorem sa aktwal na pag-uugali ng mga tao. Upang bigyan ka ng ilang ideya kung ano ang ibig sabihin nito, subukan natin ang isang eksperimento sa iyo bilang paksa. Ang bag na ito ay naglalaman ng 1000 poker chips. Mayroon akong dalawa sa mga bag na ito, ang isa ay may 700 pula at 300 asul na chip, at ang isa ay may 300 pula at 700 asul. Nag-flip ako ng barya para matukoy kung alin ang gagamitin. Kaya, kung ang aming mga opinyon ay pareho, ang iyong kasalukuyang posibilidad na gumuhit ng isang bag na may mas maraming pulang chips ay 0.5. Ngayon, random kang nagsa-sample, bumabalik pagkatapos ng bawat token. Sa 12 chips, makakakuha ka ng 8 pula at 4 na asul. Ngayon, batay sa lahat ng iyong nalalaman, ano ang posibilidad na magkaroon ng mas maraming pula ang isang bag? Ito ay malinaw na ito ay mas mataas kaysa sa 0.5. Mangyaring huwag ipagpatuloy ang pagbabasa hanggang sa naitala mo ang iyong rating.

Kung mukha kang karaniwang paksa, ang iyong marka ay nasa pagitan ng 0.7 at 0.8. Kung gagawin namin ang kaukulang pagkalkula, gayunpaman, ang sagot ay magiging 0.97. Sa katunayan, napakabihirang para sa isang tao na hindi pa naipakita sa nakaraan ang impluwensya ng konserbatismo na makabuo ng ganoong mataas na pagtatantya, kahit na pamilyar siya sa teorama ni Bayes.

Kung ang proporsyon ng pulang chips sa bag ay R, pagkatapos ay ang posibilidad ng pagkuha r pulang chips at ( n-r) asul sa n mga sample na may pagbabalik - p r (1–p)n–r. Kaya, sa isang tipikal na bag at poker chip eksperimento, kung HA nangangahulugan na ang proporsyon ng pulang chips ay r A at HB nangangahulugan na ang bahagi ay RB, pagkatapos ay ang probability ratio:

Kapag inilalapat ang pormula ni Bayes, tanging ang posibilidad ng aktwal na obserbasyon lamang ang dapat isaalang-alang, at hindi ang mga probabilidad ng iba pang mga obserbasyon na maaaring ginawa niya ngunit hindi. Ang prinsipyong ito ay may malawak na implikasyon para sa lahat ng estadistika at hindi istatistikal na aplikasyon ng Bayes' theorem; ito ang pinakamahalagang kasangkapang teknikal ng pag-iisip ng Bayesian.

Rebolusyong Bayesian

Ang iyong mga kaibigan at kasamahan ay nag-uusap tungkol sa isang bagay na tinatawag na "Bayes' Theorem" o "Bayesian rule" o isang bagay na tinatawag na Bayesian thinking. Talagang gusto nila ito, kaya mag-online ka at makahanap ka ng isang pahina tungkol sa teorama ni Bayes at... Ito ay isang equation. At iyon lang... Bakit ang isang mathematical na konsepto ay nagdudulot ng ganitong sigasig sa isipan? Anong uri ng "Bayesian revolution" ang nagaganap sa mga siyentipiko, at pinagtatalunan na kahit ang eksperimentong diskarte mismo ay maaaring ilarawan bilang espesyal na kaso nito? Ano ang sikreto na alam ng mga tagasunod ni Bayes? Anong klaseng liwanag ang nakikita nila?

Ang rebolusyong Bayesian sa agham ay hindi nangyari dahil parami nang parami ang mga siyentipikong nagbibigay-malay na biglang nagsimulang mapansin na ang mga penomenong pangkaisipan ay may istrukturang Bayesian; hindi dahil ang mga siyentipiko sa bawat larangan ay nagsimulang gumamit ng pamamaraang Bayesian; ngunit dahil ang agham mismo ay isang espesyal na kaso ng teorama ni Bayes; Ang ebidensyang pang-eksperimento ay ebidensya ng Bayesian. Ang mga rebolusyonaryo ng Bayesian ay nangangatuwiran na kapag gumawa ka ng isang eksperimento at nakakuha ka ng katibayan na "sumusuporta" o "tinatanggihan" ang iyong teorya, ang kumpirmasyon o pagtanggi na iyon ay nangyayari ayon sa mga panuntunan ng Bayesian. Halimbawa, dapat mong isaalang-alang hindi lamang na ang iyong teorya ay maaaring ipaliwanag ang kababalaghan, ngunit mayroon ding iba pang mga posibleng paliwanag na maaari ring mahulaan ang hindi pangkaraniwang bagay na ito.

Noong nakaraan, ang pinakasikat na pilosopiya ng agham ay ang lumang pilosopiya na inilipat ng rebolusyong Bayesian. Ang ideya ni Karl Popper na ang mga teorya ay maaaring ganap na palsipikado, ngunit hindi kailanman ganap na nakumpirma, ay isa pang espesyal na kaso ng mga panuntunan ng Bayesian; kung p(X|A) ≈ 1 - kung ang teorya ay gumagawa ng mga tamang hula, kung gayon ang obserbasyon ~X ay nagpapalsipika ng A nang napakalakas. ang teorya nang labis; ilang iba pang kundisyon B ay posible, tulad na p(X|B) ≈ 1, at kung saan ang pagmamasid sa X ay hindi ebidensya para sa A ngunit ebidensya para sa B. Upang maobserbahan ang X na tiyak na nagpapatunay sa A, hindi natin dapat malaman na p( X|A) ≈ 1 at ang p(X|~A) ≈ 0, na hindi natin malalaman dahil hindi natin maisasaalang-alang ang lahat ng posibleng alternatibong paliwanag. Halimbawa, nang ang teorya ng pangkalahatang relativity ni Einstein ay nalampasan ang lubos na napapatunayan na teorya ng grabidad ni Newton, ginawa nitong espesyal na kaso ng Einstein ang lahat ng mga hula ng teorya ni Newton.

Katulad nito, ang pag-aangkin ni Popper na ang isang ideya ay dapat na mapeke ay maaaring bigyang-kahulugan bilang isang manipestasyon ng panuntunan ng Bayesian tungkol sa konserbasyon ng posibilidad; kung ang resulta X ay positibong katibayan para sa teorya, kung gayon ang resulta ~X ay dapat na huwad ang teorya sa ilang lawak. Kung sinusubukan mong bigyang-kahulugan ang parehong X at ~X bilang "sumusuporta" sa isang teorya, sinasabi ng mga panuntunan ng Bayesian na imposible iyon! Upang mapataas ang posibilidad ng isang teorya, dapat mong isailalim ito sa mga pagsubok na maaaring makabawas sa posibilidad nito; ito ay hindi lamang isang panuntunan upang makita ang mga charlatan sa agham, ngunit isang resulta ng Bayesian Probability Theorem. Sa kabilang banda, mali ang ideya ni Popper na falsification lang ang kailangan at walang kumpirmasyon ang kailangan. Ang Teorem ni Bayes ay nagpapakita na ang falsification ay napakalakas na ebidensya kumpara sa confirmation, ngunit ang falsification ay probabilistic pa rin sa kalikasan; ito ay hindi pinamamahalaan sa pamamagitan ng panimula iba't ibang mga patakaran at hindi naiiba sa ito mula sa kumpirmasyon, bilang Popper argues.

Kaya nalaman namin na maraming mga phenomena sa mga nagbibigay-malay na agham, kasama ang mga istatistikal na pamamaraan na ginagamit ng mga siyentipiko, kasama ang siyentipikong pamamaraan mismo, ay pawang mga espesyal na kaso ng Bayes' theorem. Ito ang ibig sabihin ng Bayesian revolution.

Maligayang pagdating sa Bayesian Conspiracy!

Panitikan sa Bayesian Probability

2. Ang Nobel laureate sa economics Kahneman (et al.) ay naglalarawan ng maraming iba't ibang mga aplikasyon ng Bayes sa isang kahanga-hangang libro. Sa aking buod ng napakalaking aklat na ito lamang, binilang ko ang 27 na pagtukoy sa pangalan ng isang ministro ng Presbyterian. Mga minimum na formula. (.. Talagang nagustuhan ko ito. Totoo, ito ay kumplikado, maraming matematika (at kung saan wala ito), ngunit ang mga indibidwal na kabanata (halimbawa, Kabanata 4. Impormasyon), malinaw sa paksa. Pinapayuhan ko ang lahat. Kahit na ang matematika ay mahirap para sa iyo, basahin ang linya , laktawan ang matematika, at pangingisda para sa mga kapaki-pakinabang na butil ...

14. (supplement na may petsang Enero 15, 2017), isang kabanata mula sa aklat ni Tony Crilly. 50 ideya na kailangan mong malaman. Math.

Ang physicist na si Richard Feynman, ang nagwagi ng Nobel, na nagsasalita tungkol sa isang pilosopo na may labis na pagmamataas, ay minsang nagsabi: “Hindi pilosopiya bilang isang siyensya ang nakakainis sa akin, kundi ang karangyaan na nilikha sa paligid nito. Kung pwede lang pagtawanan ng mga pilosopo ang sarili nila! Kung maaari lamang nilang sabihin: "Sinasabi ko na ito ay ganito, ngunit naisip ni Von Leipzig na ito ay naiiba, at mayroon din siyang alam tungkol dito." Kung naalala lang nilang linawin na sa kanila lang iyon .

Maikling teorya

Kung ang isang kaganapan ay nangyayari lamang kung ang isa sa mga kaganapan na bumubuo ng isang kumpletong pangkat ng mga hindi magkatugma na mga kaganapan ay nangyari, kung gayon ito ay katumbas ng kabuuan ng mga produkto ng mga probabilidad ng bawat isa sa mga kaganapan at ang kaukulang conditional probability wallet .

Sa kasong ito, ang mga kaganapan ay tinatawag na hypotheses, at ang mga probabilidad ay tinatawag na priori. Ang formula na ito ay tinatawag na kabuuang probability formula.

Ang pormula ng Bayes ay ginagamit sa paglutas ng mga praktikal na problema, kapag ang isang kaganapan na lumilitaw kasama ng alinman sa mga kaganapan na bumubuo ng isang kumpletong pangkat ng mga kaganapan ay naganap at kinakailangan na magsagawa ng isang quantitative reassessment ng mga probabilities ng mga hypotheses. Ang isang priori (bago ang karanasan) na mga probabilidad ay kilala. Kinakailangang kalkulahin ang posterior (pagkatapos ng karanasan) na mga probabilidad, i.e. Mahalaga, kailangan mong hanapin ang mga kondisyon na probabilidad. Ganito ang hitsura ng formula ng Bayes:

Halimbawa ng solusyon sa problema

Kondisyon ng gawain 1

Sa pabrika, ang mga makina 1, 2 at 3 ay gumagawa ng 20%, 35% at 45% ng lahat ng bahagi, ayon sa pagkakabanggit. Sa kanilang mga produkto, ang depekto ay ayon sa pagkakabanggit 6%, 4%, 2%. Ano ang posibilidad na ang isang random na napiling item ay may depekto? Ano ang posibilidad na ito ay ginawa: a) ng makina 1; b) makina 2; c) makina 3?

Problema 1 solusyon

Ipahiwatig sa pamamagitan ng kaganapan na ang karaniwang produkto ay naging may depekto.

Ang isang kaganapan ay maaaring mangyari lamang kung ang isa sa tatlong mga kaganapan ay nangyari:

Ang produkto ay ginawa sa makina 1;

Ang produkto ay ginawa sa makina 2;

Ang produkto ay ginawa sa makina 3;

Isulat natin ang mga conditional probabilities:

Kabuuang Formula ng Probability

Kung ang isang kaganapan ay maaaring mangyari lamang kapag ang isa sa mga kaganapan na bumubuo ng isang kumpletong pangkat ng mga hindi magkatugma na mga kaganapan ay nangyari, kung gayon ang posibilidad ng kaganapan ay kinakalkula ng formula

Gamit ang kabuuang pormula ng posibilidad, makikita natin ang posibilidad ng isang kaganapan:

Formula ng Bayes

Binibigyang-daan ka ng formula ng Bayes na "muling ayusin ang sanhi at epekto": dahil sa alam na katotohanan ng isang kaganapan, kalkulahin ang posibilidad na ito ay sanhi ng isang naibigay na dahilan.

Posibilidad na ang isang may sira na item ay ginawa sa makina 1:

Posibilidad na ang isang may sira na bagay ay ginawa sa makina 2:

Probability na may sira na item ang ginawa sa machine 3:

Kondisyon ng gawain 2

Ang grupo ay binubuo ng 1 mahusay na mag-aaral, 5 mahusay na mag-aaral at 14 na pangkaraniwan na mag-aaral. Ang isang mahusay na mag-aaral ay sumasagot ng 5 at 4 na may pantay na posibilidad, ang isang mahusay na mag-aaral ay sumasagot ng 5, 4 at 3 na may pantay na posibilidad, at isang katamtamang mag-aaral ang sumasagot ng 4,3 at 2 na may pantay na posibilidad. Sinagot ng isang random na napiling mag-aaral ang 4. Ano ang posibilidad na tinawag ang isang karaniwang mag-aaral?

Problema 2 solusyon

Hypotheses at conditional probabilities

Posible ang mga sumusunod na hypotheses:

Sumagot ang mahusay na estudyante;

Sumagot ng mabuti;

– sumagot ng pangkaraniwang estudyante;

Hayaan ang kaganapan -mag-aaral na makakuha ng 4.

Mga kondisyong probabilidad:

Sagot:

Ang kahulugan ng geometric na posibilidad ay ibinigay at ang kilalang problema sa pagpupulong ay isinasaalang-alang nang detalyado.

Formula ng Bayes:

Ang mga probabilities P(H i) ng hypotheses H i ay tinatawag na priori probabilities - ang probabilities bago ang mga eksperimento.
Ang mga probabilidad na P(A/H i) ay tinatawag na posterior probabilities - ang mga probabilities ng mga hypotheses na pinino ng H i bilang resulta ng eksperimento.

Halimbawa #1. Ang aparato ay maaaring tipunin mula sa mataas na kalidad na mga bahagi at mula sa mga bahagi ng ordinaryong kalidad. Humigit-kumulang 40% ng mga aparato ay binuo mula sa mataas na kalidad na mga bahagi. Kung ang aparato ay binuo mula sa mga de-kalidad na bahagi, ang pagiging maaasahan nito (probability ng failure-free na operasyon) sa paglipas ng panahon t ay 0.95; kung mula sa mga bahagi ng ordinaryong kalidad - ang pagiging maaasahan nito ay 0.7. Ang aparato ay sinubukan para sa oras t at gumana nang walang kamali-mali. Hanapin ang posibilidad na ito ay binuo mula sa mataas na kalidad na mga bahagi.
Solusyon. Dalawang hypotheses ang posible: H 1 - ang aparato ay binuo mula sa mga de-kalidad na bahagi; H 2 - ang aparato ay binuo mula sa mga bahagi ng ordinaryong kalidad. Ang mga probabilidad ng mga hypotheses na ito bago ang eksperimento: P(H 1) = 0.4, P(H 2) = 0.6. Bilang resulta ng eksperimento, ang kaganapan A ay naobserbahan - ang aparato ay gumana nang walang kamali-mali para sa oras t. Ang mga kondisyong probabilidad ng kaganapang ito sa ilalim ng mga hypotheses H 1 at H 2 ay: P(A|H 1) = 0.95; P(A|H 2) = 0.7. Gamit ang formula (12), nakita namin ang posibilidad ng hypothesis H 1 pagkatapos ng eksperimento:

Halimbawa #2. Dalawang shooter ang independiyenteng bumaril sa parehong target, bawat isa ay nagpapaputok ng isang putok. Ang posibilidad na matamaan ang target para sa unang tagabaril ay 0.8, para sa pangalawang 0.4. Matapos ang pamamaril, isang butas ang natagpuan sa target. Ipagpalagay na ang dalawang tagabaril ay hindi makakatama sa parehong punto, hanapin ang posibilidad na ang unang tagabaril ay tumama sa target.
Solusyon. Hayaang ang kaganapan A ay isang butas na natagpuan sa target pagkatapos ng pagbaril. Bago magsimula ang pagbaril, posible ang mga hypotheses:
H 1 - hindi tatama ang una o ang pangalawang tagabaril, ang posibilidad ng hypothesis na ito: P(H 1) = 0.2 0.6 = 0.12.
H 2 - parehong tatama ang mga shooter, P(H 2) = 0.8 0.4 = 0.32.
H 3 - ang unang tagabaril ay tatama, at ang pangalawa ay hindi tatama, P(H 3) = 0.8 0.6 = 0.48.
H 4 - hindi tatama ang unang tagabaril, ngunit tatama ang pangalawa, P (H 4) = 0.2 0.4 = 0.08.
Ang mga kondisyong probabilidad ng kaganapan A sa ilalim ng mga hypotheses na ito ay:

Pagkatapos ng karanasan, ang mga hypotheses H 1 at H 2 ay naging imposible, at ang mga probabilities ng mga hypotheses H 3 at H 4
magiging pantay:

Kaya, malamang na ang target ay natamaan ng unang bumaril.

Halimbawa #3. Sa tindahan ng pagpupulong, ang isang de-koryenteng motor ay konektado sa aparato. Ang mga de-koryenteng motor ay ibinibigay ng tatlong tagagawa. Mayroong 19.6 at 11 na de-koryenteng motor ng mga pinangalanang halaman sa bodega, ayon sa pagkakabanggit, na maaaring gumana nang walang pagkabigo hanggang sa katapusan ng panahon ng warranty, ayon sa pagkakabanggit, na may mga probabilidad na 0.85, 0.76 at 0.71. Ang manggagawa ay random na kumukuha ng isang makina at ini-mount ito sa device. Hanapin ang posibilidad na ang de-koryenteng motor, na naka-mount at gumagana nang walang pagkabigo hanggang sa katapusan ng panahon ng warranty, ay ibinigay ng una, pangalawa o pangatlong tagagawa, ayon sa pagkakabanggit.
Solusyon. Ang unang pagsubok ay ang pagpili ng de-koryenteng motor, ang pangalawa ay ang pagpapatakbo ng de-koryenteng motor sa panahon ng warranty. Isaalang-alang ang mga sumusunod na kaganapan:
A - gumagana nang walang kamali-mali ang de-kuryenteng motor hanggang sa katapusan ng panahon ng warranty;
H 1 - kukunin ng fitter ang makina mula sa mga produkto ng unang halaman;
H 2 - kukunin ng tagapaglapat ang makina mula sa mga produkto ng pangalawang halaman;
H 3 - kukunin ng fitter ang makina mula sa mga produkto ng ikatlong halaman.
Ang posibilidad ng kaganapan A ay kinakalkula ng kabuuang pormula ng posibilidad:

Ang mga kondisyong probabilidad ay tinukoy sa pahayag ng problema:

Hanapin natin ang mga probabilidad

Gamit ang mga pormula ng Bayes (12), kinakalkula namin ang mga kondisyon na probabilidad ng mga hypotheses H i:

Halimbawa #4. Ang mga probabilidad na sa panahon ng pagpapatakbo ng system, na binubuo ng tatlong elemento, ang mga elemento na may mga numero 1, 2 at 3 ay mabibigo, ay nauugnay bilang 3: 2: 5. Ang mga probabilidad ng pag-detect ng mga pagkabigo ng mga elementong ito ay 0.95, ayon sa pagkakabanggit; 0.9 at 0.6.

b) Sa ilalim ng mga kondisyon ng gawaing ito, ang isang pagkabigo ay nakita sa panahon ng pagpapatakbo ng system. Aling elemento ang mas malamang na mabigo?

Solusyon.
Hayaan ang A na maging isang kaganapan sa kabiguan. Ipakilala natin ang isang sistema ng mga hypotheses H1 - kabiguan ng unang elemento, H2 - kabiguan ng pangalawang elemento, H3 - kabiguan ng ikatlong elemento.
Nahanap namin ang mga probabilidad ng hypotheses:
P(H1) = 3/(3+2+5) = 0.3
P(H2) = 2/(3+2+5) = 0.2
P(H3) = 5/(3+2+5) = 0.5

Ayon sa kondisyon ng problema, ang mga kondisyon na probabilidad ng kaganapan A ay:
P(A|H1) = 0.95, P(A|H2) = 0.9, P(A|H3) = 0.6

a) Hanapin ang posibilidad na makita ang isang pagkabigo sa system.
P(A) = P(H1)*P(A|H1) + P(H2)*P(A|H2) + P(H3)*P(A|H3) = 0.3*0.95 + 0.2*0.9 + 0.5 *0.6 = 0.765

b) Sa ilalim ng mga kondisyon ng gawaing ito, ang isang pagkabigo ay nakita sa panahon ng pagpapatakbo ng system. Aling elemento ang mas malamang na mabigo?
P1 = P(H1)*P(A|H1)/ P(A) = 0.3*0.95 / 0.765 = 0.373
P2 = P(H2)*P(A|H2)/ P(A) = 0.2*0.9 / 0.765 = 0.235
P3 = P(H3)*P(A|H3)/ P(A) = 0.5*0.6 / 0.765 = 0.392

Ang pinakamataas na posibilidad ng ikatlong elemento.

Formula ng Bayes

Teorama ni Bayes- isa sa mga pangunahing theorems ng elementary probability theory, na tumutukoy sa probabilidad ng isang kaganapan na nagaganap sa ilalim ng mga kondisyon kapag ang ilang bahagyang impormasyon lamang tungkol sa mga kaganapan ay nalalaman batay sa mga obserbasyon. Ayon sa pormula ng Bayes, posible na mas tumpak na kalkulahin ang posibilidad, na isinasaalang-alang ang parehong dating kilalang impormasyon at data mula sa mga bagong obserbasyon.

"Pisikal na kahulugan" at terminolohiya

Ang mga kaganapan na sumasalamin sa pagkilos ng "mga sanhi" sa kasong ito ay karaniwang tinatawag mga hypotheses, Dahil sila ay dapat ang mga pangyayaring humahantong dito. Ang unconditional probability ng validity ng isang hypothesis ay tinatawag isang priori(Gaano kalamang ang dahilan? pangkalahatan), at may kondisyon - isinasaalang-alang ang katotohanan ng kaganapan - isang posterior(Gaano kalamang ang dahilan? naging isinasaalang-alang ang data ng kaganapan).

Bunga

Ang isang mahalagang kahihinatnan ng formula ng Bayes ay ang formula para sa kabuuang posibilidad ng isang kaganapan depende sa ilang hindi magkatugmang hypotheses ( at sa kanila lang!).

- ang posibilidad na mangyari ang kaganapan B, depende sa ilang hypotheses A i kung ang mga antas ng pagiging maaasahan ng mga hypotheses na ito ay kilala (halimbawa, sinusukat sa eksperimentong paraan);

Derivation ng formula

Kung ang isang kaganapan ay nakasalalay lamang sa mga sanhi A i, pagkatapos kung nangyari ito, nangangahulugan ito na ang ilan sa mga dahilan ay kinakailangang mangyari, i.e.

Sa pamamagitan ng Bayes formula

paglipat P(B) sa kanan, nakukuha namin ang gustong expression.

Paraan ng pag-filter ng spam

Matagumpay na nailapat sa pag-filter ng spam ang isang paraan batay sa theorem ni Bayes.

Paglalarawan

Kapag sinasanay ang filter, para sa bawat salitang nakatagpo sa mga titik, ang "timbang" nito ay kinakalkula at nakaimbak - ang posibilidad na ang isang titik na may salitang ito ay spam (sa pinakasimpleng kaso, ayon sa klasikal na kahulugan ng posibilidad: "pagpapakita sa spam / pagpapakita ng lahat”).

Kapag sinusuri ang isang bagong dating na liham, ang posibilidad na ito ay spam ay kinakalkula ayon sa formula sa itaas para sa isang hanay ng mga hypotheses. Sa kasong ito, ang "hypotheses" ay mga salita, at para sa bawat salitang "reliability of the hypothesis" -% ng salitang ito sa sulat, at "dependence of the event on the hypothesis" P(B | A i) - dating kinakalkula "timbang" ng salita. Ibig sabihin, ang "bigat" ng liham sa kasong ito ay walang iba kundi ang karaniwang "timbang" ng lahat ng mga salita nito.

Ang isang sulat ay inuri bilang "spam" o "non-spam" sa pamamagitan ng kung ang "timbang" nito ay lumampas sa isang partikular na bar na itinakda ng user (karaniwan ay tumatagal sila ng 60-80%). Matapos ang isang desisyon sa isang sulat ay ginawa, ang "mga timbang" para sa mga salitang kasama dito ay ina-update sa database.

Katangian

Ang pamamaraang ito ay simple (ang mga algorithm ay elementarya), maginhawa (nagbibigay-daan sa iyo na gawin nang walang "mga itim na listahan" at katulad na mga artipisyal na trick), epektibo (pagkatapos ng pagsasanay sa isang sapat na malaking sample, pinuputol nito ang hanggang sa 95-97% ng spam, at sa kaso ng anumang mga pagkakamali maaari itong muling sanayin). Sa pangkalahatan, mayroong lahat ng mga indikasyon para sa malawakang paggamit nito, na kung ano ang nangyayari sa pagsasanay - halos lahat ng modernong mga filter ng spam ay itinayo sa batayan nito.

Gayunpaman, ang pamamaraan ay mayroon ding pangunahing disbentaha: ito batay sa palagay, Ano ang ilang mga salita ay mas karaniwan sa spam, habang ang iba ay mas karaniwan sa mga regular na email, at hindi epektibo kung mali ang pagpapalagay na ito. Gayunpaman, tulad ng ipinapakita ng kasanayan, kahit na ang isang tao ay hindi matukoy ang naturang spam "sa pamamagitan ng mata" - pagkatapos lamang basahin ang liham at maunawaan ang kahulugan nito.

Ang isa pa, hindi pangunahing, kawalan na nauugnay sa pagpapatupad - ang pamamaraan ay gumagana lamang sa teksto. Alam ang tungkol sa limitasyong ito, ang mga spammer ay nagsimulang maglagay ng impormasyon sa advertising sa larawan, habang ang teksto sa liham ay wala o walang kahulugan. Laban dito, kailangang gumamit ng alinman sa mga tool sa pagkilala ng teksto (isang "mahal" na pamamaraan, ginagamit lamang kapag talagang kinakailangan), o mga lumang paraan ng pag-filter - "mga blacklist" at mga regular na expression (dahil ang mga naturang titik ay madalas na may stereotypical form).

Tingnan din

Mga Tala

Mga link

Panitikan

Byrd Kiwi. Teorama ni Rev. Bayes. // Computerra magazine, Agosto 24, 2001
Paul Graham. Isang plano para sa spam. // Personal na website ni Paul Graham.

Wikimedia Foundation. 2010 .

Tingnan kung ano ang "Bayes formula" sa iba pang mga diksyunaryo:

Isang formula na mukhang: kung saan ang a1, A2, ..., An ay hindi magkatugma na mga kaganapan, Ang pangkalahatang pamamaraan para sa aplikasyon ng F. sa. g.: kung ang kaganapan B ay maaaring mangyari sa decomp. mga kondisyon kung saan ang n hypotheses A1, A2, ..., An ay ginawa na may probabilities P (A1), ... kilala bago ang eksperimento, ... ... Geological Encyclopedia

Binibigyang-daan kang kalkulahin ang posibilidad ng isang kaganapan ng interes sa pamamagitan ng mga kondisyon na probabilidad ng kaganapang ito, sa pag-aakalang ilang hypotheses, pati na rin ang mga probabilidad ng mga hypotheses na ito. Pagbubuo Hayaang magbigay ng probability space, at isang kumpletong grupo sa pares ... ... Wikipedia

- (o formula ng Bayes) isa sa mga pangunahing theorems ng probability theory, na nagbibigay-daan sa iyong matukoy ang posibilidad na ang isang kaganapan (hypothesis) ay naganap sa pagkakaroon lamang ng hindi direktang ebidensya (data) na maaaring hindi tumpak ... Wikipedia

Ang theorem ni Bayes ay isa sa mga pangunahing theorems ng elementary probability theory, na tumutukoy sa probabilidad ng isang kaganapan na nagaganap sa ilalim ng mga kondisyon kapag ang ilang bahagyang impormasyon lamang tungkol sa mga kaganapan ang nalalaman batay sa mga obserbasyon. Ayon sa pormula ng Bayes, maaari kang ... ... Wikipedia

Bayes, Thomas Thomas Bayes Reverend Thomas Bayes Petsa ng kapanganakan: 1702 (1702) Lugar ng kapanganakan ... Wikipedia

Thomas Bayes Reverend Thomas Bayes Petsa ng kapanganakan: 1702 (1702) Lugar ng kapanganakan: London ... Wikipedia

Ang Bayesian inference ay isa sa mga paraan ng statistical inference, kung saan ang Bayes formula ay ginagamit upang pinuhin ang probabilistikong pagtatantya ng katotohanan ng hypotheses kapag dumating ang ebidensya. Ang paggamit ng Bayesian update ay lalong mahalaga sa ... ... Wikipedia

Nais mo bang pagbutihin ang artikulong ito?: Maghanap at magbigay ng mga footnote para sa mga sanggunian sa mga awtoritatibong mapagkukunan na nagpapatunay sa kung ano ang isinulat. Paglalagay ng mga footnote, gumawa ng mas tumpak na mga indikasyon ng mga pinagmulan. Pere ... Wikipedia

Magtataksil ba ang mga bilanggo sa isa't isa, na sinusunod ang kanilang pansariling interes, o mananatili silang tahimik, at sa gayon ay mababawasan ang kabuuang termino? Prisoner's dilemma (Eng. Prisoner's dilemma, ang pangalang "dilemma" ay hindi gaanong ginagamit ... Wikipedia

Mga libro

Probability Theory at Mathematical Statistics sa Problema: Higit sa 360 Problema at Ehersisyo, Borzykh D. Ang iminungkahing manwal ay naglalaman ng mga problema ng iba't ibang antas ng pagiging kumplikado. Gayunpaman, ang pangunahing diin ay inilalagay sa mga gawain ng katamtamang pagiging kumplikado. Ito ay sadyang ginawa upang hikayatin ang mga mag-aaral na…

Magsimula tayo sa isang halimbawa. Sa urn sa harap mo pare-pareho ang posibilidad maaaring mayroong (1) dalawang puting bola, (2) isang puti at isang itim, (3) dalawang itim. Kinaladkad mo ang bola at ito ay naging puti. Paano ka nagre-rate ngayon? probabilidad ang tatlong pagpipiliang ito (hypotheses)? Malinaw, ang posibilidad ng hypothesis (3) na may dalawang itim na bola = 0. Ngunit paano kalkulahin ang mga probabilidad ng dalawang natitirang hypotheses!? Pinapayagan ka nitong gawin ang formula ng Bayes, na sa aming kaso ay may form (ang bilang ng formula ay tumutugma sa bilang ng hypothesis na sinusuri):

Mag-download ng tala sa format o

X ay isang random na variable (hypothesis) na kumukuha ng mga sumusunod na halaga: x 1- dalawang puti x 2- isang puti, isang itim; x 3- dalawang itim; sa ay isang random na variable (kaganapan) na kumukuha ng mga sumusunod na halaga: 1- isang puting bola ang iginuhit at sa 2- isang itim na bola ay iguguhit; P(x 1) ay ang posibilidad ng unang hypothesis bago mabunot ang bola ( isang priori posibilidad o posibilidad dati karanasan) = 1/3; P(x 2)– posibilidad ng pangalawang hypothesis bago mabunot ang bola = 1/3; P(x 3)– posibilidad ng ikatlong hypothesis bago bunutin ang bola = 1/3; P(y 1|x 1)– may kondisyong posibilidad ng pagguhit ng puting bola kung ang unang hypothesis ay totoo (ang mga bola ay puti) = 1; P(y 1|x 2) – ang posibilidad ng pagguhit ng puting bola, kung ang pangalawang hypothesis ay totoo (isang bola ay puti, ang pangalawa ay itim) = ½; P(y 1|x 3) – ang posibilidad ng pagguhit ng puting bola, kung ang ikatlong hypothesis ay totoo (parehong itim) = 0; P(y 1)– posibilidad ng pagguhit ng puting bola = ½; P(y 2)– posibilidad ng pagguhit ng itim na bola = ½; at sa wakas kung ano ang hinahanap namin - P(x 1|sa 1) – ang posibilidad na ang unang hypothesis ay totoo (parehong mga bola ay puti), sa kondisyon na gumuhit kami ng isang puting bola ( isang posterior posibilidad o posibilidad pagkatapos karanasan); P(x 2|sa 1) – ang posibilidad na ang pangalawang hypothesis ay totoo (isang bola ay puti, ang pangalawa ay itim), sa kondisyon na kami ay bumunot ng isang puting bola.

Ang posibilidad na ang unang hypothesis (dalawang puting bola) ay totoo, dahil nag-drawing kami ng puting bola:

Ang posibilidad na ang pangalawang hypothesis ay totoo (isa ay puti, ang pangalawa ay itim), sa kondisyon na kami ay naglabas ng puting bola:

Ang posibilidad na ang pangatlong hypothesis (dalawang itim) ay totoo, dahil nag-drawing kami ng puting bola:

Ano ang ginagawa ng formula ng Bayes? Ginagawa nitong posible, sa batayan ng isang priori probabilities ng hypotheses - P(x 1), P(x 2), P(x 3)- at mga posibilidad ng paglitaw ng mga kaganapan - P(y 1), P(y 2)– kalkulahin ang posterior probabilities ng mga hypotheses, halimbawa, ang probabilidad ng unang hypothesis, sa kondisyon na ang isang puting bola ay iguguhit – P(x 1|sa 1).

Bumalik tayo sa formula (1). Ang paunang posibilidad ng unang hypothesis ay P(x 1) = 1/3. May posibilidad P(y 1) = 1/2 maaari tayong gumuhit ng puting bola, at may posibilidad P(y 2) = 1/2- itim. Hinugot namin yung puti. Ang posibilidad ng pagguhit ng puti, sa kondisyon na ang unang hypothesis ay totoo P(y 1|x 1) = 1. Sinasabi ng pormula ni Bayes na dahil ang puti ay nakuha, ang posibilidad ng unang hypothesis ay tumaas sa 2/3, ang posibilidad ng pangalawang hypothesis ay 1/3 pa rin, at ang posibilidad ng ikatlong hypothesis ay naging zero.

Madaling suriin na kung gumuhit tayo ng itim na bola, ang posterior probabilities ay magbabago nang simetriko: P(x 1|y 2) = 0, P(x 2|y 2) = 1/3, P(x 3|y 2) = 2/3.

Narito ang isinulat ni Pierre Simon Laplace tungkol sa pormula ng Bayes sa isang papel na inilathala noong 1814:

Ito ang pangunahing prinsipyo ng sangay ng pagsusuri ng pagkakataon na tumatalakay sa mga paglipat mula sa mga kaganapan patungo sa mga sanhi.

Bakit ang hirap intindihin ng formula ni Bayes!? Sa aking opinyon, dahil ang aming karaniwang diskarte ay pangangatwiran mula sa mga sanhi hanggang sa mga epekto. Halimbawa, kung mayroong 36 na bola sa isang urn, 6 sa mga ito ay itim at ang iba ay puti. Ano ang posibilidad ng pagguhit ng puting bola? Binibigyang-daan ka ng formula ng Bayes na lumipat mula sa mga kaganapan patungo sa mga sanhi (hypotheses). Kung mayroon kaming tatlong hypotheses, at naganap ang isang kaganapan, kung gayon paano eksaktong naapektuhan ng kaganapang ito (at hindi ang alternatibo) ang mga paunang probabilidad ng mga hypotheses? Paano nagbago ang mga probabilidad na ito?

Naniniwala ako na ang formula ni Bayes ay hindi lamang tungkol sa probabilities. Binabago nito ang paradigma ng pang-unawa. Ano ang tren ng pag-iisip kapag gumagamit ng deterministikong paradigm? Kung may mangyari, ano ang sanhi nito? Kung nagkaroon ng aksidente, emergency, conflict ng militar. Sino o ano ang kanilang kasalanan? Paano iniisip ng isang tagamasid ng Bayesian? Ano ang istruktura ng realidad na humantong sa binigay kaso sa ganito at ganoong manipestasyon ... Bayesian understands that in kung hindi maaaring iba ang resulta...

Ilagay natin ang mga simbolo sa mga formula (1) at (2) nang medyo naiiba:

Pag-usapan natin muli ang ating nakikita. Sa isang pantay na posibilidad na inisyal (a priori), ang isa sa tatlong hypotheses ay maaaring totoo. Sa pantay na posibilidad, maaari tayong gumuhit ng puti o itim na bola. Hinugot namin yung puti. Sa liwanag ng bagong karagdagang impormasyon na ito, ang aming pagsusuri sa mga hypotheses ay dapat na baguhin. Binibigyang-daan ka ng formula ng Bayes na gawin ito ayon sa numero. Ang a priori na posibilidad ng unang hypothesis (formula 7) ay P(x 1), ang isang puting bola ay iguguhit, ang posterior probability ng unang hypothesis ay nagiging P(x 1|sa 1). Ang mga probabilidad na ito ay nag-iiba ayon sa isang kadahilanan.

Kaganapan 1 tinatawag na ebidensya na mas marami o mas kaunti ang nagpapatunay o nagpapabulaan sa isang hypothesis x 1. Ang ratio na ito ay minsang tinutukoy bilang ang kapangyarihan ng ebidensya. Kung mas malakas ang ebidensya (mas malaki ang pagkakaiba ng koepisyent sa pagkakaisa), mas malaki ang katotohanan ng pagmamasid 1 binabago ang naunang posibilidad, mas ang posterior probability ay naiiba sa nauna. Kung mahina ang ebidensya (coefficient ~ 1), ang posterior ay halos katumbas ng nauna.

Sertipiko 1 sa = 2 binago ng mga oras ang naunang posibilidad ng hypothesis x 1(pormula 4). At the same time, ebidensya 1 hindi binago ang posibilidad ng hypothesis x 2, dahil sa kapangyarihan nito = 1 (pormula 5).

Sa pangkalahatan, ang formula ng Bayes ay may sumusunod na anyo:

X ay isang random na variable (isang set ng mutually exclusive hypotheses) na kumukuha ng mga value: x 1, x 2, … , Xn. sa ay isang random na variable (isang hanay ng mga kaganapan sa isa't isa) na kumukuha ng mga sumusunod na halaga: 1, sa 2, … , san. Binibigyang-daan ka ng formula ng Bayes na mahanap ang posterior probability ng isang hypothesis Xi kapag naganap ang isang pangyayari y j. Ang numerator ay produkto ng a priori na posibilidad ng hypothesis Xi – P(xi) ang posibilidad ng isang kaganapan na naganap y j kung totoo ang hypothesis Xi – R(y j|xi). Sa denominator - ang kabuuan ng mga produkto ng kapareho ng sa numerator, ngunit para sa lahat ng mga hypotheses. Kung kalkulahin natin ang denominator, nakukuha natin ang kabuuang posibilidad ng kaganapang naganap saj(kung ang alinman sa mga hypotheses ay totoo) - R(y j) (tulad ng sa mga formula 1–3).

Muli tungkol sa ebidensya. Kaganapan y j nagbibigay ng karagdagang impormasyon na nagpapahintulot sa iyo na baguhin ang naunang posibilidad ng hypothesis Xi. Kapangyarihan ng ebidensya - - naglalaman sa numerator ng posibilidad ng kaganapang naganap y j kung totoo ang hypothesis Xi. Ang denominator ay ang kabuuang posibilidad na mangyari ang kaganapan saj(o ang posibilidad na mangyari ang isang kaganapan saj na-average sa lahat ng hypotheses). saj sa itaas para sa hypothesis xi kaysa sa average para sa lahat ng hypothesis, kung gayon ang ebidensya ay gumaganap sa mga kamay ng hypothesis xi, pinapataas ang posterior probability nito R(y j|xi). Kung ang posibilidad ng isang kaganapan ay naganap saj sa ibaba para sa hypothesis xi kaysa sa average para sa lahat ng hypotheses, pagkatapos ay pinababa ng ebidensya ang posterior probability R(y j|xi) para sa mga hypotheses xi. Kung ang posibilidad ng isang kaganapan ay naganap saj para sa hypothesis xi ay pareho sa average para sa lahat ng hypotheses, kung gayon ang ebidensya ay hindi nagbabago sa posterior probability R(y j|xi) para sa mga hypotheses xi.

Narito ang ilang mga halimbawa na inaasahan kong magpapatibay sa iyong pag-unawa sa formula ng Bayes.

Problema 2. Dalawang shooter ang independiyenteng bumaril sa parehong target, bawat isa ay nagpapaputok ng isang putok. Ang posibilidad na matamaan ang target para sa unang tagabaril ay 0.8, para sa pangalawa - 0.4. Matapos ang pamamaril, isang butas ang natagpuan sa target. Hanapin ang posibilidad na ang butas na ito ay kabilang sa unang tagabaril. .

Gawain 3. Ang bagay na sinusubaybayan ay maaaring nasa isa sa dalawang estado: H 1 = (gumana) at H 2 = (hindi gumagana). A priori probabilities ng mga estadong ito Р(Н 1) = 0.7, Р(Н 2) = 0.3. Mayroong dalawang mapagkukunan ng impormasyon na nagbibigay ng magkasalungat na impormasyon tungkol sa estado ng isang bagay; ang unang pinagmulan ay nag-uulat na ang bagay ay hindi gumagana, ang pangalawa - na ito ay gumagana. Ito ay kilala na ang unang mapagkukunan ay nagbibigay ng tamang impormasyon na may posibilidad na 0.9, at may posibilidad na 0.1 - mali. Ang pangalawang mapagkukunan ay hindi gaanong maaasahan: nagbibigay ito ng tamang impormasyon na may posibilidad na 0.7, at may posibilidad na 0.3 - mali. Hanapin ang posterior probabilities ng hypotheses. .

Ang mga gawain 1–3 ay kinuha mula sa aklat-aralin ni E.S. Ventzel, L.A. Ovcharov. Teorya ng probabilidad at mga aplikasyon sa inhinyero nito, seksyon 2.6 Hypothesis theorem (Bayes formula).

Ang Problema 4 ay kinuha mula sa aklat, seksyon 4.3 Bayes' Theorem.