Научная Петербургская Академия

Лекция: Лекции по теории вероятности и математической статистике

Лекция: Лекции по теории вероятности и математической статистике

Теория вероятности и математическая статистика

Введение.

Теория вероятности возникла как наука из убеждения, что в основе массовых случайных событий лежат детерминированные закономерности. Теория вероятности изучает данные закономерности. Например: определить однозначно результат выпадения “орла” или “решки” в результате подбрасывания монеты нельзя, но при многократном подбрасывании выпадает примерно одинаковое число “орлов” и “решек”. Испытанием называется реализация определенного комплекса условий, который может воспроизводиться неограниченное число раз. При этом комплекс условий включает в себя случайные факторы, реализация которого в каждом испытании приводит к неоднозначности исхода испытания. Например: испытание - подбрасывание монеты. Результатом испытания является событие. Событие бывает: Достоверное (всегда происходит в результате испытания); Невозможное (никогда не происходит); Случайное (может произойти или не произойти в результате испытания). Например: При подбрасывании кубика невозможное событие - кубик станет на ребро, случайное событие - выпадение какой либо грани. Конкретный результат испытания называется элементарным событием. В результате испытания происходят только элементарные события. Совокупность всех возможных, различных, конкретных исходов испытаний называется пространством элементарных событий. Например: Испытание - подбрасывание шестигранного кубика. Элементарное событие - выпадение грани с “1” или “2”. Совокупность элементарных событий это пространство элементарных событий. Сложным событием называется произвольное подмножество пространства элементарных событий. Сложное событие в результате испытания наступает тогда и только тогда, когда в результате испытаний произошло элементарное событие, принадлежащее сложному. Таким образом, если в результате испытания может произойти только одно элементарное событие, то в результате испытания происходят все сложные события, в состав которых входят эти элементарные. Например: испытание - подбрасывание кубика. Элементарное событие - выпадение грани с номером “1”. Сложное событие - выпадение нечетной грани. Введем следующие обозначения: А - событие; w - элементы пространства W; W - пространство элементарных событий; U - пространство элементарных событий как достоверное событие; V - невозможное событие. Иногда для удобства элементарные события будем обозначать E­i, Qi.

Операции над событиями.

1. Событие C называется суммой A+B, если оно состоит из всех элементарных событий, входящих как в A, так и в B. При этом если элементарное событие входит и в A, и в B, то в C оно входит один раз. В результате испытания событие C происходит тогда, когда произошло событие, которое входит или в A или в B. Сумма произвольного количества событий состоит из всех элементарных событий, которые входят в одно из Ai, i=1, ..., m.
Лекция: Лекции по теории вероятности и математической статистике
2. Событие C произведением A и B, если оно состоит из всех элементарных событий, входящих и в A, и в B. Произведением произвольного числа событий называется событие состоящее из элементарных событий, входящих во все Ai, i=1, ..., m. Лекция: Лекции по теории вероятности и математической статистике 3. Разностью событий A-B называется событие C, состоящее из всех элементарных событий, входящих в A, но не входящих в B. Лекция: Лекции по теории вероятности и математической статистике 4. Событие называется противоположным событию A, если оно удовлетворяет двум свойствам. Формулы де Моргана: Лекция: Лекции по теории вероятности и математической статистике и Лекция: Лекции по теории вероятности и математической статистике
Лекция: Лекции по теории вероятности и математической статистике
5. События A и B называются несовместными, если они никогда не могут произойти в результате одного испытания. События A и B называются несовместными, если они не имеют общих элементарных событий. C=A×B=V Тут V - пустое множество.

Частость наступления события.

Пусть пространство элементарных событий конечно и состоит из m элементарных событий. В этом случае в качестве возможных исходов испытаний рассматривают 2­­ m событий - множество всех подмножеств пространства элементарных событий W и невозможное событие V. Пример: W=(w1, w2, w3) A1=V A2=(w1) A3=(w2) A4=(w3) A5=(w1, w2) A6=(w2, w3) A7=(w1, w3) A8=(w1, w2, w3) Обозначим систему этих событий через F. Берем произвольное событие AÎF. Проводим серию испытаний в количестве n. n - это количество испытаний, в каждом из которых произошло событие A. Частостью наступления события A в n испытаниях называется число Лекция: Лекции по теории вероятности и математической статистике

Свойства частости.

1. Лекция: Лекции по теории вероятности и математической статистике 2. Частость достоверного события равна 1. Wn(U)=1. 3. Частость суммы попарно несовместных событий равна сумме частостей. Рассмотрим систему Ai, i=1, ..., k; события попарно несовместны, т.е. Лекция: Лекции по теории вероятности и математической статистике Событие Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Пусть в результате некоторого испытания произошло событие A. По определению сумы это означает, что в этом испытании произошло некоторое событие Ai. Так как все события попарно несовместны, то это означает, что никакое другое событие Aj (i¹j) в этом испытании произойти не может. Следовательно: nA=nA1+nA2+...+nAk Лекция: Лекции по теории вероятности и математической статистике Теория вероятности используется при описании только таких испытаний, для которых выполняется следующее предположение: Для любого события A частость наступления этого события в любой бесконечной серии испытаний имеет один и тот же предел, который называется вероятностью наступления события A. Следовательно, если рассматривается вероятность наступления произвольного события, то мы понимаем это число следующим образом: это частость наступления события в бесконечной (достаточно длинной) серии испытаний. К сожалению, попытка определить вероятность как предел частости, при числе испытаний, стремящихся к бесконечности, закончилась неудачно. Хотя американский ученый Мизес создал теорию вероятности, базирующуюся на этом определении, но ее не признали из-за большого количества внутренних логических несоответствий. Теория вероятности как наука была построена на аксиоматике Колмогорова.

Аксиоматика теории вероятности.

Построение вероятностного пространства.

Последовательно строим вероятностное пространство. Этап 1: Имеется испытание. В результате проведения испытания может наблюдаться одно событие из серии событий e. Все события из системы e называются наблюдаемыми. Введем предположение, что если события A Ì e, B Ì e наблюдаемы, то наблюдаемы и события Лекция: Лекции по теории вероятности и математической статистике . Система событий F называется полем событий или алгеброй событий, если для двух произвольных событий A, B Ì F выполняется: 1) Дополнения Лекция: Лекции по теории вероятности и математической статистике 2) (A+B) Î F, (A×B) Î F 3) все конечные суммы элементов из алгебры принадлежат алгебре 4) все конечные произведения элементов из алгебры принадлежат алгебре 5) все дополнения конечных сумм и произведений принадлежат алгебре. Таким образом, систему e мы расширяем до алгебры или поля F путем включения всех конечных сумм, произведений, и их дополнений. Т.е. считаем, что в результате проведения испытания наблюдаемая система является полем или алгеброй. Множество всех подмножеств конечного числа событий является наблюдаемой системой - алгеброй, полем. Этап 2: Каждому событию A Î F ставим в соответствие число P(A), которое называется вероятностью наступления события A. Такая операция задает вероятностную меру. Вероятностная мера - числовая скалярная функция, аргументами которой являются элементы из системы алгебры F. Введенная вероятностная мера удовлетворяет системе из трех аксиом. 1. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике 2. P(U)=1. 3. Рассмотрим конечную или бесконечную систему попарно несовместных событий, каждое из которых принадлежит алгебре F. Лекция: Лекции по теории вероятности и математической статистике . Если Лекция: Лекции по теории вероятности и математической статистике , то Лекция: Лекции по теории вероятности и математической статистике . Алгебра событий называется s - алгеброй, если эта система событий содержит в себе все конечные суммы и произведения из алгебры F и их дополнения, а также все бесконечные суммы и произведения из алгебры и их дополнения. Пример: В пространстве R1 зададим в качестве поля событий все конечные интервалы вида a³x>b, b¹a. Распространение этой алгебры на s - алгебру приводит к понятию борелевской алгебры, элементы которой называются борелевскими множествами. Борелевская алгебра получается не только расширением поля вида a³x>b, но и расширением полей вида a>x³b, a³x³b. Над наблюдаемым полем событий F задается счетно-аддитивная мера - числовая скалярная функция, элементами которой являются элементы поля F, т.е. события. Она удовлетворяет следующим трем условиям-аксиомам теории вероятности. 1. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике . P(A) - число, принадлежащее сегменту [0, 1] и называющееся вероятностью наступления события A. 2. P(A) Î [0, 1] P(U)=1. 3. Пусть имеется A1, A2, A3,..., Ak - система попарно несовместных событий Лекция: Лекции по теории вероятности и математической статистике Если Лекция: Лекции по теории вероятности и математической статистике , то Лекция: Лекции по теории вероятности и математической статистике .

Теорема о продолжении меры.

Построим минимальную s - алгебру, которой принадлежит поле событий F (например, борелевская s - алгебра - это минимальная s - алгебра, которая содержит поле всех полуинтервалов ненулевой длины). Тогда доказывается, что счетно-аддитивная функция P(A) однозначно распространяется на все элементы минимальной s - алгебры и при этом ни одна из аксиом не нарушается. Таким образом, продленное P(A) называется s - аддитивной мерой. s - алгебра содержит ненаблюдаемые события наряду с наблюдаемыми. Но в аксиоматической теории вероятности считается, что может произойти любое событие из s - алгебры. Расширение поля наблюдаемых событий на s - алгебру связано с невозможностью получить основные результаты теории вероятности без понятия s - алгебры.

Определение вероятностного пространства.

Вероятностным пространством называется тройка (W, s, P), где W - пространство элементарных событий, построенное для данного испытания; s - s-алгебра, заданная на W - системе возможных событий, которая интересует исследователя, в результате проводимых испытаний; P - s - аддитивная мера, т.е. s - аддитивная неотрицательная функция, аргументами которой являются аргументы из s - алгебры и удовлетворяющая трем аксиомам теории вероятности. 1. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике . P(A) - называется вероятностью наступления события A. 2. Вероятность достоверного события равна 1 P(W)=1. 3. Вероятность суммы несовместных событий равна сумме вероятностей Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике , Лекция: Лекции по теории вероятности и математической статистике . k - возможно бесконечное число. Следствие: Вероятность невозможного события равна 0. По определению суммы имеет место неравенство W+V=W. W и V несовместные события. По третей аксиоме теории вероятности имеем: P(W+V)=P(Q)=P(U)=1 P(W)+P(V)=P(W) 1+P(V)=1 P(V)=1 Пусть W состоит из конечного числа элементарных событий W={E1, E 2,..., Em} тогда по определению Лекция: Лекции по теории вероятности и математической статистике . Элементарные события несовместны, тогда по третей аксиоме теории вероятности имеет место Лекция: Лекции по теории вероятности и математической статистике Пусть некоторое событие AÌW состоит из k элементарных событий, тогда {E i1, Ei2,..., Eik} Лекция: Лекции по теории вероятности и математической статистике Доказать: Если AÌB, то P(B)³P(A), B=A+C, A и C несовместны. * Пусть B=A+C, A и B несовместны. Тогда по третей аксиоме теории вероятности P(B)=P(A+C)=P(A)+P(C) т.к. 1³P(C)³0 - положительное число, то P(B)³P(A).

Классическое определение вероятности.

Пусть W состоит из конечного числа элементарных событий и все элементарные события равновероятны, т.е. ни одному из них из них нельзя отдать предпочтения до испытания, следовательно, их можно считать равновероятными. Тогда достоверное событие Лекция: Лекции по теории вероятности и математической статистике m - количество равновероятных событий Лекция: Лекции по теории вероятности и математической статистике , Лекция: Лекции по теории вероятности и математической статистике , Лекция: Лекции по теории вероятности и математической статистике Пусть произвольное событие Лекция: Лекции по теории вероятности и математической статистике Тогда Лекция: Лекции по теории вероятности и математической статистике , т.е. событие A состоит из k элементарных событий. Если элементарные события являются равноправными, а, следовательно, и равновероятными, то вероятность наступления произвольного события равна дроби числитель которой равен числу элементарных событий, входящих в данное, а знаменатель - общее число элементарных событий.

Условная вероятность.

P(A/B) Условной вероятностью наступления события A, при условии события B, называется вероятность наступления события A в результате испытаний, если известно, что в это испытании произошло событие B. Вывод формулы условной вероятности для случая равновероятных элементарных событий Лекция: Лекции по теории вероятности и математической статистике Действительно, в данном испытании произошло одно из t событий, входящих в B. Все элементарные события равновероятны, следовательно, для данного испытания вероятность наступления произвольного элементарного события, входящего в B равна 1/t. Тогда по классическому определению вероятности, в данном испытании событие A произойдет с вероятностью r/t. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике В общем случае доказать эту формулировку невозможно, в теории вероятности она вводится как правило. Существует лишь толкование этой формулы. Обоснование формулы условной вероятности в общем случае. Пусть в nB испытаниях произошло событие B, а в nA испытаниях произошло событие A. Найдем условную частость наступления события A при условии, что произошло событие B. Мы можем сделать это для обоснования формулы, т.к. под вероятностью наступления события понимается предел частости наступления события при условии, что серия испытаний достаточно длинная. Условная частость Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Рассматривая AB как одно событие D имеем: Лекция: Лекции по теории вероятности и математической статистике с другой стороны Лекция: Лекции по теории вероятности и математической статистике Рассмотрим систему событий A1, A2,...,Ak. Покажем, что вероятность их совместного наступления равна: Лекция: Лекции по теории вероятности и математической статистике Доказательство проведем по мат индукции. Формула равна для 2 и 3 (см. ранее) Пусть формула верна для k-1. Лекция: Лекции по теории вероятности и математической статистике Введем событие B. Лекция: Лекции по теории вероятности и математической статистике P(A1A2...Ak-1)=P(B) P(A1A2...Ak)=P(AkB)=P(B)×P(AkB)

Независимые события.

Два события A и B называются независимыми, если P(A/B)=P(A); P(B)=P(B/A) - доказать. В этом случае вероятность наступления двух событий A и B равна P(AB)=P(B)P(A/B)=P(A)P(B), при этом покажем, что P(B/A)=P(B); P(AB)=P(B)P(A)=P(A)P(B/A) События A1A2...Ak называются независимыми между собой, если вероятность их совместного наступления Лекция: Лекции по теории вероятности и математической статистике ; Лекция: Лекции по теории вероятности и математической статистике . Два независимых события совместны. * Если бы события были несовместны, то P(A/B)=0 и P(B/A)=0, т.к. они независимы, то P(A/B)=P(A) и P(B/A)=P(B), т.е. утверждение “независимые события несовместны”, т.к. P(A)=0 и P(B)=0, то это утверждение неверно.

Формула сложения вероятностей.

Лекция: Лекции по теории вероятности и математической статистике U - достоверное событие Лекция: Лекции по теории вероятности и математической статистике Покажем, что события Лекция: Лекции по теории вероятности и математической статистике несовместны. * Если события несовместны, то Лекция: Лекции по теории вероятности и математической статистике ; Лекция: Лекции по теории вероятности и математической статистике ; т.е. события несовместны. Тогда по третей аксиоме теории вероятности Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Справедливо следующее тождество на основании (1) и закона дистрибутивности Лекция: Лекции по теории вероятности и математической статистике Показать самим, что все три множества попарно несовместны. Лекция: Лекции по теории вероятности и математической статистике На основании первой и третей аксиомы теории вероятности получаем: Лекция: Лекции по теории вероятности и математической статистике Имеет место тождество Лекция: Лекции по теории вероятности и математической статистике , показать самим, что Лекция: Лекции по теории вероятности и математической статистике несовместны Лекция: Лекции по теории вероятности и математической статистике По третей аксиоме: Лекция: Лекции по теории вероятности и математической статистике Для экзамена доказать самим формулу суммы произвольного числа событий Лекция: Лекции по теории вероятности и математической статистике

Формула полной вероятности.

Рассмотрим систему A из k попарно несовместных событий. B1, B2, ..., Bk Лекция: Лекции по теории вероятности и математической статистике Пусть дано событие A, удовлетворяющее равенству A=B1A+B2A+...+BkA. Показать, что события B1A, B2A, BkA попарно несовместны. BiABjA=BiBjAA=VAA=V Найти вероятность наступления события A. Любое событие входящее в A, обязательно входит в некоторое, но одно Bi, т.к. B1, B2, ..., Bk образуют полную группу. Т.к. B1, B2, ..., Bk несовместны, то по третей аксиоме теории вероятности имеем: Лекция: Лекции по теории вероятности и математической статистике ; т.е. Лекция: Лекции по теории вероятности и математической статистике Например: Имеются урны трех составов
15 урн6 белых и 3 черных шара
23 урны10 белых и 1 черный
37 урн0 белых и 10 черных
Все шары в каждой урне перемешаны. Испытание - извлекается шар. Какая вероятность того, что при этом будет извлечен белый шар. B1 - Вытащить любой шар из урны 1. B2 - Вытащить любой шар из урны 2. B3 - Вытащить любой шар из урны 3. A - Извлечь белый шар. A=B1A+B2A+B3A B1, B2, B3 - попарно несовместны. Формула полной вероятности: P(A)=P(B1)P(A/B1)+P(B2)P(A/B2)+P(B3)P(A/B3)

P(B1)=1/3

P(A/B1)=6/9=2/3

P(B2)=1/5

P(A/B2)=10/11

P(B3)=7/15

P(A/B3)=0

P(A)=1/3×2/3+1/5×11/10+7/15×0=2/9+2/11=40/99»0.4

Формула Байеса.

Постановка задачи та же, но решаем обратную задачу. Проводится испытание, в результате которого произошло событие A. Какова вероятность того, что в этом испытании произошло событие Bi. Условные вероятности называются апостериорными, а безусловные - априорными вероятностями. P(ABi)=P(A)P(Bi/A)=P(Bi)P(A/Bi) Откуда, Лекция: Лекции по теории вероятности и математической статистике Таким образом, формула Байеса: Лекция: Лекции по теории вероятности и математической статистике Композиция испытаний. Имеется вероятностное пространство, которое порождает испытание 1. Лекция: Лекции по теории вероятности и математической статистике где Ei, i=1, ..., m1 - пространство элементарных событий в результате испытания. P(Ei), i=1, ..., m1 - вероятности элементарных событий. Испытание 2 порождает вероятностное пространство вида Лекция: Лекции по теории вероятности и математической статистике P(Ei), P(Qj) - разные вероятностные меры. Композицией двух испытаний называется сложное испытание, состоящее в поведении первого и второго испытания. Композиция испытаний порождает вероятностное пространство вида: Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике EiQj - композиционное событие. В общем случае по P(Ei) и P(Qj) найти P(EiQj) невозможно. Рассмотрим один частный случай, когда это можно сделать. Два испытания называются независимыми, если различные исходы обоих испытаний определяются несвязанными между собой случайными факторами. Из определения независимости испытания вытекает, что условные частости наступления события в одном испытании, при условии, что во втором испытании произошло фиксированное число событий равны безусловным частостям, если они существуют. Пусть испытания независимы. В результате проведения первого испытания произошло элементарное событие Ei, в результате второго испытания может произойти все что угодно. Тогда сложное событие, определяющее исход первого и второго испытания имеет вид: Лекция: Лекции по теории вероятности и математической статистике и равно сумме комбинаций исходов первого и второго испытаний. Вероятность сложного события A. Лекция: Лекции по теории вероятности и математической статистике , т.е. результаты второго испытания не зависят от результатов первого. Если в результате второго испытания произошло событие Qj, а в результате первого испытания могло произойти все что угодно, то сложное событие B имеет вид: Лекция: Лекции по теории вероятности и математической статистике . Вероятность сложного события B равна сумме вероятностей комбинаций вида Ei Qj, i=1, ..., m1 Лекция: Лекции по теории вероятности и математической статистике , т.к. исходы первого испытания не влияют на исходы второго испытания. Из факта: P(AB)=P(A)P(B/A); P(B/A)=P(B); AB=EiQj (надо доказать) A={EiQ1, EiQ2, ..., EiQj, ..., EiQm2} B={E1Qj, E2Qj, ..., EiQj, ..., Em1Qj} По определению произведения AB в него входят только те события, которые входят и в A, и в B. Из приведенных выше формул следует, что только событие Ei Qj входит и в A, и в B, то AB= EiQj. Следует: Лекция: Лекции по теории вероятности и математической статистике Композиционное пространство имеет вид: Лекция: Лекции по теории вероятности и математической статистике Общая структура независимых событий в композиционном пространстве, порожденном композицией испытаний: Лекция: Лекции по теории вероятности и математической статистике т.е. в результате первого испытания произошли элементарные события: Лекция: Лекции по теории вероятности и математической статистике . В результате второго испытания события: Лекция: Лекции по теории вероятности и математической статистике . Сложное событие B определяет все возможные комбинации исходов двух испытаний независимо друг от друга. В результате первого испытания произошли элементарные события: Лекция: Лекции по теории вероятности и математической статистике . В результате второго испытания события: Лекция: Лекции по теории вероятности и математической статистике . Тогда: Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике , т.к. второе испытание не влияет на результаты первого. Лекция: Лекции по теории вероятности и математической статистике т.к. Лекция: Лекции по теории вероятности и математической статистике , (надо доказать) то Лекция: Лекции по теории вероятности и математической статистике При решении практических задач, связанных с независимыми испытаниями обычно не требуется строить композиционных пространств элементарных событий, а использовать формально неверную запись: P(A×B)=P(A)×P(B). Композиция n испытаний. Имеется n испытаний. Зададим для i-го испытания вероятностное пространство: Лекция: Лекции по теории вероятности и математической статистике i=1, ..., n Композицией n испытаний называется сложное испытание, состоящее в совместном проведении n испытаний. Задается n испытаний, вероятностное пространство каждого из которых имеет вид: Лекция: Лекции по теории вероятности и математической статистике i=1, ..., n Композиционное пространство имеет вид: Лекция: Лекции по теории вероятности и математической статистике j1=1, ..., m1; j2=1, ..., m2; jn=1, ..., mn; Композиция n независимых испытаний. Испытания (n - испытаний) называются независимыми, если неоднозначность исхода каждого из испытаний определена не связанными между собой группами факторов. Событие A1: в результате проведения композиционного испытания в первом испытании произошло событие Лекция: Лекции по теории вероятности и математической статистике . Тогда Лекция: Лекции по теории вероятности и математической статистике Событие An: в результате проведения композиционного испытания в первом испытании произошло событие Лекция: Лекции по теории вероятности и математической статистике . Тогда Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике i=1, ..., n Рассмотрим событие: Лекция: Лекции по теории вероятности и математической статистике В силу определения независимости испытаний очевидно, что: Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике . Следовательно: Лекция: Лекции по теории вероятности и математической статистике . На практике не строят композиционных пространств, а записывают формально неправильную формулу: P(A1A2...An)=P(A1 )P(A2)...P(An). Композиционное пространство имеет вид: Лекция: Лекции по теории вероятности и математической статистике j1=1, ..., m1; j2=1, ..., m2; jn=1, ..., mn; Общая структура независимых событий в композиционном пространстве имеет вид:
1-е событие -это событие, которое происходит в 1-м вероятностном пространстве
2-е событие -это событие, которое происходит во 2-м вероятностном пространстве
n - событие -это событие, которое происходит в n-м вероятностном пространстве
Рассмотрим два вероятностных пространства.
III

Лекция: Лекции по теории вероятности и математической статистике

Лекция: Лекции по теории вероятности и математической статистике

Очевидно, что неопределенность испытания до испытания в первом вероятностном пространстве выше, чем во втором. Действительно, до испытания в I нельзя ни одному из событий отдать предпочтения, а во II событие E3 происходит чаще. Энтропия - мера неопределенности исхода испытания (до испытания). Первым, кто функционально задал выражение для энтропии был Шеннон. Лекция: Лекции по теории вероятности и математической статистике , Лекция: Лекции по теории вероятности и математической статистике Для вероятностного пространства: Лекция: Лекции по теории вероятности и математической статистике Энтропия задается выражением: Лекция: Лекции по теории вероятности и математической статистике . Если P1=0, то Pi×logPi­=0. Самим показать, что: 1. Если вероятностное пространство не имеет определенности, т.е. какое-то из P i=1, а остальные равны 0, то энтропия равна нулю. 2. Если элементарный исход равновероятен, т.е. Лекция: Лекции по теории вероятности и математической статистике , то энтропия принимает максимальное значение. 0£Pi£1, Лекция: Лекции по теории вероятности и математической статистике 1) Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике , Лекция: Лекции по теории вероятности и математической статистике т.о. вероятности p1, p2, ..., ps обращаются в ноль, например pi, которая равна 1. Но log1=0. Остальные числа также обращаются в 0, т.к. Лекция: Лекции по теории вероятности и математической статистике . 2) Докажем, что энтропия системы с конечным числом состояний достигае максимума, когда все состояния равновероятны. Для этого рассмотрим энтропию системы как функцию вероятностей p1, p2, ..., ps и найдем условный экстремум этой функции, при условии, что Лекция: Лекции по теории вероятности и математической статистике . Пользуясь методом неопределенных множителей Лагранжа, будем искать экстремум функции: Лекция: Лекции по теории вероятности и математической статистике . Дифференцируя по p1, p2, ..., ps и приравнивая производные нулю получим систему: Лекция: Лекции по теории вероятности и математической статистике i=1, ..., s Откуда видно, что экстремум достигается при равных между собой p1. Т.к. Лекция: Лекции по теории вероятности и математической статистике , то p1= p2=, ..., = ps= 1/s. Еденицей измерения энтропии является энтропия вероятностного пространства вида: Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике , которая называется 1 бит. Неопределенность исхода испытания до испытания автоматически определяет информативность исхода испытания после испытания. Поэтому в битах также измеряется информативность исхода. Рассмотрим два вероятностных пространства: Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Проводим композицию двух испытаний. Композиционное пространство имеет вид: Лекция: Лекции по теории вероятности и математической статистике i=1, ..., s1 j=1, ..., s2 С точки зрения качественного анализа максимальная энтропия композиционного вероятностного пространства достигается тогда, когда испытания независимы. Найдем энтропию композиционного пространства для случая независимых испытаний. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Биномиальное распределение. n испытаний называются системой испытаний Бернулли, если испытания независимы, в каждом из них происходит событие Лекция: Лекции по теории вероятности и математической статистике , либо Лекция: Лекции по теории вероятности и математической статистике с вероятностью наступления P(A) = p; Лекция: Лекции по теории вероятности и математической статистике Найдем вероятность того, что в результате проведенных n испытаний событие А произошло m раз: Лекция: Лекции по теории вероятности и математической статистике Рассмотрим композицию n независимых испытаний и построим композиционное пространство элементарных событий. Общий вид элемента этого пространства следующий: Лекция: Лекции по теории вероятности и математической статистике
где

Лекция: Лекции по теории вероятности и математической статистике

При этом вероятность наступления такого события равна: Лекция: Лекции по теории вероятности и математической статистике (умножение при независимых событиях)Лекция: Лекции по теории вероятности и математической статистике Найдем вероятность наступления любого элементарного события из композиционного пространства: Лекция: Лекции по теории вероятности и математической статистике Рассмотрим в композиционном вероятностном пространстве событие: в n испытаниях событие A произошло m раз. Событие A состоит из Лекция: Лекции по теории вероятности и математической статистике - общее кол-во элементарных событий, в которое входит событие А. А произошло m раз, Лекция: Лекции по теории вероятности и математической статистике - n-m раз. Вероятность каждого из этих элементарных событий одинакова и равна: Лекция: Лекции по теории вероятности и математической статистике Следовательно, на основании III аксиомы теории вероятности результат равняется: Лекция: Лекции по теории вероятности и математической статистике (сложение вероятностей) Лекция: Лекции по теории вероятности и математической статистике Случайная величина Пусть имеется вероятностное пространство вида Лекция: Лекции по теории вероятности и математической статистике . Случайной величиной называется измеримая числовая скалярная функция Лекция: Лекции по теории вероятности и математической статистике , элементами которой являются элементарные события. Числовая скалярная функция - это функция, удовлетворяющая следующему условию: Лекция: Лекции по теории вероятности и математической статистике событие Лекция: Лекции по теории вероятности и математической статистике - алгебре и, следовательно, имеет вероятность наступления. Если произведено испытание, в результате которого произошло некоторое элементарное событие Лекция: Лекции по теории вероятности и математической статистике . В соответствии с функцией Лекция: Лекции по теории вероятности и математической статистике этому элементарному событию соответствует число, которое называется реализацией случайной величины x в данном испытании. В соответствии с определением случайной величины вводится числовая скалярная функция F(x), Лекция: Лекции по теории вероятности и математической статистике , определенная для каждого действительного x и по определению равная вероятности наступления события: Лекция: Лекции по теории вероятности и математической статистике Эта функция называется функцией распределения случайной величины Лекция: Лекции по теории вероятности и математической статистике . Рассмотрим три события: Лекция: Лекции по теории вероятности и математической статистике где a<b, a, b - действительные числа. Свойства: Лекция: Лекции по теории вероятности и математической статистике Покажем, что из факта A2 Ì s-алгебре A1 Ì s-алгебре и равенства Лекция: Лекции по теории вероятности и математической статистике следует, что A3 Ì s. Лекция: Лекции по теории вероятности и математической статистике По определению s-алгебры A3 измерима, поэтому можно принять III аксиому теории вероятности: Лекция: Лекции по теории вероятности и математической статистике F(x) - неубывающая функция Если x<y, то Лекция: Лекции по теории вероятности и математической статистике т.к. Лекция: Лекции по теории вероятности и математической статистике , то преобразования верны. Для всех технических приложений функцию распределения можно считать направленной слева. В силу того, что функция распределения не убывает, она однозначно задает стчетно-аддитивную меру на поле, порожденном всеми полуинтервалами ненулевой длины. По введенному полю построим борелевскую алгебру. Обозначим ее b. Возьмем произвольное число BÌb не принадлежащее полю. Это точка или сегмент. Т.к. множество Лекция: Лекции по теории вероятности и математической статистике получено с помощью счетной суммы или счетного пересечения множеств принадлежащих s-алгебре, то и это множество принадлежит s-алгебре и, следовательно, существует вероятность наступления события B. Следовательно, имеет место следующее эквивалентное определение измеримой функции. Функция Лекция: Лекции по теории вероятности и математической статистике называется измеримой, если для любого BОb множество Лекция: Лекции по теории вероятности и математической статистике алгебре где Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике множество, полученное следующим образом: Лекция: Лекции по теории вероятности и математической статистике Функция g(x) называется борелевской функцией, если для любого BÌb множество Лекция: Лекции по теории вероятности и математической статистике Борелевская функция - функция, определяемая на системе борелевских множеств. В функциональном анализе показано, что все известные аналитические функции являются борелевскими. ТЕОРЕМА: Пусть g(x) борелевская функция, Лекция: Лекции по теории вероятности и математической статистике - случайная величина, т.е. измеримая функция. Тогда функция Лекция: Лекции по теории вероятности и математической статистике является измеримой и, следовательно, случайной величиной. Берем произвольное BÌb. Лекция: Лекции по теории вероятности и математической статистике по определению борелевской функции. Рассмотрим множество Лекция: Лекции по теории вероятности и математической статистике т.к. Лекция: Лекции по теории вероятности и математической статистике измеримая функция и Лекция: Лекции по теории вероятности и математической статистике , то AÌs-алгебре Следовательно, функция Лекция: Лекции по теории вероятности и математической статистике - измеримая функция, т.е. случайная величина. Теорема Колмогорова Любая числовая скалярная функция, которая удовлетворяет свойствам, которым удовлетворяет функция распределения, является функцией распределения и однозначно задает вероятностное пространство вида: Лекция: Лекции по теории вероятности и математической статистике b - борелевская алгебра; P - мера на борелевской алгебре; R1 - числовая скалярная ось. Введем функцию F(x) Лекция: Лекции по теории вероятности и математической статистике Эта функция определена для всех x, неубывающая, непрерывная сверху. Показать самим, что такая функция однозначно задает счетно-аддитивную меру на поле, порожденном всеми полуинтервалами ненулевой длины. Докажем, что 0<F(x)<1 Согласно терминологии, если функция y=f(x) непрерывна на отрезке [a, b], то она ограничена. Поскольку наша функция не убывающая, то максимум и минимум она соответственно будет иметь такой: Лекция: Лекции по теории вероятности и математической статистике т.е. 0<F(x)<1. 2. Пусть имеем следующие функции. Построим борелеву алгебру на поле, тогда по теореме о продолжении счетно- аддитивная функция, определенная на поле, без изменения аксиом теории вероятности, однозначно распространяется на все элементы борелевой алгебры, не принадлежащие полю. Т.о. вероятностное пространство построено, теорема доказана. Смысл теоремы. Теорема Колмогорова позволяет утверждать, что если вы исследуете случайную величину, то не надо строить абстрактное пространство элементарных событий, s-алгебру, счетно-аддитивную меру, конкретный вид функции Лекция: Лекции по теории вероятности и математической статистике . Нашей задачей будет лишь то, что считая R1 - числовой скалярной осью - пространство элементарных событий, мы должны найти функцию распределения F(x), использую статистику: результата конкретного испытания над случайной величиной: X1, X2, ..., Xn Дискретные случайные величины Случайная величина называется дискретной, если в результате испытания она может принять значение из конечного либо счетного множества возможных числовых значений. Случайные величины в дальнейшем будем обозначать большими буквами: X, Y, Z Вероятностное пространство дискретной случайной величины задается в виде: Лекция: Лекции по теории вероятности и математической статистике , n - конечное или бесконечное. Пример: Испытание - композиция n-независимых испытаний, в каждом из которых происходит событие A с вероятностью p, либо Лекция: Лекции по теории вероятности и математической статистике с вероятностью 1-p. Вероятностное пространство Лекция: Лекции по теории вероятности и математической статистике В этом примере s-алгеброй является множество всех подмножеств пространства элементарных событий. Введенную нами случайную величину x по определению можно задать: Лекция: Лекции по теории вероятности и математической статистике - верхняя строчка - это совокупность возможных числовых значений, которые может принимать случайная величина; - нижняя строчка - вероятность наступления этих числовых значений. Практически во всех задачах естествознания отсутствует промежуточный этап: испытание, W - пространство всех возможных исходов испытания, Лекция: Лекции по теории вероятности и математической статистике - числовая скалярная функция, элементы которой wÌW. На самом деле структура: - испытание; - исход испытания; - число на числовой оси. Вероятностные характеристики дискретных случайных величин. Математическим ожиданием случайной величины X называется число вида Лекция: Лекции по теории вероятности и математической статистике xi - все возможные различные конкретные исходы испытания; pi - вероятности их наступления. Математическое ожидание является как бы аналогом центра масс точечной механической системы: Лекция: Лекции по теории вероятности и математической статистике Как центр масс: Лекция: Лекции по теории вероятности и математической статистике Смысл характеристики мат.ожидания заключается в следующем: это точка на числовой оси, относительно которой группируются результаты конкретных испытаний над дискретной случайной величиной. Свойства математического ожидания 1. MC=C Лекция: Лекции по теории вероятности и математической статистике 2. MCX=CMX Построим таблицу для случайной величины CX: Лекция: Лекции по теории вероятности и математической статистике по определению математического ожидания: Лекция: Лекции по теории вероятности и математической статистике 3. M(X+a)=MX+a, a=const Построим таблицу для случайной величины x+a Лекция: Лекции по теории вероятности и математической статистике Доказать следствие 4. M(aX+b)=aMX+b, где a, b - константы Лекция: Лекции по теории вероятности и математической статистике Пусть случайная величина Y является функцией f(x) от случайной величины X. Построим вероятностное пространство случайной величины Y. Лекция: Лекции по теории вероятности и математической статистике Верхняя строчка является пространством элементарных событий для случайной величины Y. В противном случае верхняя строчка является пространством элементарных событий для величины Y. Все одинаковые числа в верхней строчке заменяется одним, вероятность наступления которого равна сумме соответствующих вероятностей. Следствие. Математическое ожидание случайной величины Y равняется: Лекция: Лекции по теории вероятности и математической статистике Начальным моментом К-го порядка случайной величины X называется математическое ожидание случайной величины Xk. Лекция: Лекции по теории вероятности и математической статистике Центрированная случайная величина - это величина, равная X’=X-MX Покажем, что математическое ожидание MX’ равно 0. Лекция: Лекции по теории вероятности и математической статистике Центральным моментом К-го порядка называется начальный момент К-го порядка случайной величины X’ Лекция: Лекции по теории вероятности и математической статистике при решении реальных задач практические вероятности рi неизвестны, но считая, что вероятность - это частость, при большом числе испытаний Лекция: Лекции по теории вероятности и математической статистике Дисперсией случайной величины X, называется центральный момент второго порядка случайной величины X. Лекция: Лекции по теории вероятности и математической статистике Дисперсия является мерой концентрации результатов конкретных испытаний над случайной величиной X. Свойства. 1. Чем меньше дисперсия, тем более тесно группируются результаты конкретных испытаний относительно математического ожидания. Пусть дисперсия мала, тогда мало каждое слагаемое суммы (xi-n)2 pi. Тогда для , xi которое по модулю резко отличается от математического ожидания n, pi - мало. Следовательно, большую вероятность наступления могут иметь лишь те xi, которые по модулю мало отличаются от математического ожидания. 2. Если дисперсия равна 0, то X - const. Лекция: Лекции по теории вероятности и математической статистике 3. D(X+C)=DX Y=X+C Y’=Y-MY=X+C-M(X+C)=X+C-MX-C=X-MX=X’ DY=M(Y’)2=M(X’)2=DX 4. DCX=C2DX Y=CX DY= M(Y’)2=M(Y’)2 Y’=Y-MY=CX-MCX=CX-MCX=C(X-MX)=CX’ DY= M(Y’)2=M(CX’)2=C2M(X’)2=C2DX 5. Лекция: Лекции по теории вероятности и математической статистике Построим функцию распределения для дискретной случайной величины. Для удобства договоримся, что случайные величины располагаются в порядке возрастания. Лекция: Лекции по теории вероятности и математической статистике т.е. по определению для любого действительного X, F(x) численно равно вероятности наступления следующего события: в результате испытаний над X оно приняло значение строго меньше x. Лекция: Лекции по теории вероятности и математической статистике Производная функция Лекция: Лекции по теории вероятности и математической статистике Характеристической функцией случайной величины X называется функция действительного аргумента вида Лекция: Лекции по теории вероятности и математической статистике Производящей функцией называется скалярная функция вида: Лекция: Лекции по теории вероятности и математической статистике Свойства производящей функции 1. Лекция: Лекции по теории вероятности и математической статистике 2. Лекция: Лекции по теории вероятности и математической статистике 3. Разложение производящей функции в ряд Маклорена имеет вид Лекция: Лекции по теории вероятности и математической статистике Формула Тейлора имеет вид Лекция: Лекции по теории вероятности и математической статистике при to=0 она носит название формулы Маклорена Лекция: Лекции по теории вероятности и математической статистике Пример: Рассмотрим случайную величину, распределенную по биноминальному закону распределения: Лекция: Лекции по теории вероятности и математической статистике Найдем производящую функцию: Лекция: Лекции по теории вероятности и математической статистике Найти DX и MX Лекция: Лекции по теории вероятности и математической статистике Первая модель распределения Пуассона Проведена неограниченно большая серия испытаний, в результате каждого испытания случайным образом появляется точка на числовой оси. Случайное распределение точек на числовой оси удовлетворяет следующим трем свойствам. 1. Стационарность. Вероятность того, что на отрезок данной длины попадает данное количество точек определяется только длиной этого отрезка и не зависит от расположения этого отрезка на числовой оси. 2. Ординарность. Вероятность того, что на достаточно малый отрезок длины Dx попадает одна точка, является бесконечно малой Dx порядка. Вероятность того, что на этот отрезок попадает более, чем одна точка, является бесконечно малой более высокого порядка, чем Dx. 3. Свойство без последействия. Вероятность того, что на данный отрезок попало определенное количество точек не зависит от того, сколько точек в результате проведенной бесконечно серии испытаний попало на отрезок, не пересекающийся с данным. Найти вероятность того, что на данный отрезок длина l попадает m точек. Лекция: Лекции по теории вероятности и математической статистике Обозначим через xl - случайная величина, равная численности точек, выпавших на отрезок длины l. Лекция: Лекции по теории вероятности и математической статистике На числовой оси рассмотрим отрезок длины 1 и обозначим: MX1=l Математическое ожидание числа точек, попавших на отрезок длины 1. По свойству стационарности l одинаково для всех отрезков. MX1=ll - доказать Пусть l - целое число. Разобьем отрезок длины l на l отрезков единой длины. Тогда количество точек, попавших на отрезок длины l будет равно числу точек, попавших на каждый из непересекающихся отрезков длины 1 (тут использовалось свойство беспоследействия). Используя формулу Лекция: Лекции по теории вероятности и математической статистике имеем MX1=ll Математическое ожидание числа точек, попавшие на отрезок длины l равно мат. ожиданий точек, попавших на непересекающиеся отрезки. Пусть l - не целое число. Выделяем целую часть. Тогда Лекция: Лекции по теории вероятности и математической статистике На числовой оси рассмотрим отрезок длины l, разобьем его на n отрезков данной длины Лекция: Лекции по теории вероятности и математической статистике такой, что позволит использовать свойство ординарности. Тогда с определенной погрешностью, которая тем меньше, чем больше n можно считать Лекция: Лекции по теории вероятности и математической статистике т.е. на отрезок длины Dx попадает не более, чем одна точка, тогда Лекция: Лекции по теории вероятности и математической статистике Для достаточного малого отрезка длины lDx вероятность попадания в него одной точки Dx, а вероятность того, что ничего не произойдет 1- lDx. В сделанных предположениях m точек попадает на отрезок длины l только в одном случае, когда в m отрезках попадает по одной точке. Тогда на основании 3-го свойства искомая вероятность равна Лекция: Лекции по теории вероятности и математической статистике Точную вероятность получим путем предельного перехода при числе разделений отрезка Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Тут мы разложили Лекция: Лекции по теории вероятности и математической статистике в ряд Маклорена. Найдем производящую функцию распределения Пуассона Лекция: Лекции по теории вероятности и математической статистике Найти MX и DX Лекция: Лекции по теории вероятности и математической статистике Вторая модель распределения Пуассона Рассматривается обычная схема биноминального распределения, в котором n - велико, а p - достаточно мало. Тогда точная формула для вероятности появления события A в m испытаниях имеет вид Лекция: Лекции по теории вероятности и математической статистике Эта формула при больших n вычисляется сложно. Такую вероятность заменяют приближенной Лекция: Лекции по теории вероятности и математической статистике Для найденного a построим гипотетический ряд вероятностей Лекция: Лекции по теории вероятности и математической статистике Предполагается, что для достаточно больших n и малых p искомая вероятность Лекция: Лекции по теории вероятности и математической статистике является членом построенного гипотетического ряда вероятностей, а во вторых находится в малой окрестности предельного значения этого ряда. И, следовательно, это значение можно взять в качестве допустимой хорошей аппроксимации значений искомой вероятности. Непрерывные случайные величины. Будем рассматривать пространство элементарных событий как совокупность всех точек числовой оси. В этом случае введенная ранее функция распределения имеет вид: Лекция: Лекции по теории вероятности и математической статистике . Пусть функция распределения является непрерывной. Найдем вероятность того, что в результате испытаний случайная величина X примет значение a, где a - произвольное действительное число. P(X=a). Рассмотрим неравенство: Лекция: Лекции по теории вероятности и математической статистике Доказать самим. Лекция: Лекции по теории вероятности и математической статистике Следовательно: Лекция: Лекции по теории вероятности и математической статистике Мы впервые столкнулись с ситуацией, когда событие принципиально может произойти в результате испытания, но имеет вероятность равную 0 . В инженерном толковании это означает: в данной конечной серии испытаний данное событие никогда не произойдет. Случайная величина X называется непрерывной, если ее пространством элементарных событий является вся числовая ось (либо отрезок (отрезки) числовой оси), а вероятность наступления любого элементарного события равна нулю. P(a£X<b)=P(a£X£b)=F(b)-F(a) Если от сложного события вычесть конечное либо счетное множество, вероятность наступления нового события останется неизменной. Функция f(x) - числовая скалярная функция действительного аргумента x называется плотностью вероятности, и существует в точке x, если в этой точке существует предел: Лекция: Лекции по теории вероятности и математической статистике Свойства плотности вероятности. 1. Плотность вероятности является неотрицательной функцией. 2. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике 3. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике 4. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Следствие: Если пространством элементарных событий является отрезок числовой оси, то пространство элементарных событий формально можно распространить на всю числовую ось, положив вне отрезка значение плотности вероятности равное 0. Второе эквивалентное определение плотности вероятности. Лекция: Лекции по теории вероятности и математической статистике Если плотность вероятности в точке x существует, то P(x£X£x+Dx)=f(x)Dx+о(Dx). Вероятность того, что в результате испытания случайная величина примет значение в отрезке с точностью до о(Dx) равна F(x)Dx. Пример: Равномерное распределение. Лекция: Лекции по теории вероятности и математической статистике тут p(x)=f(x). Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике т.к. Лекция: Лекции по теории вероятности и математической статистике

Лекция: Лекции по теории вероятности и математической статистике

Экспоненциальное распределение. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Непрерывная случайная величина является математической абстракцией и в чистом виде на практике не встречается, хотя бы потому, что теоретически не может существовать измерительное устройство, вычисляющее это величину. Следовательно, всегда исследователь имеет дело со случайными дискретными величинами. На практике отрезок [a, b] разбивают на отрезки одинаковой длинны, длину устремляют к нулю. При этом x принадлежит отрезку. Вероятность того, что отрезок содержит x равна Лекция: Лекции по теории вероятности и математической статистике . При Лекция: Лекции по теории вероятности и математической статистике ситуация эквивалентна следующему: имеется бесконечное множество лотерейных билетов, один ваш. Ясно, что в конечной серии розыгрышей вы никогда не выиграете. Независимо от этого велико удобство работы с непрерывными величинами. Оно заключается в том, что вероятностные свойства задаются одной из двух функций - плотностью распределения либо плотностью вероятности. Вероятностные характеристики непрерывных случайных величин. Пусть имеется случайная величина, являющаяся функцией от непрерывной случайной величины X. Y=x(x) Математическим ожиданием непрерывной случайной величены является число: Лекция: Лекции по теории вероятности и математической статистике , Лекция: Лекции по теории вероятности и математической статистике - плотность вероятности случайной величины. Обоснование этой формулы. Аппроксимируем непрерывную случайную величину Y случайной величены Y* , которая является дискретной. Пусть числовая ось - пространство элементарных событий случайной величены X, разобьем всю числовую ось на отрезки достаточно малой длины. Лекция: Лекции по теории вероятности и математической статистике 2n отрезков. Если в результате испытания случайная величена X попала в отрезок с начальной вершиной xi, то случайная величена X* приняла значение x(xi) с точностью до бесконечно малой Dx - длины i-го отрезка. Вероятность того, что Y* примет значение x(xi) с точностью до бесконечно малой более высокого порядка, чем Dx, тем более точно Y * аппроксимирует Y. Вероятность наступления x(xi) для Y* равна Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике , при Лекция: Лекции по теории вероятности и математической статистике эта сумма переходит в Лекция: Лекции по теории вероятности и математической статистике . Тогда Лекция: Лекции по теории вероятности и математической статистике . Самим показать, что все свойства мат. ожидания для дискретной случайной величены сохраняются для непрерывной случайной величены. Лекция: Лекции по теории вероятности и математической статистике Доказать, что Лекция: Лекции по теории вероятности и математической статистике Доказать самим, что свойство 1 и 2 для производящей функции в дискретном случае справедливы и для непрерывного. Лекция: Лекции по теории вероятности и математической статистике Распределение Гаусса - нормальное Случайная величина имеет нормальное распределение (распределение Гаусса) и называется нормально распределенной, если ее плотность вероятности Лекция: Лекции по теории вероятности и математической статистике Из определения Лекция: Лекции по теории вероятности и математической статистике функция распределения Лекция: Лекции по теории вероятности и математической статистике Найдем выражение для производящей функции нормального распределения Лекция: Лекции по теории вероятности и математической статистике =1 (интеграл Эйлера) Лекция: Лекции по теории вероятности и математической статистике Изобразим примерный вид плотности
n(x,n,s)
v
Лекция: Лекции по теории вероятности и математической статистике
z
Рассмотрим центрированную нормальную величину, т.е. MX=0 Лекция: Лекции по теории вероятности и математической статистике У центральной нормированной величины все нечетные начальные моменты равны 0 Лекция: Лекции по теории вероятности и математической статистике Функция Лапласа Функцией Лапласа называется функция вида Лекция: Лекции по теории вероятности и математической статистике Свойства: 1) при z>0 функция Лапласа определяет вероятность попадания нормальной случайной величины с параметрами MX=0 DX=1 в интервале (0, z) 2) Лекция: Лекции по теории вероятности и математической статистике 3) Лекция: Лекции по теории вероятности и математической статистике - функция нечетная Иногда в литературе встречаются два вида функций Лапласа Лекция: Лекции по теории вероятности и математической статистике Функция Лапласа табулирована. Функция Лапласа используется для выполнения событий вида Лекция: Лекции по теории вероятности и математической статистике для произвольных нормальных величин. Найдем вероятность того, что в результате испытания над x произойдет сложное событие: x примет числовое значение, принадлежащее отрезку с концами (a, b). Лекция: Лекции по теории вероятности и математической статистике Пример. x - случайная величина. f(x) - плотность вероятности. Найти плотность вероятности g(n) случайной величины H. Лекция: Лекции по теории вероятности и математической статистике Рассмотрим отрезок (h, h+dh). Событию попадание H в отрезок (h, h+dh) в силу однозначности функции h(x) соответствует попадание x в отрезок (x, x+dx). При этом вероятности наступления такого события одинаковы: Лекция: Лекции по теории вероятности и математической статистике Тогда построим функцию h(x), обратную x(h), x=x(h). т.к. Лекция: Лекции по теории вероятности и математической статистике Вероятность первого события равна Лекция: Лекции по теории вероятности и математической статистике Вероятность второго события Лекция: Лекции по теории вероятности и математической статистике Следовательно Лекция: Лекции по теории вероятности и математической статистике Неравенство Чебышева Рассмотрим случайную величину X с конечным мат. ожиданием и дисперсией Лекция: Лекции по теории вероятности и математической статистике Для любого неотрицательного числа t вероятность наступления события Лекция: Лекции по теории вероятности и математической статистике Пусть Z - непрерывная случайная величина с плотностью вероятности f(Z). Пространство событий величины Z (0; ¥). Тогда имеет место неравенство Лекция: Лекции по теории вероятности и математической статистике Доказать неравенства Лекция: Лекции по теории вероятности и математической статистике Рассмотрим два сложных события Лекция: Лекции по теории вероятности и математической статистике a - произвольное действительное число. Показать самим, что x - удовлетворяет и одному и другому неравенству. Тогда Лекция: Лекции по теории вероятности и математической статистике справедливо Лекция: Лекции по теории вероятности и математической статистике В данном случае Лекция: Лекции по теории вероятности и математической статистике Равномерность неравенств при e>0

Лекция: Лекции по теории вероятности и математической статистике

Лекция: Лекции по теории вероятности и математической статистике

или, в частности, при a=n=MX Лекция: Лекции по теории вероятности и математической статистике при e=st справедливо неравенство Чебышева. Многомерные случайные величины. Инженерная интерпретация. Проводится испытание. В результате испытания фиксируется m числовых значений X 1, X2, ...,Xm. Исход испытания случайный. Пример: Испытание - реализация некоторой технологии выпуска продукта. Исход - численное значение m характеристик, оценив которые мы оценим качество продукта. Т.к. в процессе реализации технологии на технологию действуют случайные факторы, то результат испытания неоднозначен. Аксиоматика. Формальная вероятностная модель. Имеется вероятностное пространство: (W, s, P). Зададим m числовых измеримых скалярных функций x1(w), ..., xm(w). Каждая из этих функций является одномерной по определению. Возьмем m произвольных действительных чисел и рассмотрим событие A. Лекция: Лекции по теории вероятности и математической статистике Очевидно, что событие A является пересечением событий Ai вида: Лекция: Лекции по теории вероятности и математической статистике Т.к. каждое AiÎs-алгебре, то и AÌs-алгебре. Следовательно, существует вероятность наступления события A и существует числовая скалярная функция m действительных аргументов, которая определена для всех значений своих аргументов и численно равна вероятности наступления события A. F(x1, x2, ...,xm)=P(A) Это m-мерная функция распределения m-мерной случайной величены. Свойства многомерного распределения: 1. Значение функции при значении хотя бы одного ее аргумента равного -¥, равно 0, как вероятность невозможного события. 2. Значение функции, при всех значениях ее аргументов равных +¥, равно 1, как вероятность достоверного события. 3. Функция не убывает по любой совокупности ее аргументов. 4. Функция непрерывна почти всюду (для инженерной практики это означает, что на конечном, либо счетном множестве аргументов она может иметь скачки 1- го рода). Рассмотрим арифметическое пространство Лекция: Лекции по теории вероятности и математической статистике и зададим полуинтервалы вида: Лекция: Лекции по теории вероятности и математической статистике Доказать самим, что P(B) существует, и образ этого множества принадлежит s- алгебре по w. Лекция: Лекции по теории вероятности и математической статистике Можно доказать, что: Лекция: Лекции по теории вероятности и математической статистике Т.о. многомерная функция распределения позволяет в m-мерном арифметическом пространстве задать счетно-аддитивную меру - функцию на поле, порожденному всеми m-мерными полуинтервалами объема ("i, ai¹bi). Тогда построим минимальную s-алгебру на этом поле, которая называется борелевским полем (алгеброй) в m-мерном арифметическом пространстве. Любая скалярная функция m-аргументов удовлетворяет всем свойствам, приведенным для m-мерной функции распределения и однозначно задает вероятностное пространство вида: Лекция: Лекции по теории вероятности и математической статистике Таким образом, для инженерного исследования задача свелась к следующему: пространство элементарных событий - это m-мерное арифметическое пространство. По результатам статистических испытаний нужно оценить m-мерную функцию распределения F(x1, x2, ...,xm). Рассмотрим числовую скалярную функцию m действительных аргументов. g(x1, x 2, ...,xm). Функция g(x1, x2, ...,xm ) называется борелевской, если для любого BÌb в одномерном арифметическом пространстве соответствующая Лекция: Лекции по теории вероятности и математической статистике . Тогда справедлива теорема, доказательство которой полностью повторяет доказательство в одномерном случае. Скалярная функция Лекция: Лекции по теории вероятности и математической статистике - является измеримой скалярной функцией - случайной величиной. Двумерные случайные величины. Рассмотрим испытание, результатом которого является появление двух чисел из некоторого конечного либо счетного множества пар чисел. Это испытание физически может быть одним испытанием (мгновенное измерение прибором величены тока и напряжения в сети), а также может быть композицией двух испытаний, каждое из которых порождает одномерную дискретную величину. Условно двумерная дискретная случайная величина обозначается как XY, либо любые две буквы латинского алфавита, либо для: X:{x1, x2, ...,xs}, Y:{y 1, y2, ...,yn}, проводя испытание над двумерной случайной величиной находят одно из чисел из X либо из Y. А вероятностное пространство двумерной случайной величены формально строится так: Лекция: Лекции по теории вероятности и математической статистике Двумерной случайной величиной называется система из двух одномерных случайных величин X, Y, где как X, так и Y являются дискретными случайными величинами. В пространстве элементарных событий дискретной случайной величены XY определим сложное событие A: В результате испытания над двумерной случайной величиной XY, случайная величина X приняла значение xi, случайная величина Y - любое значение. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Вводим сложное событие B: В результате испытания над двумерной случайной величиной XY, случайная величина Y приняла значение yj­. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Найдем условную вероятность: Лекция: Лекции по теории вероятности и математической статистике Аналогично: Лекция: Лекции по теории вероятности и математической статистике Покажем что сумма условных вероятностей: Лекция: Лекции по теории вероятности и математической статистике ; Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Условным математическим ожиданием является выражение: Лекция: Лекции по теории вероятности и математической статистике ; Лекция: Лекции по теории вероятности и математической статистике Условной дисперсией называется выражение: Лекция: Лекции по теории вероятности и математической статистике ; Лекция: Лекции по теории вероятности и математической статистике . Условное мат. ожидание и дисперсия отличаются от безусловной только тем, что в их определении подставляется условная вероятность вместо безусловной. Условное мат. ожидание случайной величены, при условии, что другая случайная величена приняла заданное значение определяет число-точку, относительно которой группируются результаты конкретных испытаний над одной случайной величиной, при условии, что в этом испытании (над двумерной случайной величиной XY) вторая случайная величена приняла заданное фиксированное значение. Условная дисперсия определяет степень концентрации результатов конкретных испытаний над одной случайной величиной относительно условного мат. ожидания. При решении практических задач условное мат ожидание и условная дисперсия обычно используются в следующем случае: проводят испытание над X и Y, исследователь имеет возможность измерять результаты испытания над одной случайной величиной, измерение другой недоступно. Если условные дисперсии малы, то в качестве неизвестного значения не измеряемой случайной величены, которую она приняла в результате испытания, можно брать мат. ожидание. Двумерные непрерывные случайные величины. Двумерная случайная величина называется непрерывной случайной величиной, если пространством ее элементарных событий является плоскость, либо область плоскости, либо область конечной ненулевой плоскости. Очевидно что X и Y являются одномерными непрерывными случайными величинами. Лекция: Лекции по теории вероятности и математической статистике Следствием этого определения является следующее: любое сложное событие размерности 1 (произвольная кривая, принадлежащая пространству элементарных событий) имеет нулевую вероятность т.к. в противном случае вероятность достоверного события никогда бы не равнялась единице. Числовая скалярная функция двух действительных аргументов называется двумерной плотностью вероятности, двумерной случайной величины XY, если для фиксированных значений своих аргументов она выполняет равенство Лекция: Лекции по теории вероятности и математической статистике . Приведенное здесь определение является аналогичным определению одномерной плотности вероятности. Лекция: Лекции по теории вероятности и математической статистике Ниже будет выведено условие существования плотности вероятности для фиксированных x, y. Лекция: Лекции по теории вероятности и математической статистике Рассмотрим произвольную область G. Лекция: Лекции по теории вероятности и математической статистике Разобьем область G на множество прямоугольников, покрывающих область G. Тогда на основании 3-й аксиомы теории вероятности имеем: вероятность искомого события равна: Лекция: Лекции по теории вероятности и математической статистике . Точное выражение получим перейдя к пределу: Лекция: Лекции по теории вероятности и математической статистике (показать самим). Числовая скалярная функция двух действительных аргументов называется двумерной функцией распределения, если она при фиксированном числе своих аргументов численно равна вероятности наступления Fx,y (x,y)=P(X£x, Y£y), если X, y - непрерывные случайные величины, то значение функции распределения не изменится. Доказать: Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике По определению второй смешанной производной. Найдем по двумерной плотности одномерные плотности случайных величин X и Y. Лекция: Лекции по теории вероятности и математической статистике Т.к. полученное равенство верно для всех х, то подинтегральные выражение Лекция: Лекции по теории вероятности и математической статистике аналогично Лекция: Лекции по теории вероятности и математической статистике В математической теории вероятности вводится как базовая формула (1) ибо предлагается, что плотность вероятности как аналитическая функция может не существовать. Но т.к. в нашем курсе мы исследуем только 2 конструкции - дискретные или непрерывные, то для них полученные формулы эквивалентны и не имеет смысла какую-то из них вводить как первичную. Условная плотность вероятности. Найдем плотность вероятности случайной величины Y при условии, что в результате испытания над случайной величиной XY , X приняло значение х. Обозначим Лекция: Лекции по теории вероятности и математической статистике тут мы использовали второе определение одномерной плотности. В качестве условной плотности вероятности используется следующее выражение Лекция: Лекции по теории вероятности и математической статистике Обоснование выражения для условной плотности вероятности Лекция: Лекции по теории вероятности и математической статистике Выведем выражение для a Лекция: Лекции по теории вероятности и математической статистике Обозначим Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Условное мат. ожидание и дисперсия линии регрессии - зависимость Y от X, выраженная в изменении средних значений Y при переходе x от одного значения к другому. Найдем математическое ожидание MZ, где Лекция: Лекции по теории вероятности и математической статистике Двумерные независимые случайные величины (двумерные дискретные случайные величины) Двумерная дискретная случайная величина называется случайной величиной с независимыми компонентами, еслиЛекция: Лекции по теории вероятности и математической статистике Показать самим, что справедливо Лекция: Лекции по теории вероятности и математической статистике Доказать самим, что если испытание, исходом которого является пара чисел Лекция: Лекции по теории вероятности и математической статистике является композицией двух независимых испытаний, то случайные величины X Y независимы. Лекция: Лекции по теории вероятности и математической статистике Независимые непрерывные двумерные случайные величины. Непрерывными случайными величинами с независимыми компонентами называются если: Непрерывная двумерная случайная величина имеет независимые случайные компоненты, если или Лекция: Лекции по теории вероятности и математической статистике Покажем, что второе эквивалентно первому. Лекция: Лекции по теории вероятности и математической статистике Покажем, что если двумерная непрерывная случайная величина XY порождена композицией независимых испытаний, то X и Y независимы. В силу определения независимых испытаний в композиционном пространстве Лекция: Лекции по теории вероятности и математической статистике В силу определения независимых испытаний в композиционном пространстве A и B независимы. Следовательно: Лекция: Лекции по теории вероятности и математической статистике Многомерные дискретные случайные величины Это система, состоящая из m дискретных одномерных случайных величин. Всю арифметику проделать самостоятельно. Многомерные непрерывные случайные величины. Система из m одномерных непрерывных случайных величин, у которой пространством элементарных событий является m-мерное арифметическое пространство либо его область, имеющая ненулевой объем. m-мерная плотность вероятности удовлетворяет выражению Лекция: Лекции по теории вероятности и математической статистике m-мерной функцией распределения называется числовая скалярная функция m действительных аргументов, которая численно равна: Лекция: Лекции по теории вероятности и математической статистике Случайные величины x1, x2, ... xm независимы, если Лекция: Лекции по теории вероятности и математической статистике Доказать, что если m-мерная случайная величина порождена композицией m-мерных испытаний, то события независимы. Запишем аналог формул Лекция: Лекции по теории вероятности и математической статистике для многомерного случая. Для получения плотности вероятности Лекция: Лекции по теории вероятности и математической статистике необходимо n-мерную плотность проинтегрировать в бесконечных пределах по переменным, которые соответствуют случайным величинам, не входящим в Лекция: Лекции по теории вероятности и математической статистике Найдем плотность n-мерной случайной величины. Лекция: Лекции по теории вероятности и математической статистике Математическое ожидание скалярной функции случайных аргументов. Двумерный дискретный случай. XY Числовая скалярная функция Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике является одномерной дискретной случайной величиной, со следующим отличием от обычного представления: для того, чтобы в испытании получить реализацию Лекция: Лекции по теории вероятности и математической статистике необходимо провести испытание над двумерной случайной величиной XY, зафиксировать ее результат xi,yi и подставить в Лекция: Лекции по теории вероятности и математической статистике . Полученное число и есть реализация случайной величины Лекция: Лекции по теории вероятности и математической статистике . Таблица случайной величины строится по таблице Лекция: Лекции по теории вероятности и математической статистике Двумерные непрерывные случайные величины Лекция: Лекции по теории вероятности и математической статистике Случайную величину Лекция: Лекции по теории вероятности и математической статистике аппроксимируем дискретной по следующему правилу: пространство элементарных событий XY представим в виде совокупности прямоугольников с вершинами Лекция: Лекции по теории вероятности и математической статистике , если в результате испытания XY попало в прямоугольник (i,j), то эта случайная величина приняла значение Лекция: Лекции по теории вероятности и математической статистике . Вероятность наступления этого события равна: Лекция: Лекции по теории вероятности и математической статистике точное значение мат. ожидания Лекция: Лекции по теории вероятности и математической статистике n-мерный дискретный случай Лекция: Лекции по теории вероятности и математической статистике - многомерная дискретная случайная величина Найдем Лекция: Лекции по теории вероятности и математической статистике Вероятностное пространство зададим в виде Лекция: Лекции по теории вероятности и математической статистике Тогда Лекция: Лекции по теории вероятности и математической статистике n-мерный непрерывный случай Лекция: Лекции по теории вероятности и математической статистике Теорема 1. Математическое ожидание суммы случайных величин равно сумме математических ожиданий Лекция: Лекции по теории вероятности и математической статистике а) дискретный случай Лекция: Лекции по теории вероятности и математической статистике б) непрерывный случай Лекция: Лекции по теории вероятности и математической статистике Пусть n-произвольное число Лекция: Лекции по теории вероятности и математической статистике Теорема 2. Математическое ожидание произведения независимых случайных величин равно произведению мат.ожиданий. По определению имеем Лекция: Лекции по теории вероятности и математической статистике т.к. случайные величины X и Y независимы, то Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Коэффициент ковариации Коэффициентом ковариации называется выражение Лекция: Лекции по теории вероятности и математической статистике Эта формула верна, т.к. верна следующая формула. Пусть Лекция: Лекции по теории вероятности и математической статистике тогда Лекция: Лекции по теории вероятности и математической статистике Если случайные величины XY независимы, то их коэффициент ковариации равен нулю, обратное в общем случае неверно. Пример. X - случайная величина, имеющая нормальное распределение с нулевым мат.ожиданием Лекция: Лекции по теории вероятности и математической статистике Y=X2 (Y и X связаны функционально). Найдем Лекция: Лекции по теории вероятности и математической статистике Случайная величина Лекция: Лекции по теории вероятности и математической статистике называется нормированной случайной величиной, ее мат.ожидание равно 0, а дисперсия -1. Лекция: Лекции по теории вероятности и математической статистике Коэффициентом корреляции случайных величин X и Y - это число Лекция: Лекции по теории вероятности и математической статистике Следствие: Если X и Y независимы, то коэффициент ковариации равен 0, то Лекция: Лекции по теории вероятности и математической статистике Доказать, если Лекция: Лекции по теории вероятности и математической статистике независимы, то Лекция: Лекции по теории вероятности и математической статистике Свойства коэффициента корреляции 1. Лекция: Лекции по теории вероятности и математической статистике По определению Лекция: Лекции по теории вероятности и математической статистике т.к. Лекция: Лекции по теории вероятности и математической статистике всегда неотрицательна, то Лекция: Лекции по теории вероятности и математической статистике 2. Если Лекция: Лекции по теории вероятности и математической статистике , то с вероятность 1 X и Y связаны линейно. Лекция: Лекции по теории вероятности и математической статистике Рассмотрим X*-Y*, отсюда M(X*-Y*)=0. Лекция: Лекции по теории вероятности и математической статистике Если X и Y дискретные случайные величины, и дисперсия равна 0, то их сумма (разность) является постоянной Лекция: Лекции по теории вероятности и математической статистике Пусть X и Y непрерывные случайные величины, то в соответствии с неравенством Чебышева Лекция: Лекции по теории вероятности и математической статистике т.к. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Это неравенство и обозначает, что с вероятностью 1 Лекция: Лекции по теории вероятности и математической статистике откуда y=ax+b, где Лекция: Лекции по теории вероятности и математической статистике Если коэффициент корреляции Лекция: Лекции по теории вероятности и математической статистике , то результаты опыта лежат на прямой Лекция: Лекции по теории вероятности и математической статистике В общем случае Y можно представить в виде Лекция: Лекции по теории вероятности и математической статистике Коэффициент корреляции является мерой близости линейной связи между случайными величинами X и Y: чем ближе коэффициент корреляции по модулю к 1, тем более тесно результаты конкретного испытания над X и Y соотносятся с прямой ax+b. Нахождение плотности вероятности суммы двух независимых случайных величин Дискретный случай. Пусть X и Y - две дискретные независимые величины данного испытания и Z=X+Y. Возможное значение Z=z=x+y всегда представляет сумму двух возможных значений слагаемых X=x и Y=y. По правилу сложения Лекция: Лекции по теории вероятности и математической статистике где суммирование распространено на те пары, которые в сумме дают Z. В силу независимости X и Y Лекция: Лекции по теории вероятности и математической статистике Приняв во внимание, что y=z-x Лекция: Лекции по теории вероятности и математической статистике последняя сумма Лекция: Лекции по теории вероятности и математической статистике распространяется не на все значения x, а только на такие, для которых z-x равно одному из возможных значений y. Если условиться, что P(y=z-x)=0, если z-x не принадлежит к числу возможных значений Y, то Лекция: Лекции по теории вероятности и математической статистике Аналогично Лекция: Лекции по теории вероятности и математической статистике Формулы (1) и (2) определяют композицию величин X и Y. Или Лекция: Лекции по теории вероятности и математической статистике Непрерывный случай. Пусть X и Y независимые непрерывные случайные величины. Пусть f(x,y) - двумерная плотность вероятности двумерной случайной величины XY. Плотность совместного распределения f(x,y) в силу независимости X и Y имеет вид Лекция: Лекции по теории вероятности и математической статистике Рассмотрим функцию распределения случайной величины Z. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Для того, чтобы имело место событие Лекция: Лекции по теории вероятности и математической статистике действительное число необходимо и достаточно, чтобы случайная точка Q(x,y) попала в область 1. Тогда эта вероятность равна Лекция: Лекции по теории вероятности и математической статистике Дифференцируя под знаком интеграла Лекция: Лекции по теории вероятности и математической статистике Двумерное нормальное распределение Двумерная случайная величина XY распределена нормально, если ее плотность вероятности f(x,y) имеет вид Лекция: Лекции по теории вероятности и математической статистике Свойства двумерного нормального распределения 1. Лекция: Лекции по теории вероятности и математической статистике 2. Лекция: Лекции по теории вероятности и математической статистике т.е. X и Y имеет одномерное нормальное распределение. Лекция: Лекции по теории вероятности и математической статистике Сделаем подстановку Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике тут мы для краткости обозначили Лекция: Лекции по теории вероятности и математической статистике Прибавляя и вычитая в показателе степени по e по Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Сделаем подстановку Лекция: Лекции по теории вероятности и математической статистике 3. Лекция: Лекции по теории вероятности и математической статистике то X и Y независимые случайные величины, то плотность вероятности двумерная распадается на произведение одномерных Лекция: Лекции по теории вероятности и математической статистике Найдем условную плотность вероятности Лекция: Лекции по теории вероятности и математической статистике Подставляя в полученное выражение значения Лекция: Лекции по теории вероятности и математической статистике и Лекция: Лекции по теории вероятности и математической статистике получаем Лекция: Лекции по теории вероятности и математической статистике Вывод: условная плотность вероятности оказалось нормальной с мат. ожиданием Лекция: Лекции по теории вероятности и математической статистике и дисперсией, постоянной Лекция: Лекции по теории вероятности и математической статистике Многомерное нормальное распределение n-мерная непрерывная случайная величина имеет нормальное распределение, если ее многомерная плотность вероятности в матричном виде Лекция: Лекции по теории вероятности и математической статистике Показать, что формула Лекция: Лекции по теории вероятности и математической статистике в двумерном случае переходит в Лекция: Лекции по теории вероятности и математической статистике для n=2 находим Лекция: Лекции по теории вероятности и математической статистике Показатель степени при e Лекция: Лекции по теории вероятности и математической статистике Найдем обратную матрицу матрице В Лекция: Лекции по теории вероятности и математической статистике Проводим непосредственное доказательство Лекция: Лекции по теории вероятности и математической статистике B - ковариационная матрица Лекция: Лекции по теории вероятности и математической статистике Показать, что эта формула в двумерном случае совпадает с выражением, рассмотренном ранее. Свойства n-мерного нормального распределения. Лекция: Лекции по теории вероятности и математической статистике - определитель матрицы B - неотрицательное число. По критерию Сильвестрова, если Лекция: Лекции по теории вероятности и математической статистике то все главные миноры матрицы B неотрицательные и определитель матрицы B неотрицателен. Лекция: Лекции по теории вероятности и математической статистике Свойства многомерного нормального распределения Все одномерные плотности вероятности - это плотности вероятности одномерной нормальной случайной величины с параметрами, определяемыми координатами вектора X и главной диагональю ковариационной матрицы B. Кроме того, подвектор вектора Лекция: Лекции по теории вероятности и математической статистике из k элементов, где Лекция: Лекции по теории вероятности и математической статистике также распределен нормально. Если все коэффициенты корреляционной или ковариационной матрицы B (все ее недиагональные элементы) равны нулю, то показать самим, что компоненты случайной величины являются независимыми. Лекция: Лекции по теории вероятности и математической статистике если Лекция: Лекции по теории вероятности и математической статистике ,то многомерная плотность распадается на произведение одномерных, значит Лекция: Лекции по теории вероятности и математической статистике независимы. Теорема. Лекция: Лекции по теории вероятности и математической статистике Проводим линейное преобразование Y=AX. A - квадратная невырожденная матрица, тогда вектор Y также имеет n-мерное нормальное распределение вида Лекция: Лекции по теории вероятности и математической статистике Следствие: Из доказательства теоремы вытекает, что ковариационная матрица Лекция: Лекции по теории вероятности и математической статистике Оператор A переводит произвольную область из арифметического пространства R n в некоторую область того же пространства. Рассмотрим произвольную область S, принадлежащую пространству элементарных событий случайной многомерной величины X. Ей соответствует область D в пространстве элементарных событий случайного вектора Y. При этом Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Запишем эти вероятности Лекция: Лекции по теории вероятности и математической статистике где |I| - якобиан перехода Лекция: Лекции по теории вероятности и математической статистике Т.к. область S и соответственно D произвольны, то плотность вероятности случайного вектора x равна Лекция: Лекции по теории вероятности и математической статистике n-мерная плотность вероятности случайного вектора Y равна Лекция: Лекции по теории вероятности и математической статистике Преобразуем показатель степени e Лекция: Лекции по теории вероятности и математической статистике Можно показать, что если нормальное распределение имеет данный вид, то B - ее ковариационная матрица Лекция: Лекции по теории вероятности и математической статистике Следствие. Лекция: Лекции по теории вероятности и математической статистике - многомерный нормальный вектор. A - прямоугольная матрица Лекция: Лекции по теории вероятности и математической статистике Тогда Y=AX имеет нормальное распределение вида Лекция: Лекции по теории вероятности и математической статистике Y - m-мерный вектор. Для определенности положим, что матрица A имеет вид A = (A1 A2) A1 - квадратная матрица размером Лекция: Лекции по теории вероятности и математической статистике A2 - матрица размерности Лекция: Лекции по теории вероятности и математической статистике Рассмотрим матрицу размерности Лекция: Лекции по теории вероятности и математической статистике . Считается, что m первых столбцов независимы. Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике равен определителю полученной квадратной матрицы и не равен нулю. E - единственная квадратная матрица размерности Лекция: Лекции по теории вероятности и математической статистике Следовательно, на основании доказанной теоремы, вектор Y имеет многомерное нормальное распределение. Z=CX Компоненты вектора Z имеют вид Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Пусть матрица А произвольная, но т.к. ее ранг равен m она содержит m линейно независимых столбцов. Путем перестановки столбцом соберем эти столбцы в первые m. И соответствующим образом пронумеруем компоненты вектора Х. Попадаем в предыдущий случай. Предельные случайные последовательности. Рассмотрим вероятностное пространство Лекция: Лекции по теории вероятности и математической статистике в котором задана счетная последовательность случайных величин, каждая из которых является измеримой Лекция: Лекции по теории вероятности и математической статистике Покажем, что событие Лекция: Лекции по теории вероятности и математической статистике измеримо, т.е. имеет вероятность наступления. Действительно событие Лекция: Лекции по теории вероятности и математической статистике Каждое из этих событий в пересечении принадлежит Лекция: Лекции по теории вероятности и математической статистике - алгебре. По определению Лекция: Лекции по теории вероятности и математической статистике - алгебры ей принадлежит и счетное перечисление этих событий, таким образом событие имеет вероятность наступления. Пусть последовательность Лекция: Лекции по теории вероятности и математической статистике имеет предел при Лекция: Лекции по теории вероятности и математической статистике , который может быть постоянной или случайной величиной. В теории вероятности этот предел понимают следующим образом: под сходимостью последовательности к пределу понимают событие А которое может задаваться следующим образом: 1. Лекция: Лекции по теории вероятности и математической статистике Событие А состоит из всех m, удовлетворяющих условию: для любого как угодно большого r существует такое m, что для всех n выполняется Лекция: Лекции по теории вероятности и математической статистике 2. А: Если предел Лекция: Лекции по теории вероятности и математической статистике ,то Лекция: Лекции по теории вероятности и математической статистике Для любого, как угодно большого r существует такое m, что для всех n выполняется Лекция: Лекции по теории вероятности и математической статистике 3.Если предел случайная величина, то Лекция: Лекции по теории вероятности и математической статистике Показать самим, что событие А с Лекция: Лекции по теории вероятности и математической статистике - алгебре и следовательно имеет вероятность наступления любое событие Лекция: Лекции по теории вероятности и математической статистике измеримо, как доказывалось ранееЛекция: Лекции по теории вероятности и математической статистике измеримы, и следовательно имеет вероятность наступления. Разность Лекция: Лекции по теории вероятности и математической статистике -алгебре. Следовательно событие А имеет вероятность наступления. Если предел константа, то эквиваленты 1 и 2, если случайная величина - то 1 и 3. Существующие определения сходимости случайных величин. Пусть имеется счетная последовательность случайных величин и пусть Лекция: Лекции по теории вероятности и математической статистике предел последовательности. 1. Счетная последовательность сходится к пределу с вероятностью 1, если Р(А)=1. Это не вероятность достоверного события. 2. Сходимость по поверхности. Счетная последовательность случайных величин Лекция: Лекции по теории вероятности и математической статистике сходится к Лекция: Лекции по теории вероятности и математической статистике по поверхности, если Лекция: Лекции по теории вероятности и математической статистике 3. Сходимость в среднеквадратичном. Последовательность случайных величин сходится к пределу в среднеквадратичном, если выполняется Лекция: Лекции по теории вероятности и математической статистике Покажем, что из сходимости в среднеквадратичном следует сходимость по вероятности. Воспользуемся Неравенством Чебышева Лекция: Лекции по теории вероятности и математической статистике При любом конечном r если выполняется сходимость в среднеквадратичном, то этот предел существует и равен 0, т.к. числитель сходится к 0, а знаменатель конечен. Теорема. Счетная последовательность Лекция: Лекции по теории вероятности и математической статистике сходится к пределу Лекция: Лекции по теории вероятности и математической статистике с вероятностью 1 только тогда, когда Лекция: Лекции по теории вероятности и математической статистике Указанное выше событие Лекция: Лекции по теории вероятности и математической статистике имеет своим дополнением событие Лекция: Лекции по теории вероятности и математической статистике и сходимость с вероятностью 1 означает, что P(B)=0. Очевидно, что условие теоремы достаточно рассмотреть для Лекция: Лекции по теории вероятности и математической статистике . ПоложимЛекция: Лекции по теории вероятности и математической статистике События Вrm, m=1,2,.... убывают, и для Лекция: Лекции по теории вероятности и математической статистике Докажем это. Будем искать P(Br) так Лекция: Лекции по теории вероятности и математической статистике Событие, обратное Лекция: Лекции по теории вероятности и математической статистике имеет следующую структуру: Лекция: Лекции по теории вероятности и математической статистике Показать самим, что следующее событие включает предыдущее. Лекция: Лекции по теории вероятности и математической статистике По построению справедлива следующая формула Лекция: Лекции по теории вероятности и математической статистике По третьей аксиоме теории вероятности Лекция: Лекции по теории вероятности и математической статистике Построенный ряд D1, D2...Dn образует неубывающую ограниченную последовательность, следовательно имеет предел сверху. Поэтому возможен переход Лекция: Лекции по теории вероятности и математической статистике Теорема Бернулли. Рассмотрим систему независимых испытаний Бернулли. Лекция: Лекции по теории вероятности и математической статистике Система испытаний неограниченна. С каждым i-видом испытаний свяжем дискретную величину Xi Лекция: Лекции по теории вероятности и математической статистике Хi принимают значения 1, если в i-том испытании произошло событие А и 0 - в противном случае Лекция: Лекции по теории вероятности и математической статистике Рассмотрим случайную величинуЛекция: Лекции по теории вероятности и математической статистике - число появлений события А в n испытаниях Лекция: Лекции по теории вероятности и математической статистике Рассмотрим случайную величину Лекция: Лекции по теории вероятности и математической статистике Это частость наступления события А в n испытаниях Лекция: Лекции по теории вероятности и математической статистике Используем неравенство Чебышева Лекция: Лекции по теории вероятности и математической статистике где e - произвольное неотрицательное число Рассмотрим Лекция: Лекции по теории вероятности и математической статистике Получена теорема Бернулли. Частость наступления произвольного события при числе испытаний стремящемся к бесконечности по вероятности сходится к теоретической вероятности наступления события. Обоснование того, что Лекция: Лекции по теории вероятности и математической статистике - частость наступления события A заключается в следующем: с тоски зрения ранее приведенного определения, независимым испытаниям эквивалентны две схемы: · проведение n раз одного и того же испытания · проведение n независимых испытаний над n копиями одного и того же. Аналогия: 100 раз монету подбрасывает 1 человек или 100 человек подбрасывают по одной монете. Закон больших чисел. Рассмотрим независимые: одинаково распределенные случайные величины X1 , X2, ..., Xn с конечным мат. ожиданием и дисперсией. Лекция: Лекции по теории вероятности и математической статистике Рассмотрим их среднее арифметическое Лекция: Лекции по теории вероятности и математической статистике Используя вспомогательное неравенство получим Лекция: Лекции по теории вероятности и математической статистике получаем Лекция: Лекции по теории вероятности и математической статистике При числе испытаний, стремящихся к ¥ среднее арифметическое по вероятности сходится к математическому ожиданию. В любом университетском учебнике доказывается сходимость с вероятностью 1. Использование закона больших чисел. Пусть имеется одна случайная величина X, над которой проведено n испытаний. Результаты испытаний Лекция: Лекции по теории вероятности и математической статистике Тогда в силу примечания, сделанного Бернулли, эти n-чисел можно считать результатом одного испытания над n-мерной случайной величиной, у которой X i независимы и распределены как X, т.е. Тогда Лекция: Лекции по теории вероятности и математической статистике является реализацией следующего Лекция: Лекции по теории вероятности и математической статистике Для Лекция: Лекции по теории вероятности и математической статистике справедлив закон больших чисел, следовательно Лекция: Лекции по теории вероятности и математической статистике является хорошей оценкой величины X. Основы теории характеристических функций Комплексная случайная величина Z определяется с помощью двумерной случайной величины (X,Y) следующим выражением Лекция: Лекции по теории вероятности и математической статистике Операции над комплексными случайными величинами совпадают с операциями над комплексными числами. Рассмотрим скалярную функцию случайных аргументов и числа i. Лекция: Лекции по теории вероятности и математической статистике тогда в теории вероятности математическое ожидание случайной величины вычисляется по тем же формулам, что и Лекция: Лекции по теории вероятности и математической статистике , просто i считают постоянным параметром. Лекция: Лекции по теории вероятности и математической статистике Найдем мат.ожидание случайной величины Z. Лекция: Лекции по теории вероятности и математической статистике 1. Для комплексной случайной величины справедливы свойства аддитивности и мультиплекативности мат.ожидания. Лекция: Лекции по теории вероятности и математической статистике 2. Комплексные случайные величины Z1 и Z2 называются независимыми, если независимы между собой двумерные случайные величины Лекция: Лекции по теории вероятности и математической статистике , т.е. попарно независимы Лекция: Лекции по теории вероятности и математической статистике Пусть Z1 и Z2 независимые комплексные случайные величины. Найдем мат.ожидание произведения Лекция: Лекции по теории вероятности и математической статистике 3. Лекция: Лекции по теории вероятности и математической статистике а) дискретный случай Лекция: Лекции по теории вероятности и математической статистике б) непрерывный случай Двумерная случайная величина XY имеет плотность вероятности f(x,y). Лекция: Лекции по теории вероятности и математической статистике Характеристической функцией действительной случайной величины X называется функция Лекция: Лекции по теории вероятности и математической статистике Свойства характеристической функции 1. Для дискретного случая Лекция: Лекции по теории вероятности и математической статистике 2. Для непрерывного случая Будем считать, что плотность вероятности f(x) существует, тогда Лекция: Лекции по теории вероятности и математической статистике 3. Лекция: Лекции по теории вероятности и математической статистике Это свойство гарантирует, что характеристическая функция всегда существует Лекция: Лекции по теории вероятности и математической статистике 4. Пусть случайная величина y=ax+b Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике 5. Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций. Пусть Лекция: Лекции по теории вероятности и математической статистике хi - независимы Тогда Лекция: Лекции по теории вероятности и математической статистике Отсюда Лекция: Лекции по теории вероятности и математической статистике 6. Если у случайной величины Х конечен начальный момент n-го порядка, то а) для Лекция: Лекции по теории вероятности и математической статистике - существуют к-е производные и при этом Лекция: Лекции по теории вероятности и математической статистике б) имеет место разложение Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Для того, чтобы полученное равенство было справедливо, необходимо доказать, что мы можем дифференцировать под знаком интеграла. Для доказательства приведем ряд фактов. 1. Аналог теоремы Либега для интегралов Римана Пусть функция Лекция: Лекции по теории вероятности и математической статистике интегрируема по Риману и при всех х Лекция: Лекции по теории вероятности и математической статистике сходимость в каждой точке известна. Пусть при этом Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике - некоторая функция, мажорирующая данную. Пусть при этом конечен интеграл Лекция: Лекции по теории вероятности и математической статистике т.е. Лекция: Лекции по теории вероятности и математической статистике Тогда Лекция: Лекции по теории вероятности и математической статистике 2. Некоторые свойства мат.ожиданий действительной случайной величины 1) Если х>0, то МХ>0 - доказать самим Дискретный случай Лекция: Лекции по теории вероятности и математической статистике Введем случайную величину Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Аналогично Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Очевидно, что Лекция: Лекции по теории вероятности и математической статистике Следовательно Лекция: Лекции по теории вероятности и математической статистике Тогда Лекция: Лекции по теории вероятности и математической статистике Пара Лекция: Лекции по теории вероятности и математической статистике может принимать значения: а) (-¥,+¥) в этом случае говорится, что МХ не определено. б) (-¥,<¥) в этом случае говорится, что МХ не ограничено. в) (<¥, ¥) MX=-¥ (<¥, <¥) MX<¥ Очевидно, что Лекция: Лекции по теории вероятности и математической статистике Вывод: Если MX конечно, то конечно и M/X/ MX<¥, то M/X/<¥ Если MXk конечно, то конечно и M/Xk/ MXk<¥, то M/Xk/<¥ 3. Пусть Лекция: Лекции по теории вероятности и математической статистике , тогда Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике на основании пункта 1. 4. Имеет место очевидное неравенство Лекция: Лекции по теории вероятности и математической статистике 5. Пусть существует Лекция: Лекции по теории вероятности и математической статистике , тогда для всех Лекция: Лекции по теории вероятности и математической статистике Лекция: Лекции по теории вероятности и математической статистике Сумма интегралов Лекция: Лекции по теории вероятности и математической статистике Возвращаемся к доказательству. Докажем формулу Лекция: Лекции по теории вероятности и математической статистике Доказательство проведем по мат.индукции. Проверяем при k=0 Лекция: Лекции по теории вероятности и математической статистике формула справедлива. Пусть формула справедлива для k<n. Докажем, что она справедлива для k+1. Лекция: Лекции по теории вероятности и математической статистике Рассмотрим. Лекция: Лекции по теории вероятности и математической статистике Получили: Лекция: Лекции по теории вероятности и математической статистике Покажем, что интеграл Лекция: Лекции по теории вероятности и математической статистике конечен. Если Лекция: Лекции по теории вероятности и математической статистике , то и Лекция: Лекции по теории вероятности и математической статистике конечно. А Лекция: Лекции по теории вероятности и математической статистике конечно по условию, тогда для Лекция: Лекции по теории вероятности и математической статистике Таким образом можно применять теорему Либега. Лекция: Лекции по теории вероятности и математической статистике Это мы доказали справедливость формулы Лекция: Лекции по теории вероятности и математической статистике Доказательство разложения - пункт б) является справедливым, если при исследовании остаточного члена учесть, что /i/<1.


(C) 2009