что такое сигма в статистике

Что такое сигма в статистике

σ – греческая буква, принятая в статистике для обозначения среднеквадратического (или стандартного) отклонения. Используется для описания распределения наблюдений какой-либо характеристики вокруг среднего/целевого значения.

Стандартное отклонение рассчитывают по формуле:

где σ – стандартное отклонение, X̅ – среднее арифметическое всех наблюдений, Xi – величина i-вого наблюдения, а n – общее количество наблюдений.

σ-уровень также является показателем поведения процесса. В данном случае, количество σ, находящееся между средним значением и ближайшим пределом допуска, является бизнес-индикатором стабильности процесса и доли дефектной продукции.

На рисунке слева изображен процесс на уровне 4σ. Что произойдет, если величина стандартного отклонения увеличится, а пределы допуска, при этом останутся прежними?

Если величина стандартного отклонения вырастет, к примеру, в два раза, то количество сигм, которое может поместиться на отрезке между целевым значением и ближайшим пределом допуска, соответственно, уменьшиться в два раза. При этом, доля произведенной продукции, характеристики которой находятся за пределами допуска спецификации, тоже вырастет – это означает, что количество дефектной продукции увеличится.

Что случиться если значение сигма уменьшиться?

Логично, что снижение величины стандартного отклонения, сопровождаемое повышением стабильности процесса, приведет к снижению доли дефектной продукции. Задача 6σ заключается в повышении качества продукции путем понижения значения σ, т.е. вариации процесса.

Источник

Стандартное отклонение

Стандартное отклонение (англ. Standard Deviation) — простыми словами это мера того, насколько разбросан набор данных.

Вычисляя его, можно узнать, являются ли числа близкими к среднему значению или далеки от него. Если точки данных находятся далеко от среднего значения, то в наборе данных имеется большое отклонение; таким образом, чем больше разброс данных, тем выше стандартное отклонение.

Стандартное отклонение обозначается буквой σ (греческая буква сигма).

Стандартное отклонение также называется:

Использование и интерпретация величины среднеквадратического отклонения

Стандартное отклонение используется:

Рассмотрим два малых предприятия, у нас есть данные о запасе какого-то товара на их складах.

В обеих компаниях среднее количество товара составляет 20 единиц:

Однако, глядя на цифры, можно заметить:

Если рассчитать стандартное отклонение каждой компании, оно покажет, что

Стандартное отклонение показывает эту волатильность данных — то, с каким размахом они меняются; т.е. как сильно этот запас товара на складах компаний колеблется (поднимается и опускается).

Расчет среднеквадратичного (стандартного) отклонения

Формулы вычисления стандартного отклонения

Разница между формулами S и σ («n» и «n–1»)

Состоит в том, что мы анализируем — всю выборку или только её часть:

Как рассчитать стандартное отклонение?

Пример 1 (с σ)

Рассмотрим данные о запасе какого-то товара на складах Предприятия Б.

Если значений выборки немного (небольшое n, здесь он равен 4) и анализируются все значения, то применяется эта формула:

Применяем эти шаги:

1. Найти среднее арифметическое выборки:

μ = (15 + 26 + 15+ 24) / 4 = 20

2. От каждого значения выборки отнять среднее арифметическое:

3. Каждую полученную разницу возвести в квадрат:

4. Сделать сумму полученных значений:

5. Поделить на размер выборки (т.е. на n):

6. Найти квадратный корень:

Пример 2 (с S)

Задача усложняется, когда существуют сотни, тысячи или даже миллионы данных. В этом случае берётся только часть этих данных и анализируется методом выборки.

У Андрея 20 яблонь, но он посчитал яблоки только на 6 из них.

Популяция — это все 20 яблонь, а выборка — 6 яблонь, это деревья, которые Андрей посчитал.

Так как мы используем только выборку в качестве оценки всей популяции, то нужно применить эту формулу:

Математически она отличается от предыдущей формулы только тем, что от n нужно будет вычесть 1. Формально нужно будет также вместо μ (среднее арифметическое) написать X ср.

Применяем практически те же шаги:

1. Найти среднее арифметическое выборки:

Xср = (9 + 2 + 5 + 4 + 12 + 7) / 6 = 39 / 6 = 6,5

2. От каждого значения выборки отнять среднее арифметическое:

X1 – Xср = 9 – 6,5 = 2,5

X2 – Xср = 2 – 6,5 = –4,5

X3 – Xср = 5 – 6,5 = –1,5

X4 – Xср = 4 – 6,5 = –2,5

X5 – Xср = 12 – 6,5 = 5,5

X6 – Xср = 7 – 6,5 = 0,5

3. Каждую полученную разницу возвести в квадрат:

4. Сделать сумму полученных значений:

Σ (Xi – Xср)² = 6,25 + 20,25+ 2,25+ 6,25 + 30,25 + 0,25 = 65,5

5. Поделить на размер выборки, вычитав перед этим 1 (т.е. на n–1):

(Σ (Xi – Xср)²)/(n-1) = 65,5 / (6 – 1) = 13,1

6. Найти квадратный корень:

S = √((Σ (Xi – Xср)²)/(n–1)) = √ 13,1 ≈ 3,6193

Дисперсия и стандартное отклонение

Стандартное отклонение равно квадратному корню из дисперсии (S = √D). То есть, если у вас уже есть стандартное отклонение и нужно рассчитать дисперсию, нужно лишь возвести стандартное отклонение в квадрат (S² = D).

Дисперсия — в статистике это «среднее квадратов отклонений от среднего». Чтобы её вычислить нужно:

Ещё расчёт дисперсии можно сделать по этой формуле:

Правило трёх сигм

Это правило гласит: вероятность того, что случайная величина отклонится от своего математического ожидания более чем на три стандартных отклонения (на три сигмы), почти равна нулю.

Глядя на рисунок нормального распределения случайной величины, можно понять, что в пределах:

Это означает, что за пределами остаются лишь 0,28% — это вероятность того, что случайная величина примет значение, которое отклоняется от среднего более чем на 3 сигмы.

Стандартное отклонение в excel

Вычисление стандартного отклонения с «n – 1» в знаменателе (случай выборки из генеральной совокупности):

1. Занесите все данные в документ Excel.

2. Выберите поле, в котором вы хотите отобразить результат.

3. Введите в этом поле «=СТАНДОТКЛОНА(«

4. Выделите поля, где находятся данные, потом закройте скобки.

5. Нажмите Ввод (Enter).

В случае если данные представляют всю генеральную совокупность (n в знаменателе), то нужно использовать функцию СТАНДОТКЛОНПА.

Коэффициент вариации

Коэффициент вариации — отношение стандартного отклонения к среднему значению, т.е. Cv = (S/μ) × 100% или V = (σ/X̅) × 100%.

Стандартное отклонение делится на среднее и умножается на 100%.

Можно классифицировать вариабельность выборки по коэффициенту вариации:

Источник

Дисперсия, среднеквадратичное (стандартное) отклонение, коэффициент вариации в Excel

Из предыдущей статьи мы узнали о таких показателях, как размах вариации, межквартильный размах и среднее линейное отклонение. В этой статье изучим дисперсию, среднеквадратичное отклонение и коэффициент вариации.

Дисперсия

Дисперсия случайной величины – это один из основных показателей в статистике. Он отражает меру разброса данных вокруг средней арифметической.

Сейчас небольшой экскурс в теорию вероятностей, которая лежит в основе математической статистики. Как и матожидание, дисперсия является важной характеристикой случайной величины. Если матожидание отражает центр случайной величины, то дисперсия дает характеристику разброса данных вокруг центра.

Формула дисперсии в теории вероятностей имеет вид:

То есть дисперсия — это математическое ожидание отклонений от математического ожидания.

На практике при анализе выборок математическое ожидание, как правило, не известно. Поэтому вместо него используют оценку – среднее арифметическое. Расчет дисперсии производят по формуле:

s 2 – выборочная дисперсия, рассчитанная по данным наблюдений,

X – отдельные значения,

X̅– среднее арифметическое по выборке.

Стоит отметить, что у такого расчета дисперсии есть недостаток – она получается смещенной, т.е. ее математическое ожидание не равно истинному значению дисперсии. Подробней об этом здесь. Однако при увеличении объема выборки она все-таки приближается к своему теоретическому аналогу, т.е. является асимптотически не смещенной.

Простыми словами дисперсия – это средний квадрат отклонений. То есть вначале рассчитывается среднее значение, затем берется разница между каждым исходным и средним значением, возводится в квадрат, складывается и затем делится на количество значений в данной совокупности. Разница между отдельным значением и средней отражает меру отклонения. В квадрат возводится для того, чтобы все отклонения стали исключительно положительными числами и чтобы избежать взаимоуничтожения положительных и отрицательных отклонений при их суммировании. Затем, имея квадраты отклонений, просто рассчитываем среднюю арифметическую. Средний – квадрат – отклонений. Отклонения возводятся в квадрат, и считается средняя. Теперь вы знаете, как найти дисперсию.

Расчет дисперсии в Excel

Генеральную и выборочную дисперсии легко рассчитать в Excel. Есть специальные функции: ДИСП.Г и ДИСП.В соответственно.

В чистом виде дисперсия не используется. Это вспомогательный показатель, который нужен в других расчетах. Например, в проверке статистических гипотез или расчете коэффициентов корреляции. Отсюда неплохо бы знать математические свойства дисперсии.

Свойства дисперсии

Свойство 1. Дисперсия постоянной величины A равна 0 (нулю).

Свойство 2. Если случайную величину умножить на постоянную А, то дисперсия этой случайной величины увеличится в А 2 раз. Другими словами, постоянный множитель можно вынести за знак дисперсии, возведя его в квадрат.

Свойство 3. Если к случайной величине добавить (или отнять) постоянную А, то дисперсия останется неизменной.

Свойство 4. Если случайные величины X и Y независимы, то дисперсия их суммы равна сумме их дисперсий.

Свойство 5. Если случайные величины X и Y независимы, то дисперсия их разницы также равна сумме дисперсий.

Среднеквадратичное (стандартное) отклонение

Если из дисперсии извлечь квадратный корень, получится среднеквадратичное (стандартное) отклонение (сокращенно СКО). Встречается название среднее квадратичное отклонение и сигма (от названия греческой буквы). Общая формула стандартного отклонения в математике следующая:

На практике формула стандартного отклонения следующая:

Как и с дисперсией, есть и немного другой вариант расчета. Но с ростом выборки разница исчезает.

Расчет cреднеквадратичного (стандартного) отклонения в Excel

Для расчета стандартного отклонения достаточно из дисперсии извлечь квадратный корень. Но в Excel есть и готовые функции: СТАНДОТКЛОН.Г и СТАНДОТКЛОН.В (по генеральной и выборочной совокупности соответственно).

Среднеквадратичное отклонение имеет те же единицы измерения, что и анализируемый показатель, поэтому является сопоставимым с исходными данными.

Коэффициент вариации

Значение стандартного отклонения зависит от масштаба самих данных, что не позволяет сравнивать вариабельность разных выборках. Чтобы устранить влияние масштаба, необходимо рассчитать коэффициент вариации по формуле:

По нему можно сравнивать однородность явлений даже с разным масштабом данных. В статистике принято, что, если значение коэффициента вариации менее 33%, то совокупность считается однородной, если больше 33%, то – неоднородной. В реальности, если коэффициент вариации превышает 33%, то специально ничего делать по этому поводу не нужно. Это информация для общего представления. В общем коэффициент вариации используют для оценки относительного разброса данных в выборке.

Расчет коэффициента вариации в Excel

Расчет коэффициента вариации в Excel также производится делением стандартного отклонения на среднее арифметическое:

Коэффициент вариации обычно выражается в процентах, поэтому ячейке с формулой можно присвоить процентный формат:

Коэффициент осцилляции

Еще один показатель разброса данных на сегодня – коэффициент осцилляции. Это соотношение размаха вариации (разницы между максимальным и минимальным значением) к средней. Готовой формулы Excel нет, поэтому придется скомпоновать три функции: МАКС, МИН, СРЗНАЧ.

Коэффициент осцилляции показывает степень размаха вариации относительно средней, что также можно использовать для сравнения различных наборов данных.

Таким образом, в статистическом анализе существует система показателей, отражающих разброс или однородность данных.

Ниже видео о том, как посчитать коэффициент вариации, дисперсию, стандартное (среднеквадратичное) отклонение и другие показатели вариации в Excel.

Источник

Что такое «сигма»?

Сигмой (σ) в статистическом анализе обозначают стандартное отклонение. Опуская тонкости, которые будут обсуждены ниже, можно сказать, что стандартное отклонение — это та погрешность, то «± сколько-то», которым обязательно сопровождают измерение величины. Если вы измерили массу предмета и получили результат 100 ± 5 грамм, то величина «110 грамм» отличается от измеренного результата на два стандартных отклонения (то есть на 2 сигмы), величина «50 грамм» отличается на 10 стандартных отклонений (на 10 сигм).

Зачем всё это нужно: сигмы и вероятности

При обсуждении погрешностей мы уже говорили, что фраза «измеренная масса равна 100 ± 5 грамм» вовсе не означает, что истинная масса гарантированно лежит в интервале от 95 до 105 грамм. Она может оказаться и за пределами этого интервала «± 1σ», но, как правило, недалеко. В небольшом проценте случаев может даже случиться, что она выходит за пределы интервала «± 2σ», и уж совсем редко она оказывается за пределами «± 3σ». В общем, тенденция ясна: количество сигм связано с вероятностью того, что истинное значение будет настолько отличаться от измеренного.

Вероятность того, что истинное значение попадет в определенный интервал около измеренного среднего значения при нормальном распределении ошибок. Изображение с сайта en.wikipedia.org

Пропустим все математические подробности и покажем результат для самого простого и распространенного случая, который называется «нормальное распределение» (см. рисунок). Вероятность попасть в интервал ± 1σ — примерно 68%, в интервал ± 2σ — примерно 95%, в интервал ± 3σ — примерно 99,8%, и т. д. Итак, можно сформулировать некую договоренность:

Договоренность: выражение какого-то отличия в количестве сигм — это сообщение о том, какова вероятность, что такое или еще более сильное отличие могло произойти за счет случайного стечения обстоятельств при измерении.

Использовать эту договоренность можно разными способами. Если вы просто сообщаете результат измерения (100 ± 5 грамм) и уверены в том, что нормальное распределение применимо, то вы можете сказать, что истинное значение массы с вероятностью 68% лежит в этом интервале, с вероятностью 95% лежит в интервале от 90 до 110 грамм, и т. д.

Эти выражения особенно стандартны, когда речь идет о поиске новой частицы. Вы сравниваете экспериментальные данные с теоретическим предсказанием, сделанным без новой частицы, и, если видите отличие от 3 до 5 сигм, вы говорите: получено указание на существование новой частицы (по-английски, evidence). Если же отличие превышает 5 сигм, вы говорите: мы открыли новую частицу (discovery).

Пример 1

Предположим, что вы изучаете какой-то редкий распад мезона и сравниваете его с теоретическим предсказанием в рамках Стандартной модели. Для удобства записи вы выразили результат измерения в виде такой величины:

μ = (измеренная вероятность распада) / (теоретически предсказанная вероятность распада)

и получили ответ: μ = 1,25 ± 0,25. Что вы можете сказать про этот результат?

Во-первых, он отличается от нуля на пять сигм. Значит, он уже классифицируется как открытие, и поэтому вы можете смело заявлять: мы открыли искомый распад мезона (если, конечно, это уже не сделал кто-то до вас; тогда вам придется довольствоваться скромным «подтверждением открытия»). Во-вторых, он отличается от единицы на одну сигму. Такое отклонение «неинтересно», оно не позволяет вам сказать, что вы обнаружили какое-то статистически значимое отличие от теоретических расчетов. Поэтому вы добавляете: измеренное значение согласуется с предсказаниями Стандартной модели.

Предположим далее, что вы набрали в 25 раз больше статистики, перемеряли эту вероятность и получили уточненное значение: μ = 1,20 ± 0,05. Отличие от нуля составляет уже 24 сигмы, так что сомнений в реальности эффекта больше не остается. Отличие от единицы составляет теперь 4 сигмы. Этого еще недостаточно для того, чтобы заявить, что вы открыли Новую физику. Но вы можете четко сказать, что ваши данные расходятся с теоретическими предсказаниями на уровне 4 сигм и указывают на существование эффекта вне Стандартной модели.

Пример 2

Вы изучаете рождение мюонов и антимюонов в каком-то процессе и хотите узнать, можно ли сделать вывод о том, что они рождаются с разной вероятностью. Для мюонов (μ – ) вы получили вероятность рождения x_– = 0,18 ± 0,03, а для антимюонов (μ + ) – x₊ = 0,30 ± 0,04. Разница получается 0,12, но насколько значимым является это различие?

Если для обеих погрешностей справедливы нормальные распределения, а также если эти погрешности полностью независимы (между ними нет корреляций), то общая погрешность величины x₊ – x_– вычисляется по формуле суммирования квадратов. Поэтому результат измерения x₊ – x_– = 0,12 ± 0,05. Отличие составляет 2,4 сигмы, и этого еще недостаточно для каких-либо серьезных выводов.

«Уверенность» против «статистической значимости»

Заметьте, что в приведенных выше примерах нас интересовали вопросы, на которые можно ответить «да» или «нет». Проступает ли в полученных данных какая-то новая частица? Согласуется ли распределение по импульсу с теоретическими расчетами? Зависит ли сечение процесса от энергии столкновений? Совпадает ли масса у частицы и ее античастицы? Попытка ответить на эти вопросы с помощью данных называется на научном языке проверкой гипотез. Вопросы, которые требуют развернутого ответа (подсчитать что-то, объяснить что-то и т. п.), гипотезами не называются.

В простейшем приближении результат экспериментальной проверки гипотезы выглядит так: ответ «да» с вероятностью p и ответ «нет» с вероятностью 1 – p. Эти вероятности очень важны для сообщения результата; физики обычно избегают абсолютных утверждений («мы открыли» или «мы опровергли») без указания вероятностей.

Но тут сразу же надо сделать важное уточнение. Если его четко осознать, то станет понятным, почему такие стандартные для научно-популярных новостей фразы, как «Ученые на 99% уверены, что открыли что-то новое», — обманчивы.

Точная формулировка, которую обычно используют ученые, такова:

При проверке гипотезы получен ответ «да» на уровне статистической значимости p.

При этом величина p часто выражается в виде количества сигм. В англоязычной литературе используется словосочетание confidence level, CL (доверительный уровень). В русскоязычной еще иногда говорят «статистическая достоверность», но такое выражение может привести к путанице в понимании.

Отличие «популярной» фразы от истинного утверждения вот в чём. Во всяком измерении есть не только статистические, но и систематические погрешности. Описанные выше правила связи вероятностей и количества сигм работают только для статистических погрешностей — и то если к ним применимо нормальное распределение. Если статистические погрешности всегда можно обсчитать аккуратно, то систематические погрешности — это немножко искусство. Более того, из многолетнего опыта известно, что сильные систематические отклонения уж точно не описываются нормальным распределением, и потому для них эти правила пересчета не справедливы. Так что даже если экспериментаторы всё перепроверили много раз и указали систематическую погрешность, всегда остается риск, что они что-то упустили из виду. Корректно оценить этот риск невозможно, поэтому вы на самом деле не знаете, с какой истинной вероятностью ваш ответ верен.

Конечно, по умолчанию систематическим погрешностям стоит доверять, особенно если они исходят от опытных экспериментальных групп. Но вековой опыт изучения элементарных частиц показывает, что несмотря на все предосторожности регулярно случаются проколы. Бывает, что коллаборация получает результат, сильно противоречащий какой-то гипотезе, перепроверяет анализ много раз и никаких ошибок у себя не находит. Однако этот результат затем не подтверждается другими — порой намного более точными! — экспериментами. Почему первый эксперимент дал такой странный результат, что в нём было не то, где там ошибка или неучтенная погрешность — всё это зачастую так и остается непонятым (впрочем, иногда источник ошибки быстро вскрывается, как это случилось со «сверхсветовыми» нейтрино в эксперименте OPERA).

Физики к таким оборотам событий уже привыкли, поэтому каждый экспериментальный результат, сильно отличающийся от всей сложившейся к тому времени картины, вызывает оправданный скепсис. Физики так консервативны в своем отношении вовсе не потому, что они ретрограды и намертво уверовали в какую-то одну теорию, как это хотят представить опровергатели физики. Они просто научены всем предыдущим опытом в физике частиц и знают, чем это обычно кончается. Поэтому без независимого подтверждения другими экспериментами подобные сенсации они не поддерживают.

ФЭЧ в сравнении с другими науками

Надо сказать, что сформулированные выше жесткие критерии статистической достоверности характерны именно для физики элементарных частиц и некоторых смежных разделов. Во многих других разделах физики, а тем более в других дисциплинах (в особенности, в биомедицинских науках) критерии намного слабее.

Предположим, вы измерили некие данные и хотите узнать, какова вероятность того, что они «вписываются в норму». Вы проводите статистический тест, который дает вам вероятность того, что «нормальная ситуация» без какого-либо реального отклонения только за счет статистической флуктуации даст вот такое или еще более сильное отклонение. Эта вероятность называется p-значение. В биологии пороговое p-значение, ниже которого уже уверенно говорят про реальное отличие, составляет один или даже несколько процентов. В физике элементарных частиц такое отличие вообще не считают значимым, тут нет даже «указания на существование» какого-то отличия! Ответственное заявление об отличии звучит в ФЭЧ только для p-значений меньше одной двухмиллионной (то есть отклонение больше 5σ). Такой жесткий подход к достоверности утверждений выработался в ФЭЧ примерно полвека назад, в эпоху, когда экспериментаторы видели много отклонений со значимостью в районе 3σ и смело заявляли об открытии новых частиц, хотя потом эти «открытия» не подтверждались. Подробный рассказ об истоках этого критерия см. в постах Tommaso Dorigo (часть 1, часть 2).

Источник