Статистические выводы традиционно состоят из двух направлений: проверки статистических гипотез и статистической оценки.

Проверка гипотез рассматривает вопрос:

Равен ли данный параметр (например, среднее по совокупности) некоторому определенному значению (например, 0)?.

Здесь мы имеем гипотезу о значении параметра, и пытаемся или доказать или опровергнуть ее на основе выборки из совокупности. Мы подробно обсудим проверку гипотез далее, в чтении о проверке статистических гипотез.

Второе направление статистического вывода, рассматриваемое в данном чтении, - это статистическая оценка.

Статистическая оценка (англ. 'estimation') ищет ответ на вопрос:

Каким является значение данного параметра (например, среднего по совокупности)?

При оценке, в отличие от проверки гипотез, мы не начинаем с выдвижения гипотезы о значении параметра и ее проверки. Вместо этого мы стараемся наилучшим образом использовать информацию о выборке, чтобы сформировать один из нескольких типов оценок значения параметра.

При оценке мы заинтересованы в нахождении правила для лучшего расчета одного значения для оценки неизвестного параметра совокупности (при точечной оценке).

Вместе с расчетом точечной оценки, мы также можем быть заинтересованы в расчете диапазона значений, в рамках которого может находится неизвестный параметр совокупности с некоторой заданной степенью вероятности (доверительный интервал).

Ниже мы обсудим точечные оценки параметров, а в следующем разделе - формулировку доверительных интервалов для среднего по совокупности.

Точечные оценки параметров совокупности.

Важная концепция, представленная в этом чтении, заключается в том, что статистики рассматриваемые как формулы, приводящие к случайным результатам, являются случайными величинами.

Формулы, которые мы используем для вычисления выборочного среднего и всех других выборочных статистик являются примерами формулы оценки (или функции оценки или просто оценки, англ. 'estimator').

Значение, которое вычисляется на основе наблюдений выборки с использованием функций оценки, называется оценкой (англ. 'estimate'). Функция оценки имеет распределение выборки; оценка является фиксированным числом, относящимся к данной выборке, и, таким образом, не имеет распределения выборки.

Среднее значение, т.е. вычисленное значение выборочного среднего на основе данной выборки, используется в качестве оценки среднего по совокупности и называется точечной оценкой (англ. 'point estimate') среднего по совокупности.

В Примере 3 показано, что формула для выборочного среднего, может и будет давать различные результаты в повторных выборках, так как из совокупности берутся различные выборки.

Во многих случаях, у нас есть выбор из нескольких возможных формул оценки для оценки данного параметра.

Как мы делаем наш выбор?

Мы часто выбираем определенные формулы оценки, потому что они имеют одно или более желательных статистических свойств. Ниже приводится краткое описание трех желательных свойств формул оценки: несмещенности (отсутствие смещения), эффективности и состоятельности.

См. Daniel and Terrell (1995) или Greene (2011) для подробного изучения свойств функций оценки.

Определение несмещенности оценки.

Несмещенная оценка (англ. 'unbiased estimator') - это функция оценки, чье ожидаемое значение (среднее значение ее выборочного распределения) равно оцениваемому параметру, т.е. параметру совокупности, оцениваемому с помощью этой функции.

Например, ожидаемое значение выборочного среднего \( \overline X \), равно среднему по совокупности \( \mu \), таким образом, мы говорим, что выборочное среднее является несмещенной оценкой (среднего по совокупности).

Выборочная дисперсия, \( s^2 \), которая рассчитывается с использованием делителя \( n - 1 \) (см. Формулу 3), является несмещенной оценкой дисперсии генеральной совокупности \( \sigma^2 \).

Если бы мы вычислили дисперсию выборки, используя делитель \( n \), то оценка была бы смещена: его ожидаемое значение было бы меньше, чем дисперсия совокупности. Мы бы сказали, что выборочная дисперсия, рассчитанная с делителем \( n \), является смещенной оценкой дисперсии совокупности.

Всякий раз, когда можно найти одну несмещенную оценку параметра, как правило, можно найти большое количество других несмещенных оценок.

Как мы делаем выбор среди альтернативных несмещенных оценок?

Критерий эффективности дает возможность выбирать несмещенные оценки параметра.

Определение эффективности оценки.

Несмещенная оценка является эффективной (англ. 'efficient unbiased estimator'), если никакая другая несмещенная оценка того же параметра не имеет распределение выборки с меньшей дисперсией.

Это определение можно объяснить следующим образом: делая повторные выборки, мы ожидаем, что эффективные оценки будут более плотно группироваться вокруг среднего значения, чем другие несмещенные оценки.

Эффективность (англ. 'efficiency') является важным свойством функций оценки.

Эффективную оценку еще иногда называют лучшей несмещенной оценкой (англ. 'best unbiased estimator').

Выборочное среднее \(X\) является эффективной оценкой среднего по совокупности. Выборочная дисперсия \(s^2\) является эффективной оценкой \( \sigma^2 \).

Напомним, что выборочное распределение статистики определено для выборки заданного размера. Различные размеры выборки определяют различные распределения выборки. Например, дисперсия выборочного распределения выборочного среднего значения будет меньше для выборок больших размеров.

Несмещенность и эффективность является свойствами выборочного распределения функции оценки, которые распространяются на выборки любого размера.

Несмещенная оценка является в равной мере несмещенной для выборки размером 10 и выборки размером 1,000. В некоторых ситуациях мы, однако, мы не можем найти функции оценки, которые обладают такими желанными свойствами. Например, сложно добиться несмещенности в очень малых выборках.

Такие проблемы часто возникают в регрессионном анализе и анализе временных рядов.

В этом случае, аналитики могут обосновать выбор функции оценки на основе свойств выборочного распределения функции оценки при очень больших выборках, - так называемых асимптотических свойствах функции оценки (англ. 'asymptotic properties').

Среди таких свойств, наиболее важным является состоятельность.

Определение состоятельности оценки.

Состоятельная оценка (англ. 'consistent estimator') - это функция оценки, для которой вероятность того, что оценка близка к значению параметра совокупности, увеличивается по мере увеличения размера выборки.

Несколько более технически, мы можем определить состоятельную оценку в качестве функции оценки, выборочное распределение которой концентрируется на значении оцениваемого параметра, по мере того, как размер выборки стремится к бесконечности.

Выборочное среднее, помимо того, что является эффективной оценкой, также является состоятельной оценкой среднего значения по совокупности:

По мере того, как размер выборки \(n\) стремится к бесконечности, стандартная ошибка выборочного среднего \( \sigma / \sqrt n \) стремится к 0, а выборочное распределение среднего концентрируется вокруг значения среднего по совокупности \( \mu \).

Подводя итог, мы можем воспринимать состоятельную оценку как имеющую тенденцию давать все более и более точные оценки параметров совокупности по мере увеличения размера выборки.

Если оценка состоятельна, мы можем попытаться повысить точность оценок параметра совокупности путем расчета оценок с использованием большей выборки.

Однако, для несостоятельной оценки увеличение размера выборки не поможет увеличить вероятность точных оценок.