Что означают коэффициенты регрессии?

Точка пересечения или константа (intercept) - это значение зависимой переменной \(Y\), при котором независимая переменная \(X\) равна нулю. То есть, это точка, в которой линия регрессии пересекается с осью \(Y\).

Важно отметить, что в некоторых случаях это не имеет смысла, особенно когда в реальности невозможно, чтобы независимая переменная была равна нулю.

Например, если у нас есть модель, в которой объем денежной массы объясняет рост ВВП, точка пересечения не имеет значения, потому что на практике нулевая денежная масса невозможна.

Однако, если бы независимая переменная была ростом денежной массы, то точка пересечения имела бы смысл.

Наклон (slope) - это изменение зависимой переменной \(Y\) при изменении на одну единицу независимой переменной \(X\).

  • Если наклон является положительным, то изменение независимой переменной и изменение зависимой переменной будут в одном и том же направлении.
  • Если наклон отрицательный, то изменение независимой переменной и изменение зависимой переменной будут в противоположных направлениях.

Интерпретация положительных и отрицательных наклонов линии регрессии.

Предположим, что зависимая переменная \(Y\) выражена в миллионах евро, а независимая переменная \(X\) выражена в миллионах долларов США.

Если наклон 1.2 положительный, то:

  • \(\uparrow\) $1 млн.  \(\rightarrow \ \uparrow\) €1.2 млн.
  • \(\downarrow\) $1 млн.  \(\rightarrow \ \downarrow\) €1.2 млн.

Если наклон 1.2 отрицательный, то:

  • \(\uparrow\) $1 млн.  \(\rightarrow \ \downarrow\) €1.2 млн.
  • \(\downarrow\) $1 млн.  \(\rightarrow \ \uparrow\) €1.2 млн.

Используя модель регрессии ROA из Иллюстрации 6, мы интерпретируем полученные коэффициенты следующим образом:

Рентабельность активов (ROA) для компании составляет 4.875%, если компания не делает капитальных затрат (CAPEX).

Если CAPEX увеличивается на одну единицу (скажем, с 4% до 5%), то ROA увеличивается на 1.25%.

Используя оценочные коэффициенты регрессии, мы можем определить значения зависимой переменной, если они следуют средней зависимости между зависимыми и независимыми переменными.

В результате применения метода наименьших квадратов, линия регрессии будет построена так, чтобы ожидаемое значение остаточного члена (ошибки) было равно нулю:

\( E (\epsilon) = 0 \).

В Иллюстрации 7 мы показываем расчет прогнозируемой зависимой переменной и остаточного члена (residual) для каждого наблюдения в примере с ROA.

Обратите внимание, что сумма и среднее значение \(Y_i\) и \(\hat Y_i\) одинаковы, а сумма остатков равна нулю.

Иллюстрация 7. Расчет зависимой переменной и остатков для модели регрессии ROA и CAPEX.

(1)

(2)

(3)

(4)

Компания

ROA
\( (Y_i) \)

CAPEX
\( (X_i) \)

Прогнозируемая ROA
\( (\hat Y_i) \)

(1) - (3)
Остаток \( (e_i) \)

A

6.0

0.7

5.750

0.250

B

4.0

0.4

5.375

-1.375

C

15.0

5.0

11.125

3.875

D

20.0

10.0

17.375

2.625

E

10.0

8.0

14.875

-4.875

F

20.0

12.5

20.500

-0.500

Сумма

75.0

36.6

75.000

0.000

Среднее значение

12.5

6.1

12.5

0.000

Для компании \( C (i = 3) \),

\( \hat Y_i = \hat b_0 + \hat b_1 X_i + \epsilon_i  \)

\( \hat Y_i = 4.875 + (1.25 \times 5.0) = 4.875 + 6.25 = 11.125 \)

\( Y_i - \hat Y_i = e_i = 15.0 - 11.125 = 3.875 \),

вертикальное расстояние в Иллюстрации 5.

Принимая во внимание, что по замыслу сумма остатков должна равняться нулю, в центре внимания линии регрессии в простой линейной регрессии находится минимизация суммы квадратных остаточных членов.

Сравнение перекрестной регрессии и регрессии временных рядов.

Регрессионный анализ использует два основных типа данных: перекрестные данные и временные ряды.

Перекрестная регрессия (cross-sectional regression) включает в себя множество наблюдений \(X\) и \(Y\) за тот же период времени.

Эти наблюдения могут поступить от разных компаний, классов активов, инвестиционных фондов, стран или других организаций, в зависимости от модели регрессии.

Например, перекрестная модель может использовать данные многих компаний, чтобы проверить, объясняет ли прогнозируемый рост EPS (прибыли на акцию) различия в коэффициенте цена/прибыль (PE) в течение определенного периода времени.

Обратите внимание, что если мы используем перекрестные наблюдения в регрессии, мы обычно обозначаем наблюдения как

\(i = 1, \ 2, \ \ldots \, \ n \).

В регрессии временных рядов (time-series regression) используется много наблюдений за разные периоды времени для одной и той же компании, одного класса активов, инвестиционного фонда, страны или другой организации, в зависимости от модели регрессии.

Например, модель временных рядов может использовать ежемесячные данные за много лет, чтобы проверить, определяет ли уровень инфляции в стране ее краткосрочные процентные ставки.

Если мы используем данные временных рядов в регрессии, мы обычно обозначаем наблюдения как:

\(t = 1, \ 2, \ \ldots \, \ T \).

Обратите внимание, что в последующих разделах мы в основном используем обозначение \(i = 1, \ 2, \ \ldots \, \ n \), даже для временных рядов.

Пример (2) расчета простой модели линейной регрессии.

Аналитик исследует взаимосвязь между чистой операционной рентабельностью компании и ее расходами на исследования и разработки.

Он собирает данные по отрасли и рассчитывает отношение расходов на исследования и разработки к доходам (RDR, Research and Development expenditures / Revenue), а также рентабельность по чистой прибыли (NPM, net profit margin) для восьми компаний.

В частности, он хочет объяснить различия, которые он наблюдает в рентабельности по чистой прибыли, используя различия, которые он наблюдает в расходах на исследования и разработки.

Собранные данные представлены в Иллюстрации 8.

Иллюстрация 8. Наблюдения NPM и RDR для восьми компаний.

Компания

NPM (%)

RDR (%)

1

4

8

2

5

10

3

10

6

4

9

5

5

5

7

6

6

9

7

12

5

8

3

10

  1. Каков коэффициент наклона для этой простой модели линейной регрессии?
  2. Какова точка пересечения для этой регрессионной модели?
  3. Какой формулой представлена предполагаемая модель линейной регрессии?
  4. Какова парная корреляция между NPM и RDR?

Решения:

1. Коэффициент наклона для регрессионной модели составляет \(-1.3 \), а детали расчета показаны в Иллюстрации 9.

Иллюстрации 9. Подробная информация о расчете наклона NPM, регрессирующей по RDR.

Компания

NPM
(%)
\(Y_i\)

RDR (%) \(X_i\)

\( Y_i - \overline Y \)

\( X_i - \overline X \)

\( (Y_i - \overline Y)^2 \)

\( (X_i - \overline X)^2 \)

\( (Y_i - \overline Y)( X_i - \overline X) \)

1

4

8

-2.8

0.5

7.5625

0.25

-1.375

2

5

10

-1.8

2.5

3.0625

6.25

-4.375

3

10

6

3.3

-1.5

10.5625

2.25

-4.875

4

9

5

2.3

-2.5

5.0625

6.25

-5.625

5

5

7

-1.8

-0.5

3.0625

0.25

0.875

6

6

9

-0.8

1.5

0.5625

2.25

-1.125

7

12

5

5.3

-2.5

27.5625

6.25

-13.125

8

3

10

-3.8

2.5

14.0625

6.25

-9.375

Сумма

54.0

60.0

0.0

0.0

71.5000

30.00

-39.0

Среднее арифметическое

6.75

7.5

Коэффициент наклона:

\( \dst \hat b_1 = {-39 \over 30} = -1.3 \)


2. Точка пересечения регрессионной модели составляет 16.5:

\( \dst \hat b_0 = 6.75 - (-1.3 \times 7.5) = 6.75 + 9.75 = 16.5 \)


3. Модель регрессии представлена формулой:

\( \dst \hat Y_i = 16.5 - 1.3 X_i + \epsilon_i \)


4. Парная корреляция составляет -0.8421:

\( \dst
r = {-39 \big / 7  \over \sqrt{71.5 \big / 7}  \sqrt{30 \big / 7} }
= { -5.5714 \over (3.1960)(2.0702) } = -0.8421 \).

Пример (3) интерпретации коэффициентов регрессии.

Аналитик рассчитал модель, в которой рентабельность акционерного капитала (ROE) регрессирует по ее перспективам роста (GO, growth opportunities).

GO определяется как трехлетний годовой темп роста продаж компании.

В модели использованы данные за 20 лет. В результате он получил следующую простую линейную регрессию:

\( \dst {\rm ROE}_i = 4 + 1.8 {\rm GO}_i + \epsilon_i \).

Обе переменные указаны в процентах, поэтому наблюдение GO в 5% представлено как 5.


1. Прогнозируемое значение ROE компании, если GO составляет 10%, ближе всего к:

  • A. 1.8%.
  • B. 15.8%.
  • C. 22.0%.

2. Изменение ROE при изменении GO в диапазоне от 5% до 6%, ближе всего к:

  • A. 1.8%.
  • B. 4.0%.
  • C. 5.8%.

3. Остаток, в случае, если GO равна 8%, а наблюдаемая ROE равна 21%, ближе всего к:

  • A. -1.8%.
  • B. 2.6%.
  • C. 12.0%.

Решения.

1. Ответ C правильный. Прогнозируемое значение:

\( \dst {\rm ROE}_i = 4 + (1.8 \times 10) = 22 \).


2. Ответ A правильный. Коэффициент наклона 1.8 является ожидаемым изменением зависимой переменной (ROE) для изменения на одну единицу независимой переменной (GO).


3. Ответ B правильный. Прогнозируемое значение:

\( \dst {\rm ROE}_i = 4 + (1.8 \times 8) = 18.4 \).

Наблюдаемое значение ROE составляет 21, поэтому остаток составляет \( 2.6 = 21.0 - 18.4 \).