Метод наименьших квадратов используется для оценивания параметров линейной регрессии

Оценка параметров линейных уравнений регрессии

-величины коэффициента корреляции

-величины коэффициента детерминации

-средней ошибки аппроксимации

#Метод наименьших квадратов не применим для …

+уравнений нелинейных по оцениваемым параметрам

-линейных уравнений множественной регрессии

-линейных уравнений парной регрессии

-полиномиальных уравнений множественной регрессии

#В основе метода наименьших квадратов лежит …

+минимизация суммы квадратов отклонений фактических значений результативного признака от его теоретических значений

-равенство нулю суммы квадратов отклонений фактических значений результативного признака от его теоретических значений

-максимизация суммы квадратов отклонений фактических значений результативного признака от его теоретических значений

-минимизация суммы квадратов отклонений фактических значений результативного признака от его средних значений

#Систему МНК, построенную для оценки параметров линейного уравнения множественной регрессии можно решить …

-методом первых разностей

-методом скользящего среднего

#В исходном соотношении МНК сумма квадратов отклонений фактических значений результативного признака от его теоретических значений …

-приравнивается к нулю

-приравнивается к системе нормальных уравнений

#Метод наименьших квадратов позволяет оценить _____________ уравнений регрессии

-параметры и переменные

-переменные и случайные величины

#Оценки параметров уравнений регрессии при помощи метода наименьших квадратов находятся на основании решения …

+решения системы нормальных уравнений

-решения двойственной задачи

-решения уравнения регрессии

-решения системы нормальных неравенств

#Оценки параметров линейного уравнения множественной регрессии можно найти при помощи метода …

+метода наименьших квадратов

-метода наибольших квадратов

-метода средних квадратов

-метода нормальных квадратов

#Метод наименьших квадратов применяется для оценки …

+параметров линейных уравнений регрессии

-качества линейных уравнений регрессии

-уравнений регрессии, нелинейных по параметрам

-качества уравнений, нелинейных по параметрам

#Система нормальных уравнений метода наименьших квадратов строится на основании …

+таблицы исходных данных

-предсказанных значений результативного признака

-отклонений фактических значений результативного признака от его теоретических значений

-отклонений фактических значений объясняющей переменной от ее теоретических значений

#Требованием к уравнениям регрессии, параметры которых можно найти при помощи МНК является …

-равенство нулю средних значений результативной переменной

-равенство нулю средних значений факторного признака

#Несмещенность оценки характеризует …

+равенство нулю математического ожидания остатков

-наименьшую дисперсию остатков

-увеличение точности ее вычисления с увеличением объема выборки

-ее зависимость от объема выборки

#Если оценка параметра эффективна, то это означает …

+наименьшую дисперсию остатков

-равенство нулю математического ожидания остатков

-максимальную дисперсию остатков

-уменьшение точности с увеличением объема выборки

+увеличением ее точности с увеличением объема выборки

-независимостью от объема выборки значения математического ожидания остатков

-уменьшением ее точности с увеличением объема выборки

-зависимостью от объема выборки значения математического ожидания остатков

#Несмещенность оценки на практике означает …

+что при большом числе выборочных оцениваний остатки не будут накапливаться

-что найденное значение коэффициента регрессии нельзя рассматривать как среднее значение из возможного большого количества несмещенных оценок

-невозможность перехода от точечного оценивания к интервальному

-уменьшение точности с увеличением объема выборки

#Эффективность оценки на практике характеризуется …

+возможностью перехода от точечного оценивания к интервальному

-отсутствием накапливания значений остатков при большом числе выборочных оцениваний

-невозможностью перехода от точечного оценивания к интервальному

-уменьшением точности с увеличением объема выборки

#Свойствами оценок МНК являются …

+эффективность, состоятельность и несмещенность

-эффективность, состоятельность и смещенность

-эффективность, несостоятельность и смещенность

-эффективность, несостоятельность и несмещенность

#Увеличение точности оценок с увеличением объема выборки описывает свойство _______ оценки.

#Математическое ожидание остатков равно нулю, если оценки параметров обладают свойством …

#Минимальная дисперсия остатков характерна для оценок, обладающих свойством …

#Переход от точечного оценивания к интервальному возможен, если оценки являются …

+ эффективными и несмещенными

-эффективными и несостоятельными

-неэффективными и состоятельными

-состоятельными и смещенными

#При примени метода наименьших квадратов исследуются свойства …

+оценок параметров уравнения регрессии

-оценок переменных уравнения регрессии

-оценок случайных величин уравнения регрессии

-оценок переменных и параметров уравнения регрессии

+одинаковую дисперсию остатков при каждом значении фактора

-рост дисперсии остатков с увеличением значения фактора

-уменьшение дисперсии остаток с уменьшением значения фактора

-максимальную дисперсию остатков при средних значениях фактора

#Предпосылкой метода наименьших квадратов является то, что…

+остаточные величины имеют случайный характер

-остаточные величины имеют неслучайный характер

-при увеличении моделируемых значений результативного признака значение остатка увеличивается

-при уменьшении моделируемых значений результативного признака значение остатка уменьшается

+зависимость дисперсии остатков от значения фактора

-постоянство дисперсии остатков независимо от значения фактора

-независимость математического ожидания остатков от значения фактора

-зависимость математического ожидания остатков от значения фактора

#Предпосылкой метода наименьших квадратов является то, что остатки…

+подчиняются закону нормального распределения

-не подчиняются закону нормального распределения

-подчиняются закону больших чисел

-не подчиняются закону больших чисел

#Предпосылки метода наименьших квадратов исследуют поведение …

-параметров уравнения регрессии

-переменных уравнения регрессии

#Предпосылкой метода наименьших квадратов является …

+отсутствие автокорреляции в остатках

-присутствие автокорреляции в остатках

-отсутствие корреляции между результатом и фактором

-присутствие автокорреляции между результатом и фактором

#Предпосылкой метода наименьших квадратов не является условие …

+неслучайного характера остатков

-отсутствия автокорреляции в остатках

-случайного характера остатков

#Случайный характер остатков предполагает …

+независимость остатков от величины предсказанных по модели значений результативного признака

-зависимость остатков от величины предсказанных по модели значений результативного признака

-зависимость предсказанных по модели значений результативного признака от значений факторного признака

-независимость предсказанных по модели значений результативного признака от значений факторного признака

#Отсутствие автокорреляции в остатках предполагает, что значения ______ не зависят друг от друга

#Оценки параметров, найденные при помощи метода наименьших квадратов обладают свойствами эффективности, состоятельности и несмещенности, если предпосылки метода наименьших квадратов …

-можно не учитывать

#Если предпосылки метода наименьших квадратов нарушены, то …

+оценки параметров могут не обладать свойствами эффективности, состоятельности и несмещенности

-коэффициент регрессии является несущественным

-коэффициент корреляции является несущественным

-полученное уравнение статистически незначимо

#Обобщенный метод наименьших квадратов применяется в случае…

#Обобщенный метод наименьших квадратов используется для корректировки…

+гетероскедастичности остатков в уравнении регрессии

-автокорреляции между независимыми переменными

-параметров нелинейного уравнения регрессии

-точности определения коэффициента множественной корреляции

#Обобщенный метод наименьших квадратов подразумевает …

-линеаризацию уравнения регрессии

-двухэтапное применение метода наименьших квадратов

-переход от множественной регрессии к парной

#Обобщенный метод наименьших квадратов рекомендуется применять в случае …

-нормально распределенных остатков

-автокорреляции результативного признака

#При применении метода наименьших остатков уменьшить гетероскедастичность остатков удается путем …

-введения дополнительных факторов в модель

-введения дополнительных результатов в модель

#На основании преобразования переменных при помощи обобщенного метода наименьших квадратов получаем новое уравнение регрессии, которое представляет собой …

+взвешенную регрессию, в которой переменные взяты с весами

-нелинейную регрессию, в которой переменные взяты с весами

-взвешенную регрессию, в которой переменные взяты с весами

-нелинейную регрессию, в которой переменные взяты с весами

#Обобщенный метод наименьших квадратов не используется для моделей с _______ остатками

-автокоррелярованными и гетероскедастичными

#Что преобразуется при применении обобщенного метода наименьших квадратов?

+исходные уровни переменных

-дисперсия результативного признака

-дисперсия факторного признака

-стандартизованные коэффициенты регрессии

#Обобщенный метод наименьших квадратов отличается от обычного МНК тем, что при применении ОМНК…

+преобразуются исходные уровни переменных

-уменьшается количество наблюдений

-остатки приравниваются к нулю

-остатки не изменяются

#После применения обобщенного метода наименьших квадратов удается избежать ______ остатков

-равенства нулю суммы

#Метод оценки параметров моделей с гетероскедастичными остатками называется …методом наименьших квадратов

Источник

Метод наименьших квадратов регрессия

Метод наименьших квадратов (МНК) заключается в том, что сумма квадратов отклонений значений y от полученного уравнения регрессии — минимальное. Уравнение линейной регрессии имеет вид

y=ax+b

a, b – коэффициенты линейного уравнения регрессии;

x – независимая переменная;

y – зависимая переменная.

Нахождения коэффициентов уравнения линейной регрессии через метод наименьших квадратов:

частные производные функции приравниваем к нулю

отсюда получаем систему линейных уравнений

Формулы определения коэффициентов уравнения линейной регрессии:

Также запишем уравнение регрессии для квадратной нелинейной функции:

Система линейных уравнений регрессии полинома n-ого порядка:

Формула коэффициента детерминации R 2 :

Формула средней ошибки аппроксимации для уравнения линейной регрессии (оценка качества модели):

Чем меньше ε, тем лучше. Рекомендованный показатель ε
Формула среднеквадратической погрешности:

Для примера, проведём расчет для получения линейного уравнения регрессии аппроксимации функции, заданной в табличном виде:

Решение

Расчеты значений суммы, произведения x и у приведены в таблицы.

Расчет коэффициентов линейной регрессии:

при этом средняя ошибка аппроксимации равна:

ε=11,168%

Получаем уравнение линейной регрессии с помощью метода наименьших квадратов:

y=1,7871x+0,79

График функции линейной зависимости y=1,7871x+0,79 и табличные значения, в виде точек

Коэффициент корреляции равен 0,988
Коэффициента детерминации равен 0,976

Источник

Математика на пальцах: методы наименьших квадратов

Я математик-программист. Самый большой скачок в своей карьере я совершил, когда научился говорить:«Я ничего не понимаю!» Сейчас мне не стыдно сказать светилу науки, что мне читает лекцию, что я не понимаю, о чём оно, светило, мне говорит. И это очень сложно. Да, признаться в своём неведении сложно и стыдно. Кому понравится признаваться в том, что он не знает азов чего-то-там. В силу своей профессии я должен присутствовать на большом количестве презентаций и лекций, где, признаюсь, в подавляющем большинстве случаев мне хочется спать, потому что я ничего не понимаю. А не понимаю я потому, что огромная проблема текущей ситуации в науке кроется в математике. Она предполагает, что все слушатели знакомы с абсолютно всеми областями математики (что абсурдно). Признаться в том, что вы не знаете, что такое производная (о том, что это — чуть позже) — стыдно.

Но я научился говорить, что я не знаю, что такое умножение. Да, я не знаю, что такое подалгебра над алгеброй Ли. Да, я не знаю, зачем нужны в жизни квадратные уравнения. К слову, если вы уверены, что вы знаете, то нам есть над чем поговорить! Математика — это серия фокусов. Математики стараются запутать и запугать публику; там, где нет замешательства, нет репутации, нет авторитета. Да, это престижно говорить как можно более абстрактным языком, что есть по себе полная чушь.

Знаете ли вы, что такое производная? Вероятнее всего вы мне скажете про предел разностного отношения. На первом курсе матмеха СПбГУ Виктор Петрович Хавин мне определил производную как коэффициент первого члена ряда Тейлора функции в точке (это была отдельная гимнастика, чтобы определить ряд Тейлора без производных). Я долго смеялся над таким определением, покуда в итоге не понял, о чём оно. Производная не что иное, как просто мера того, насколько функция, которую мы дифференцируем, похожа на функцию y=x, y=x^2, y=x^3.

Я сейчас имею честь читать лекции студентам, которые боятся математики. Если вы боитесь математики — нам с вами по пути. Как только вы пытаетесь прочитать какой-то текст, и вам кажется, что он чрезмерно сложен, то знайте, что он хреново написан. Я утверждаю, что нет ни одной области математики, о которой нельзя говорить «на пальцах», не теряя при этом точности.

Задача на ближайшее время: я поручил своим студентам понять, что такое линейно-квадратичный регулятор. Не постесняйтесь, потратьте три минуты своей жизни, сходите по ссылке. Если вы ничего не поняли, то нам с вами по пути. Я (профессиональный математик-программист) тоже ничего не понял. И я уверяю, в этом можно разобраться «на пальцах». На данный момент я не знаю, что это такое, но я уверяю, что мы сумеем разобраться.

Итак, первая лекция, которую я собираюсь прочитать своим студентам после того, как они в ужасе прибегут ко мне со словами, что линейно-квадратичный регулятор — это страшная бяка, которую никогда в жизни не осилить, это методы наименьших квадратов. Умеете ли вы решать линейные уравнения? Если вы читаете этот текст, то скорее всего нет.

Итак, даны две точки (x0, y0), (x1, y1), например, (1,1) и (3,2), задача найти уравнение прямой, проходящей через эти две точки:

Эта прямая должна иметь уравнение типа следующего:

Здесь альфа и бета нам неизвестны, но известны две точки этой прямой:

Можно записать это уравнение в матричном виде:

Тут следует сделать лирическое отступление: что такое матрица? Матрица это не что иное, как двумерный массив. Это способ хранения данных, более никаких значений ему придавать не стоит. Это зависит от нас, как именно интерпретировать некую матрицу. Периодически я буду её интерпретировать как линейное отображение, периодически как квадратичную форму, а ещё иногда просто как набор векторов. Это всё будет уточнено в контексте.

Давайте заменим конкретные матрицы на их символьное представление:

Тогда (alpha, beta) может быть легко найдено:

Более конкретно для наших предыдущих данных:

Что ведёт к следующему уравнению прямой, проходящей через точки (1,1) и (3,2):

Окей, тут всё понятно. А давайте найдём уравнение прямой, проходящей через три точки: (x0,y0), (x1,y1) и (x2,y2):

Ой-ой-ой, а ведь у нас три уравнения на две неизвестных! Стандартный математик скажет, что решения не существует. А что скажет программист? А он для начала перепишет предыдующую систему уравнений в следующем виде:

И дальше постарается найти решение, которое меньше всего отклонится от заданных равенств. Давайте назовём вектор (x0,x1,x2) вектором i, (1,1,1) вектором j, а (y0,y1,y2) вектором b:

В нашем случае векторы i,j,b трёхмерны, следовательно, (в общем случае) решения этой системы не существует. Любой вектор (alpha\*i + beta\*j) лежит в плоскости, натянутой на векторы (i, j). Если b не принадлежит этой плоскости, то решения не существует (равенства в уравнении не достичь). Что делать? Давайте искать компромисс. Давайте обозначим через e(alpha, beta) насколько именно мы не достигли равенства:

И будем стараться минимизировать эту ошибку:

Очевидно, что ошибка минимизируется, когда вектор e ортогонален плоскости, натянутой на векторы i и j.

Иными словами: мы ищем такую прямую, что сумма квадратов длин расстояний от всех точек до этой прямой минимальна:

UPDATE: тут у меня косяк, расстояние до прямой должно измеряться по вертикали, а не ортогональной проекцией. Вот этот комментатор прав.

Совсеми иными словами (осторожно, плохо формализовано, но на пальцах должно быть ясно): мы берём все возможные прямые между всеми парами точек и ищем среднюю прямую между всеми:

Иное объяснение на пальцах: мы прикрепляем пружинку между всеми точками данных (тут у нас три) и прямой, что мы ищем, и прямая равновесного состояния есть именно то, что мы ищем.

Минимум квадратичной формы

Итак, имея данный вектор b и плоскость, натянутую на столбцы-векторы матрицы A (в данном случае (x0,x1,x2) и (1,1,1)), мы ищем вектор e с минимум квадрата длины. Очевидно, что минимум достижим только для вектора e, ортогонального плоскости, натянутой на столбцы-векторы матрицы A:

Иначе говоря, мы ищем такой вектор x=(alpha, beta), что:

Напоминаю, что этот вектор x=(alpha, beta) является минимумом квадратичной функции ||e(alpha, beta)||^2:

Тут нелишним будет вспомнить, что матрицу можно интерпретирвать в том числе как и квадратичную форму, например, единичная матрица ((1,0),(0,1)) может быть интерпретирована как функция x^2 + y^2:

Вся эта гимнастика известна под именем линейной регрессии.

Уравнение Лапласа с граничным условием Дирихле

Теперь простейшая реальная задача: имеется некая триангулированная поверхность, необходимо её сгладить. Например, давайте загрузим модель моего лица:

Изначальный коммит доступен здесь. Для минимизации внешних зависимостей я взял код своего софтверного рендерера, уже подробно описанного на хабре. Для решения линейной системы я пользуюсь OpenNL, это отличный солвер, который, правда, очень сложно установить: нужно скопировать два файла (.h+.c) в папку с вашим проектом. Всё сглаживание делается следующим кодом:

X, Y и Z координаты отделимы, я их сглаживаю по отдельности. То есть, я решаю три системы линейных уравнений, каждое имеет количество переменных равным количеству вершин в моей модели. Первые n строк матрицы A имеют только одну единицу на строку, а первые n строк вектора b имеют оригинальные координаты модели. То есть, я привязываю по пружинке между новым положением вершины и старым положением вершины — новые не должны слишком далеко уходить от старых.

Ещё раз: переменными являются все вершины, причём они не могут далеко отходить от изначального положения, но при этом стараются стать похожими друг на друга.

Всё бы было хорошо, модель действительно сглажена, но она отошла от своего изначального края. Давайте чуть-чуть изменим код:

В нашей матрице A я для вершин, что находятся на краю, добавляю не строку из разряда v_i = verts[i][d], а 1000*v_i = 1000*verts[i][d]. Что это меняет? А меняет это нашу квадратичную форму ошибки. Теперь единичное отклонение от вершины на краю будет стоить не одну единицу, как раньше, а 1000*1000 единиц. То есть, мы повесили более сильную пружинку на крайние вершины, решение предпочтёт сильнее растянуть другие. Вот результат:

Давайте вдвое усилим пружинки между вершинами:

Логично, что поверхность стала более гладкой:

А теперь ещё в сто раз сильнее:

Что это? Представьте, что мы обмакнули проволочное кольцо в мыльную воду. В итоге образовавшаяся мыльная плёнка будет стараться иметь наименьшую кривизну, насколько это возможно, касаясь-таки границы — нашего проволочного кольца. Именно это мы и получили, зафиксировав границу и попросив получить гладкую поверхность внутри. Поздравляю вас, мы только что решили уравнение Лапласа с граничными условиями Дирихле. Круто звучит? А на деле всего-навсего одну систему линейных уравнений решить.

Уравнение Пуассона

Давайте ещё крутое имя вспомним.

Предположим, что у меня есть такая картинка:

Всем хороша, только стул мне не нравится.

Разрежу картинку пополам:

И выделю руками стул:

Затем всё, что белое в маске, притяну к левой части картинки, а заодно по всей картинке скажу, что разница между двумя соседними пикселями должна равняться разнице между двумя соседними пикселями правой картинки:

Код и картинки доступны здесь.

Пример из жизни

Я специально не стал делать вылизанные результаты, т.к. мне хотелось всего-навсего показать, как именно можно применять методы наименьших квадратов, это обучающий код. Давайте я теперь дам пример из жизни:

У меня есть некоторое количество фотографий образцов ткани типа вот такой:

Моя задача сделать бесшовные текстуры из фотографий вот такого качества. Для начала я (автоматически) ищу повторяющийся паттерн:

Если я вырежу прямо вот этот четырёхугольник, то из-за искажений у меня края не сойдутся, вот пример четыре раза повторённого паттерна:

Вот фрагмент, где чётко видно шов:

Поэтому я вырезать буду не по ровной линии, вот линия разреза:

А вот повторённый четыре раза паттерн:

И его фрагмент, чтобы было виднее:

Уже лучше, рез шёл не по прямой линии, обойдя всякие завитушки, но всё же шов виден из-за неравномерности освещения на оригинальной фотографии. Вот тут-то и приходит на помощь метод наименьших квадратов для уравнения Пуассона. Вот конечный результат после выравнивания освещения:

Текстура получилась отлично бесшовной, и всё это автоматически из фотографии весьма посредственного качества. Не бойтесь математики, ищите простые объяснения, и будет вам инженерное счастье.

Источник