выборы и CDO
Nov. 11th, 2016 10:19 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
mi_bИзвестный статистик Andrew Gelman, много занимающийся приложениями статистики к социальным наукам, в своем блоге описывал работу над open source статистическим анализатором опросов. Перед самыми выборами его модель давала 90% вероятность победы Клинтон (в середине когорты предсказателей.)
Он написал несколько постов, анализирующих его и других ошибки. Вот этот пост примерно совпадает, с тем, что я написал (без викиликс и конспирологии.)
А другой пост напоминает мне 2009 год: In retrospect, a key mistake in the forecast updating that Kremp and I did, was that we ignored the correlation in the partial information from early-voting tallies. Our model had correlations between state-level forecasting errors (but maybe the corrs we used were still too low, hence giving us illusory precision in our national estimates), but we did not include any correlations at all in the errors from the early-voting estimates.
Корреляцию систематической ошибки опросов между разными штатами они предположили 70% между каждой парой и переживали, что высоковато. А вот корреляцию между отклонением результатов раннего голосования в разных штатах от полного голосования они предположили равной 0! Это, конечно, совсем удивительно - в первом приближении, раннее голосование отличается от полного на две компоненты - корреляция предпочтения с ранним голосованием и тренд популярности за время между ранним голосованием и выборами. Какая должна быть корреляция у первой компоненты по штатам я не знаю, но непонятно, почему ниже корреляции ошибки опросов по тем же штатам. А вот вторая компонента должна иметь корреляцию между штатами близкой к 1 - всякие новости про ФБР и прочие сюрпризы вполне общенациональны. Так что корреляции ошибок раннего голосования по штатам должна быть куда ближе к 1, чем к 0.
А 2009 год это напоминает потому что MBS CDO так неожиданно рухнули как раз потому, что до-кризисные модели их цены часто преполагали нулевую корреляцию между изменениями цен на недвижимость в разных регионах, что делало почти невозможными потери по старшим траншам. Забавно что как раз Гельман прекрасно в курсе этой проблемы и даже написал пару лет назад статью про коррелированные ошибки.
А вот работа над ошибками от самого осторожного из публичных предсказателей, давшего Трампу аж 29% шанс выиграть. Кажется, это единственный публичный прогноз, который был менее оптимистичен про Клинтон, чем рынки предсказаний (рынки давали около 18% за день до выборов.)
Он написал несколько постов, анализирующих его и других ошибки. Вот этот пост примерно совпадает, с тем, что я написал (без викиликс и конспирологии.)
А другой пост напоминает мне 2009 год: In retrospect, a key mistake in the forecast updating that Kremp and I did, was that we ignored the correlation in the partial information from early-voting tallies. Our model had correlations between state-level forecasting errors (but maybe the corrs we used were still too low, hence giving us illusory precision in our national estimates), but we did not include any correlations at all in the errors from the early-voting estimates.
Корреляцию систематической ошибки опросов между разными штатами они предположили 70% между каждой парой и переживали, что высоковато. А вот корреляцию между отклонением результатов раннего голосования в разных штатах от полного голосования они предположили равной 0! Это, конечно, совсем удивительно - в первом приближении, раннее голосование отличается от полного на две компоненты - корреляция предпочтения с ранним голосованием и тренд популярности за время между ранним голосованием и выборами. Какая должна быть корреляция у первой компоненты по штатам я не знаю, но непонятно, почему ниже корреляции ошибки опросов по тем же штатам. А вот вторая компонента должна иметь корреляцию между штатами близкой к 1 - всякие новости про ФБР и прочие сюрпризы вполне общенациональны. Так что корреляции ошибок раннего голосования по штатам должна быть куда ближе к 1, чем к 0.
А 2009 год это напоминает потому что MBS CDO так неожиданно рухнули как раз потому, что до-кризисные модели их цены часто преполагали нулевую корреляцию между изменениями цен на недвижимость в разных регионах, что делало почти невозможными потери по старшим траншам. Забавно что как раз Гельман прекрасно в курсе этой проблемы и даже написал пару лет назад статью про коррелированные ошибки.
А вот работа над ошибками от самого осторожного из публичных предсказателей, давшего Трампу аж 29% шанс выиграть. Кажется, это единственный публичный прогноз, который был менее оптимистичен про Клинтон, чем рынки предсказаний (рынки давали около 18% за день до выборов.)
