mi_b: (child pic)
[personal profile] mi_b
Известный статистик Andrew Gelman, много занимающийся приложениями статистики к социальным наукам, в своем блоге описывал работу над open source статистическим анализатором опросов. Перед самыми выборами его модель давала 90% вероятность победы Клинтон (в середине когорты предсказателей.)

Он написал несколько постов, анализирующих его и других ошибки. Вот этот пост примерно совпадает, с тем, что я написал (без викиликс и конспирологии.)

А другой пост напоминает мне 2009 год: In retrospect, a key mistake in the forecast updating that Kremp and I did, was that we ignored the correlation in the partial information from early-voting tallies. Our model had correlations between state-level forecasting errors (but maybe the corrs we used were still too low, hence giving us illusory precision in our national estimates), but we did not include any correlations at all in the errors from the early-voting estimates.

Корреляцию систематической ошибки опросов между разными штатами они предположили 70% между каждой парой и переживали, что высоковато. А вот корреляцию между отклонением результатов раннего голосования в разных штатах от полного голосования они предположили равной 0! Это, конечно, совсем удивительно - в первом приближении, раннее голосование отличается от полного на две компоненты - корреляция предпочтения с ранним голосованием и тренд популярности за время между ранним голосованием и выборами. Какая должна быть корреляция у первой компоненты по штатам я не знаю, но непонятно, почему ниже корреляции ошибки опросов по тем же штатам. А вот вторая компонента должна иметь корреляцию между штатами близкой к 1 - всякие новости про ФБР и прочие сюрпризы вполне общенациональны. Так что корреляции ошибок раннего голосования по штатам должна быть куда ближе к 1, чем к 0.

А 2009 год это напоминает потому что MBS CDO так неожиданно рухнули как раз потому, что до-кризисные модели их цены часто преполагали нулевую корреляцию между изменениями цен на недвижимость в разных регионах, что делало почти невозможными потери по старшим траншам. Забавно что как раз Гельман прекрасно в курсе этой проблемы и даже написал пару лет назад статью про коррелированные ошибки.

А вот работа над ошибками от самого осторожного из публичных предсказателей, давшего Трампу аж 29% шанс выиграть. Кажется, это единственный публичный прогноз, который был менее оптимистичен про Клинтон, чем рынки предсказаний (рынки давали около 18% за день до выборов.)
From:
Anonymous( )Anonymous This account has disabled anonymous posting.
OpenID( )OpenID You can comment on this post while signed in with an account from many other sites, once you have confirmed your email address. Sign in using OpenID.
User
Account name:
Password:
If you don't have an account you can create one now.
Subject:
HTML doesn't work in the subject.

Message:

 
Notice: This account is set to log the IP addresses of everyone who comments.
Links will be displayed as unclickable URLs to help prevent spam.

April 2017

S M T W T F S
      1
2345 678
9101112131415
16171819202122
23242526272829
30      

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 21st, 2017 12:34 am
Powered by Dreamwidth Studios