mi_b: (child pic)
[personal profile] mi_b
Интересно, как так получилось, что опросы и рынки попали впросак с этими выборами, так же, как и с Брекзитом.

Общенациональные опросы не так уж сильно промахнулись. Клинтон выиграла по голосам (избирателей, но не выборщиков) примерно на 1%, последние опросы ей давали преимущество в 3%-4%. В 2012 общенациональные опросы недооценили долю голосов Обамы на 3% с лишним, так что ошибка в 2016 даже чуть пониже.

Ошибка же произошла на на двух других этапах - на предсказаниях для ключевых штатов и на конвертации статистики опросов в вероятности побед. Вот интересная предвыборная статья в NYT с аггрегацией последних предсказаний основных публичных фирм. Они все давали смехотворно высокую вероятность победы Клинтон:

trump1.png

Вероятность победы на выборах складывается из вероятности победы в каждом штате, поэтому все эти предсказатели аггрегировали свои предсказания по штатам. Ошибка опроса для каждого штата по сравнению с выборами складывается из нескольких компонент:
1) статистическая ошибка выборки (шум),
2) изменение предпочтений со временем (нестационарность)
3) сдвиг выборки по сравнению с голосующим населением,
4) корреляция отказа от ответа/вранья в ответе с предпочтениями
5) корреляция изменений в явке по сравнению с опросом с предпочтениями


Имея данные опросов, предсказатели могут попробовать прикинуть вероятного победителя и неопределенность прогноза и получить из них вероятность выигрыша каждого кандидата. На этих выборах все сделали ошибку дискриминации (т.е. победителя), но это по одному наблюдению еще мало о чем говорит. Куда более серьезна ошибка калибрации, то есть, зашаливающая степень уверенности многих прогнозистов в своем прогнозе, у всех, кром 538.com куда более высокая, чем у (тоже ошибшихся с дискриминацией) рынков предсказаний.


1) Первая проблема решается большим количеством опросов, хотя это решение иногда вступает в противоречие с контролем второй проблемы. Все основные публичные предсказатели активно занимались мета-анализом многих опросов, по-разному их взвешивая, так что дело не в первой проблеме. Кроме того, ошибки этой природы были бы некоррелированы между разными опросами и разными штатами. Неопределенность, создаваемая этой проблемой, тривиально моделируется математически.

2) Судя по тому, что ранние exit polls промахнулись примерно на столько же, насколько последние опросы, вторая проблема невелика. Неопределенность, ей создаваемая, вобщем, моделируется математически, хотя это и можно делать по-разному разными предположениями про динамику временных рядов.

Почти все пресказатели для калибрации вероятностей ограничились этими двумя источниками ошибок.

3) Третья проблема довольно фундаментальная - опросы обзвоном по фиксированным линиям давно дают сильно смещенную выборку, добавление мобильных номеров немного помогает, но создает новые смещения. Сделать хорошую репрезентативную выборку, если хотеть, можно, но это будет небыстро и недешево. Возможно, обедневшие медиа не могли себе позволить качественные выборки во всех ключевых штатах. Кроме публичных опросов, были еще закрытые опросы, проводившиеся по заказу обеих кампаний и нескольких крупных институциональных инвесторов. Какие были результаты у этих опросов, мне неизвестно. Однако, мне кажется, что, как минимум, кампания Клинтон имела куда более адекватную картинку, чем СМИ. Они интенсифицировали в последние дни кампанию в штатах, которые многие предсказатели считали их с вероятностями за 95% и отменили Нью Йорский победный салют еще в понедельник. Крупные же инвесторы, по моим ощущениям, преимущественной информации не имели. Самые разные рынки полихорадило (и еще будет лихорадить) на победе Трампа, но для большинства активов влияние Трампа неочевидно. Я думаю, что если бы у крупного макро фонда была бы непубличная информация из частных опросов про исход выборов, то самым логичным было бы за день другой до выборов шортить мексиканский песо. Этого в крупных масштабах не происходило. Дополнительная сложность с частными опросами - это то, что для устранения первой проблемы выборок нужно иметь выборку, бьющую совокупную выборку многих публичных опросов, а не выборку каждого из них.
left

Стандартный статистический прием для уменьшения первой и третьей проблем - стратифицированная выборка, когда опрашивается меньше избирателей, про которых и так все очевидно, и больше избирателей, чей выбор неясен, а потом результаты перевзвешиваются в соответствии с долей каждой группы в населении (или в явке на выборы.) Разумеется, если забыть перевзвесить, то третья проблема стратификацией радикально усугубляется. В некоторых вполне уважаемых опросах, поразительным образом, перевзвешивание заведомо перекошенной выборки не производилось. Например, типичный опрос ABC news указывает в примечаниях "Results have a margin of sampling error of 3.5 points, including the design effect. Partisan divisions are 36-27-31 percent, Democrats-Republicans-independent". Немного света на стратификацию проливает утекший е-мейл Подесты, главы кампании Клинтон. Из других его е-мейлов видно, что он имел огромное влияние на освещение выборов почти всеми основными СМИ. Первое ощущение - что обсуждается стратификация закрытых опросов по заказу кампании. Однако, непонятно, почему Podesta требует "over-sample Hispanics", когда, казалось бы, с Трампом борьба идет не столько за них, сколько за белый рабочий класс. Завершается все это фразой "I want to get this all compiled into one set of recommendations so we can maximize what we get out of our media polling." Вот это слово "media" я не могу объяснить никак, кроме как тем, что эти рекомендации не для закрытых опросов, а для публичных и Подеста хочет манипулировать ими, создавая видимость преимущества. Так что, возможно, публичные опросы были настолько плохи из-за намеренно введенной ошибки третьего типа. Это же объясняет, почему сама кампания Клинтон не была введена в заблуждение публичными опросами. Неопределенность этой ошибки математически моделировать трудно (и невозможно если она введена намеренно.)

4) Четвертая проблема была еще большей проблемой в опросах в Британии про Брекзит, поскольку люди стеснялись признаваться в контр-системном выборе. Если масштаб искажения был сравним с британскими 3%-4%, то этого одного достаточно для объяснения ошибки опросов на общенациональном уровне и во многих штатах. Эта ошибка, а также создаваемая ей неопределенность, очень важны при переходе от результатов опросов к вероятности победы кандидата. Поразительным образом, почти все предсказатели не просто предположили, что эта ошибка имеет нулевое среднее, но еще и предположили нулевую вариацию! Это и сделало их предсказания такими уверенными. Из пресказаний по штатам понятно, что ошибка предсказателей была не только в дискриминации (то есть, различении, кто победит в каком штате), но в калибрации, когда, например, взятые Трампом Мичиган и Пеннсильвания предсказывались демократическими с вероятностью 99% и Huffington Post и DailyKos, и они же давали около 90% вероятности для Клинтон выиграть в проигранных ей Флориде и Айове. Эта ошибка калибрации мне кажется гораздо более позорной, чем ошибка в 2%-4% в дискриминации. Она настолько очевидна, что трудно поверить в то, что она была сделана ненамеренно. По интересному совпадению, про главу Huffington Post в тех же е-мейлах Подесты написано "She is enthusiastic abt the project but asks if she's more useful to us not being on the Board and, instead, using Huffpo to echo our message without any perceived conflicts. She has a point."

5) эта ошибка, как и вторая, не влияет на exit polls, так что вряд ли велика. Конечно, то, что расследование ФБР то закапывали, то откапывали так поздно в кампании, могли повлиять и на эту ошибку и на вторую.

***
Какой же мой вывод из этой простыни текста? Вывод про прошедшие выборы был интересен три дня назад. Сейчас куда важнее наблюдения про СМИ и экспертов.

Date: 2016-11-10 01:44 pm (UTC)
From: [identity profile] birdwatcher.livejournal.com
Да, теперь, задним числом, видно, какая это поразительная история с отменой салюта.

Date: 2016-11-11 04:23 am (UTC)
From: [identity profile] krl-pgh.livejournal.com
Трижды перечитала, не поняла, где здесь история с отменой салюта.

Date: 2016-11-11 04:39 am (UTC)
From: [identity profile] birdwatcher.livejournal.com
Начиная со слов "кампания Клинтон имела куда более адекватную картинку, чем СМИ".

Date: 2016-11-12 01:16 pm (UTC)
From: [identity profile] krl-pgh.livejournal.com
Спасибо, действительно.

Date: 2016-11-10 02:43 pm (UTC)
From: [identity profile] vovap.livejournal.com
Согласен, похоже что штаб демократов имел более точные данные. Ко мне в Пенсильвании в проследние 10 дней 3 раза стучали агитаторы демократов - реально беспрецедентная активность.

Date: 2016-11-10 02:48 pm (UTC)
From: [identity profile] nameless--one.livejournal.com
Спасибо - очень интересно.

Date: 2016-11-10 03:23 pm (UTC)
From: [identity profile] maxwolf.livejournal.com
Получается, что "секретные опросы ФСБ" существуют, а грамотные и честные статистики - нет?! При всём богатстве выбора не нашлось желающих стяжать славу старика Гэллапа...

Date: 2016-11-11 12:19 pm (UTC)
From: [identity profile] maxwolf.livejournal.com
Еще пара "штрихов к портрету": про "секретные опросы" (http://binhex.livejournal.com/333647.html) и про стяжателей славы (http://www.latimes.com/politics/la-na-pol-trump-disaffected-voters-20160831-snap-htmlstory.html) и их борьбу со смещёнными выборками...

Date: 2016-11-10 05:36 pm (UTC)
From: [identity profile] sokol-888.livejournal.com
Нет, почему - и интересно и поучительно, спасибо.

Вот что меня 'човърка' , ето то, что в принципе динамика в целом правилная и верная,
достаточно посмотреть на первий график в стате НЙТ - так и есть, если вибори били
23-26 октября, то Клинтон била би первой Президенткой ). Но там, начиная с 26-ого сентебря
разрив слишком великий * и 85-15 на вечер 7-ого ноября полностю нереалний.

* чисто спекулативно, если б он бил насколко большой , то и в ленту холивудскую Трампа они не нуждались би,
так что и 70-30 на начало октября тоже достаточно сомнительно.

Date: 2016-11-10 06:22 pm (UTC)
From: [identity profile] sokol-888.livejournal.com
PS. Мне кажется, посмотрев, что у Cook получилось лучше других, практически хорошо...

Date: 2016-11-10 09:15 pm (UTC)
From: [identity profile] vasja-iz-aa.livejournal.com
>Так что, возможно, публичные опросы были настолько плохи из-за намеренно введенной ошибки третьего типа. Это же объясняет, почему сама кампания Клинтон не была введена в заблуждение публичными опросами.

вот это вряд ли. публичное признание угрожающего положения с огромной вероятностью спасло бы Клинтон. думаю что достаточно много людей не верили, что Трамп имеет шансы. от этого было сразу две беды: некоторые голосовали за него как бы показывая фигу в сторону Вашингтона, другие не видели причин беспокоится и идти голосовать за неприятную им Клинтон

Date: 2016-11-10 11:27 pm (UTC)
From: [identity profile] yba.livejournal.com
Я не понял, а если бы последние узнали что неприятная им Клинтон не проходит они бы за нее проголосовали что-ли? Где логика?

Date: 2016-11-10 11:43 pm (UTC)
From: [identity profile] vasja-iz-aa.livejournal.com
логика в том, что меняются вопросы, которые человек сам себе задает: в одном случае хочет ли он выразить солидарность с наверняка президентом Клинтоном, а в другом хочет ли он Трампа в офисе

Date: 2016-11-11 04:22 am (UTC)
From: [identity profile] krl-pgh.livejournal.com
Я немножко переформулирую: "Если бы последние узнали, что их решение не проголосовать за неприятную им Клинтон приведет к избранию Трампа / победе республиканцев", они бы сходили и проголосовали.

Date: 2016-11-10 09:36 pm (UTC)
From: [identity profile] vasja-iz-aa.livejournal.com
ABC вроде как взвешивают свои опросы:

Data are adjusted to account for the greater probability of respondents who have both a cell and landline phone, compared with those who are cell-only or landline-only. The data then are weighted using demographic information from the U.S. Census and NHIS to adjust for variance from population values. Weights may include average partisan self-identification in current and recent ABC/Post data, based on a standardized rule.

Date: 2016-11-11 09:19 am (UTC)
From: [identity profile] mi-b.livejournal.com
полагается перевзвешивать, это да. Но в отчете по ссылке про это нет ни слова. Веса должны быть нетривиально большие с такими перекосами и странно их не давать, если даются невзвешенные данные по партийной аффилиации.

Date: 2016-11-11 10:27 am (UTC)
From: [identity profile] vasja-iz-aa.livejournal.com
в отчете по сссылке есть ссылка на примененные методы, а из оттуда есть ссылка на подробности применявшихся методов, уже из откуда я выщецитированный абзац и скопипейстил. Вы ведь не подозреваете, что я его сам руками писал. я ленив

Date: 2016-11-11 02:37 pm (UTC)
From: [identity profile] mi-b.livejournal.com
наверное, вы правы, все таки, не перевзвешивать было бы совсем странно

Date: 2016-11-11 01:55 am (UTC)
From: [identity profile] dyak.livejournal.com
А в чем проблема с 36-27-31? Примерно так виглядит примерное распределение партийной принадлежности среди голосующей публики.

Date: 2016-11-11 02:41 am (UTC)
From: [identity profile] vasja-iz-aa.livejournal.com
ого! вот что Трамп животворящий делает

Date: 2016-11-11 09:13 am (UTC)
From: [identity profile] mi-b.livejournal.com
на 33% больше демократов? разве?

http://www.gallup.com/poll/15370/party-affiliation.aspx

Date: 2016-11-11 11:14 am (UTC)
From: [identity profile] dyak.livejournal.com
Так ABC меряло сттуацию среди likely voters а не просто среди публики (как Гэллап); а желание идти голосовать среди республиканцев было в тот момент резко понижено (ABC про это говорит)

Date: 2016-11-15 01:33 pm (UTC)
From: [identity profile] qvb.livejournal.com
Спасибо, интересный пост.

Насчет отмены салюта и изменения поведения кампании Хиллари в последние дни перед выборами - действительно намекает на то что у них были гораздо более реалистичные данные. Собственно - часто очень интересно (и полезно) ретроспективно оценить действия сторон уже в свете фактов которые стали известны потом. Это позволяет выявить некоторые скрытые пружины и осведомленность действующих лиц просто по факту их действий - а действия подделать очень трудно.

С этой же точки зрения интересно посмотреть на массовую и абсолютно истеричную кампанию СМИ последние месяцы перед выборами. Во-первых это более чем явно выявило с кем 90% СМИ аффилированны, но кроме того проигрыш Хиллари с разгромным счетом заставляет задуматься что возможно кампания Хиллари уже давно знала что шансы у них аховые, и просто надеялись переломить ситуацию массовой пропагандой в стиле КисельТВ. Иначе трудно обьяснить зачем/почему они так бездумно сожгли репутацию очень многих СМИ - им ведь теперь годами отмываться придется.

Date: 2016-11-15 06:20 pm (UTC)
From: [identity profile] tdm11.livejournal.com
У "538" при сопоставлении источников было видно разрыв между "традиционными" опросами и несколькими источниками, отдававшими победу Трампу. Такая бимодальность, что ли. Правда, учётный вес у "протрамповских" источников был поменьше. Разрыв составлял те самые 4 % (на глазок). Возможно, кто-то уже научился делать поправку на отказников и прочих молчальников.

April 2017

S M T W T F S
      1
2345 678
9101112131415
16171819202122
23242526272829
30      

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 27th, 2017 06:54 pm
Powered by Dreamwidth Studios