Когда экономисту не удается предсказать очередной кризис, он часто списывает все на землетрясение или революцию, заявляя, что он не специалист по геодезии, метеорологии и политологии, вместо того чтобы интегрировать эти области в свои исследования и признать, что его область не может существовать в отрыве от прочих.
Подобно тому как атлет гордится своей силой и ловкостью и находит удовольствие в упражнениях, заставляющих его мышцы работать, так аналитик радуется любой возможности что-то прояснить или распутать.
Проблема в том, что мы сосредоточиваемся на тех редких случаях, когда наша методика срабатывает, и почти никогда — на многочисленных примерах ее несостоятельности.
Булю показал мне удивительную исследовательскую работу, только что законченную его практикантом и уже принятую к публикации; в ней подробно рассматривались две тысячи предсказаний, сделанных аналитиками ценных бумаг. В работе наглядно показывалось, что эти брокер-аналитики не предсказывали ничего: наивный прогноз человека, просто переносящего цифры из истекшего периода в следующий, был бы немногим хуже. А ведь аналитики владеют информацией о заказах, грядущих контрактах и планируемых расходах и благодаря этим ценным знаниям вроде должны прогнозировать значительно лучше, чем наш наивный предсказатель, не располагающий никакой информацией, кроме прошлых данных. Хуже того, разрыв между предсказанными и реальными величинами был гораздо существенней, чем между разными прогнозами, а значит, аналитиками руководил стадный инстинкт. Иначе прогнозы отстояли бы друг от друга настолько же, насколько они отстоят от реальности.
Самый интересный анализ того, как академические методы работают в реальной жизни, осуществил Спирос Макридакис. Он устраивал соревнования прогнозистов, использующих так называемую эконометрику — «научный метод», соединяющий экономическую теорию со статистическими измерениями. Попросту говоря, Макридакис заставлял людей предсказывать в реальной жизни, а потом оценивал точность их прогнозов. Вместе с Мишель Ибон он провел несколько «М-состязаний»; третье, и последнее из них, — М-3 — завершилось в 1999 году. Макридакис и Ибон пришли к печальному выводу: «Новейшими и сложнейшими статистическими методами не обязательно достигаются более точные результаты, чем самыми простыми».
Тетлок изучал проблему «экспертов» в политике и экономике. Он просил специалистов из разных областей оценить вероятность того, что в течение заданного временного периода (около пяти лет) произойдут определенные политические, экономические и военные события. На выходе он получил около двадцати семи тысяч предсказаний почти от трех сотен специалистов. Экономисты составляли около четверти выборки. Исследование показало, что эксперты далеко вышли за пределы своих допусков на ошибку. Обнаружилась и экспертная проблема: между результатами докторов наук и студентов не было разницы. Профессора, имеющие большой список публикаций, справлялись не лучше журналистов. Единственной закономерностью, которую обнаружил Тетлок, была обратная зависимость прогноза от репутации: обладатели громкого имени предсказывали хуже, чем те, кто им не обзавелся.
Но Тетлок ставил перед собой задачу не столько показать, чего реально стоят эксперты (хотя у него это замечательно получилось), сколько выяснить, почему до них никак не доходит, что они плохо справляются со своей работой, иными словами, как им удается «втирать себе очки».
<...>
Вы говорите, что играли в другую игру. Допустим, вам не удалось предсказать неожиданный крах Советского Союза (этого не предвидел ни один социолог). Легко заявить, что вы прекрасно понимали суть политических процессов, происходивших в Советском Союзе, но эти русские, будучи чрезмерно русскими, искусно скрыли от вас существенные экономические составляющие. Если бы вы обладали этими экономическими данными, вы бы уж конечно смогли предсказать падение советского режима. Винить надо не вашу квалификацию. Так же можно действовать, если вы предсказали решительную победу Эла Гора над Джорджем У. Бушем. Вы не знали, что экономика в таком отчаянном положении; собственно, этот факт, кажется, был тайной для всех. Вы же не экономист, а борьба-то, оказывается, шла на экономическом ринге.
Вы валите все на непредвиденные обстоятельства. Случилось что-то необычайное, лежащее вне поля вашей науки. Поскольку это нельзя было предсказать, вы не виноваты. Это был Черный лебедь, а вы не обязаны предсказывать Черных лебедей.
Порочность всех государственных и правительственных планов очевидна сразу: в них не закладывается возможный предел погрешности (допуск на ошибку).
Миллионы людей видели, как падают яблоки, но только Ньютон спросил почему.
Пристрастность не исключает правоты. Гнев — плохой советчик, но какой проницательный аналитик!