Не так давно закончили одну сложную разработку. Одной известной компании потребовалось разработать систему, которая смогла бы предсказывать разворотные точки на рынке. Т.е. спрос на рынке обычно имеет либо восходящий, либо нисходящий тренд. Когда рынок растет очень интересно своевременно предсказать, когда он перестанет расти и начнет падать. И наоборот, если рынок падает, то, когда начнется фаза роста. Если удастся предсказывать приближение этих кризисных явлений хотя бы за полгода, то это очень поможет своевременно корректировать инвестиционные программы, производственные и иные планы, а этом десятки миллионов евро…

Решение мы разработали, но на разработку ушло времени в 3 раза больше, чем мы планировали! А для нас время специалистов – это основной источник затрат. И вот прокручивая все заново, я пытаюсь разобраться в чем была моя ошибка? Чему я должен научиться у этого проекта? Двигались вроде верно: собрали экспертизу относительно потенциальных индикаторов, которые могут говорить о приближении разворота рынка (более 100 показателей). Стали с помощью различных статистических методов выявлять эффективные опережающие индикаторы. И вот на этой стадии долго бегали как пони по кругу. Что же мешало найти решение? Подвела нас инерция научного статистического мышления. В статистике, в моделировании сложных явлений, принято считать, что при возможности использования количественных показателей и бинарных всегда предпочтение отдается количественным, поскольку они более информативны и методы, основанные на количественных данных, имеют обычно более высокую мощность. Да и с точки зрения здравого смысла, как лучше измерить, например, ВВП: в процентах или просто в терминах растет/падает? На конечно в процентах, поскольку падать на 1% и на 5% это не одно и тоже. 

Однако практика привела нас к абсолютно другим выводам. Поскольку поведение рынков часто основывается на эмоциональном восприятии событий, то изменение знака темпов роста/прироста индикаторов оказалось гораздо более информативным, чем точное численное значение показателей. Бинарная шкала оказалась информативнее, чем количественная. Более того, разработать решение с приемлемой точностью на основе количественных данных вообще не удалось.

Вот так, ломая стереотипы, пробиваешься к новым решениям. Но как долго… Видимо по этой причине удачные стартапы чаще всего даже в наукоемких сферах удаются молодым, чей ум свободно ломает лекала наработанных десятилетиями подходов. Поэтому R&D подразделения компаний в значительной степени должны состоять из молодых людей, когда хорошее фундаментальное образование и бодрость -  это все, чем можно похвастаться.