Фирма быстро откажется от использования прогнозов, независимо от сложности используемых при их создании методов, если эти прогнозы не будут иметь необходимой точности. О точности прогноза принято судить по величине погрешности (ошибки) прогноза - разности между прогнозируемым и фактическим значением (реализацией) исследуемой переменной.
Для обеспечения точности и достоверности результатов прогнозирования необходима проверка адекватности или верификация прогнозной модели.
Проверка адекватности модели выполняется с использованием формальных статистических критериев. Однако такая проверка возможна при наличии надежных статистических параметров как оригинала (объекта прогнозирования), так и модели. Если по каким-то причинам такие оценки отсутствуют, то осуществляют сравнение отдельных свойств оригинала и модели. При этом первоначально должна проверяться истинность реализуемых функций, затем истинность структуры и, наконец, истинность достигаемых при этом значений параметров. Для этого помимо модели необходимо иметь функционирующий оригинал, то есть проводить сопровождающее моделирование.
Верификация модели - оценка ее функциональной полноты, точности и достоверности с использованием всей доступной информации в тех случаях, когда проверка адекватности по тем или иным причинам невозможна.
В прогнозировании чаще используют верификацию, так как в большинстве случаев реальный объект отсутствует или разрабатываются новые (еще не существующие) функции объекта прогнозирования.
Наиболее часто используемые методы верификации:
- прямая верификация. Разработка модели того же объекта с использованием иного метода прогнозирования;
- косвенная верификация. Сопоставление результатов, полученных с использованием данной модели, с данными, полученными из других источников;
- консеквентная верификация. Верификация результатов моделирования путем аналитического или логического выведения прогноза из ранее полученных прогнозов;
- верификация оппонентом. Верификация путем опровержения критических замечаний оппонента по прогнозу;
- верификация экспертом. Сравнение результатов прогноза с мнением эксперта;
- инверсная верификация. Проверка адекватности прогнозной модели и объекта в ретроспективном периоде;
- частичная целевая верификация. Построение условных подмоделей, эквивалентных полной модели, в типовых для проектируемой системы ситуациях.
Практикой доказано, случай совершенного прогноза достигается крайне редко, поэтому проблема верификации прогнозной модели является одной из важнейших. Степень совершенства прогнозов выражают через различные измерители точности прогнозирования. Точность точечного прогноза в момент f, определяется разностью между прогнозом Р, и фактическим значением Fh прогнозируемого показателя в этот момент времени. Отдельный точечный прогноз не определяет точность конкретной процедуры прогнозирования в целом, то есть потребуется некоторая выборка {(Pj, FJ)}, на основе которой рассчитывается значение некоторого измерителя точности прогнозирования.
В настоящее время нет достаточно полного исследования всевозможных критериев точности, что затрудняет оценивание возможностей различных моделей и опыта их применения в прикладных работах по прогнозированию конкретных процессов.
Для измерения точности прогнозирования можно использовать любой коэффициент парной корреляции между последовательностями прогнозных и фактических значений. Классический критерий точности прогнозирования - коэффициент корреляции Пирсона.
Г. Тейлом, одним из исследователей проблем экономического прогнозирования, предложен в качестве меры качества прогнозов коэффициент расхождения V (или коэффициент несоответствия), числителем которого является среднеквадратическая ошибка прогноза, а знаменатель равен квадратному корню из среднего квадрата реализации.
Экономическое прогнозирование слишком ответственное дело, для того чтобы можно было ограничиться одними формальными построениями и расчетами. Цель модели - не заменить суждения и опыт специалиста, а дать ему в руки инструмент, позволяющий более глубоко проникнуть в существо исследуемых явлений.