оптимальный набор значений переменных

Почему не перебрать все значения первой переменной и найти оптимум для нее, потом, зафиксировав первую переменную на оптимуме, перебрать все значения второй переменной и, найдя ее оптимум, получить таким образом оптимумы для первых двух переменных, после чего искать оптимум для третьей переменной при фиксированных первых двух на их оптимумах и так далее, пока задача не будет решена?

Недостатком этого второго подхода является то, что часто таким способом невозможно найти оптимальный набор значений переменных. Отметьте, что, когда мы добираемся до третьей переменной, значения первых двух равны своим максимумам, как будто других переменных нет. Поэтому, при оптимизации по третьей переменной первые две, зафиксированные на своих оптимумах, мешают нахождению ее оптимума. То, на чем это может закончиться, представляет собой не оптимальный набор значений, а, скорее, оптимальное значение для первой переменной, оптимум для второй, когда первая зафиксирована на своем оптимуме, оптимум для третьей, когда первая зафиксирована на своем оптимуме, а вторая установлена на некоем субоптимуме, который оптимален при условии помех со стороны первой переменной, и так далее. Иногда удается провести такой перебор по всем переменным и в итоге получить-таки оптимальный набор значений переменных, но когда переменных больше трех, он становится все более и более длительным, если вообще осуществимым, учитывая влияние других переменных.

Кроме двух описанных грубых методов математической оптимизации существуют и более совершенные. Это — замечательная ветвь современной математики, и я настоятельно призываю вас познакомиться с ней, просто в надежде, что вы извлечете из этого какую-то долю того удовлетворения, которую получил я от ее изучения.

Экстремум, максимум это или минимум, может быть либо глобальным (действительно наибольшее или наименьшее значение), либо локальным (наибольшее или наименьшее значение в непосредственной окрестности). Наверняка знать глобальный экстремум почти невозможно, так как вы не представляете себе область значений независимых переменных. Но если область значений вам известна, то вы просто нашли локальный экстремум. Поэтому зачастую, когда люди говорят о глобальном экстремуме, они в действительности имеют в виду локальный экстремум на очень широкой области значений независимых переменных.

Для отыскания максимумов или минимумов в таких случаях существует масса методов. Любой из них, как правило, накладывает на переменные некие ограничения, которые должны удовлетворяться применительно к экстремуму. К примеру, в нашем случае эти ограничения заключаются в том, чтобы все независимые переменные (значения J) были бы большими или равными нулю. Нередко требуется выполнение ограничивающих функций (т. е. чтобы значения других функций от используемых переменных были бы больше/меньше или равны некоторым величинам). Линейное программирование с его симплекс-методом — эта весьма хорошо разработанная область такой оптимизации в условиях ограничений — применима лишь, когда и оптимизируемая, и ограничивающие функции являются линейными (многочленами первой степени).