Безградієнтні методи оптимізації
Координатна стратегія Гауса і Зайделя [54] є розширення одновимірної стратегії оптимізації на багатовимірні завдання. Відповідно до цієї стратегії, починаючи з вихідного стану, оптимізується лише перший параметр, поки функція якості не досягне максимуму, в цей час решта всіх параметрів залишаються постійними. Відповідно до цього принципу оптимізуються й інші параметри. Якщо в результаті зміни параметрів якість не покращується, процес оптимізації припиняється. Одновимірна стратегія для пошуку оптимуму вибирається вільно. З використанням базової форми даного методу пошук може проводитися як і позитивному, і у негативному напрямах.
Метод повороту координат
Ця стратегія було розроблено з урахуванням координатної стратегії [75]. При використанні методу повороту координат напрямок пошуку не задається лініями, паралельними до однієї з координатних осей. Натомість для пошуку оптимуму вводиться нова система координат. Одна з осей цієї системи координат збігається з напрямком вектора, одержуваного шляхом з'єднання початкової та кінцевої точок попереднього кроку ітерацій. Осі координат для інших вимірів завжди ортогональні по відношенню до цієї осі та до інших напрямів координат. З допомогою цієї процедури зростає можливість знаходження правильного напрями пошуку, що зазвичай виявляється у зростанні швидкості сходження.
Пошук за шаблоном (прямий пошук)
Пошук за шаблоном Хука-Дживіса [62] є удосконаленою координатною стратегією. При використанні цього методу перший крок пошуку виконується аналогічно до того, як це робиться при використанні координатної стратегії. Припускаючи, що лінія, що з'єднує початкову та кінцеву точки,є найбільш перспективне напрям, у цьому напрямі методом екстраполяції виробляється одна ітерація (рух за шаблоном). Про успіх екстраполяції судять лише після оцінки якості додаткового кроку пошуку. Якщо хід виявляється невдалим, то крок скасовується; у разі успіху переміщення у цьому напрямі триває. Змінюючи величину та напрям кроку екстраполяції, можна реагувати на результати окремих кроків таким чином, щоб при поступовій зміні оптимального напрямку пошуку довжина кроку екстраполяції час від часу змінювалася, скорочуючи таким чином час пошуку.
Стратегія Девіса, Сванна та Кемпі (ДСК)
Стратегія Девіса, Сванна і Кемпі є комбінацією стратегії поворотних координат і стратегії лінійного пошуку [50]. З початкової точки у напрямі кожної з осей координат проводиться лінійний пошук оптимуму. Потім, починаючи з оптимальної кінцевої точки, обраної цим способом, виконується одновимірна оптимізація у напрямку лінії, що з'єднує початкову та кінцеву точки. Далі осі координатної системи перенаправляються таким чином, щоб сформувати нормалізовану прямокутну систему координат і виконується новий лінійний пошук у напрямку осей координат цієї системи. Після цього знову виконується одновимірна оптимізація у напрямку лінії, що з'єднує початкову та кінцеву точки.
Симплексні та комплексні методи
Ще одна стратегія пошуку оптимуму, відмінна від розглянутих вище, розроблена на основі симплексного методу Педлера та Міда [71]. Відповідно до цього методу w-вимірному просторі пошуку вказується як мінімум п + 1 початкова точка, що відповідає одному набору параметрів. Вибрані початкові точки знаходяться на однакових відстанях одна від одної. УУ випадку ця конфігурація відповідає правильному багатограннику, званому симплексом. Оптимізація відповідно до цієї стратегії починається з оцінки всіх вершин, кожна з яких описує набір параметрів (зазвичай ця оцінка проводиться за допомогою функції якості або оцінної функції). На наступному кроці знаходиться вершина, для якої значення оціночної функції є найгіршим серед усіх. Цей набір параметрів відкидається і замінюється новим, генерованим шляхом відображення точки виходу щодо центру точок, що залишилися. Якщо знову отримана вершина на наступній ітерації також дає найгіршу оцінку, відбувається відображення вершини, яка дає найгірший результат. Далі ця процедура повторюється. Якщо цього ітераційного процесу симплекс наближається до оптимуму, він повертається навколо вершини, дає найкращу оцінку. При цьому найкраще наближення може бути отримане за рахунок зменшення довжини ребра симплексу. На рис. 4.32 показано хід виконання цієї процедури у двомірному просторі пошуку. Замкнені криві цієї ілюстрації відповідають точкам, у яких значення оціночної функції однаково. При цьому початкові точки позначені як О1,02 та О3. Точка 1 виходить за рахунок відображення точки О1 щодо центру лінії, що з'єднує точки О2 та О3 і т.д.