Эффективность генетических алгоритмов при решении задач глобальной оптимизации в значительной степени определяется способом управления ходом поиска. Использование фиксированных параметров операторов часто приводит к снижению разнообразия популяции и ухудшению качества получаемых решений. Целью исследования является разработка метода адаптивного управления эволюционным поиском, в котором выбор параметров генетического алгоритма и интенсивность пополнения популяции новыми особями определяются автоматически на основе анализа текущего состояния поиска. Предлагаемый подход учитывает изменение лучшего значения целевой функции, характеристики распределения приспособленности в популяции, уровень ее разнообразия и признаки стагнации. На основе этих данных формируется управляющее воздействие, задающее вероятность мутации, вероятность кроссовера и долю особей, подлежащих замене новыми решениями. В работе использован двухэтапный вычислительный эксперимент, включающий предварительное обучение агента глубокого обучения с подкреплением и последующую независимую оценку эффективности обученной стратегии. Проверка метода выполнена на наборе тестовых функций многомерной оптимизации, включающем сферическую функцию, функцию Розенброка, функцию Растригина и функцию Экли. Результаты исследования показали, что предложенный метод обеспечивает улучшение средних итоговых результатов по сравнению с классическим генетическим алгоритмом на большинстве рассмотренных функций. Наиболее выраженный эффект наблюдается на функции Розенброка, где дополнительное управление пополнением популяции позволяет поддерживать более устойчивую динамику поиска. Полученные результаты подтверждают перспективность использования глубокого обучения с подкреплением для адаптивного управления эволюционным поиском и поддержания разнообразия популяции.
The efficiency of genetic algorithms in solving global optimization problems largely depends on the way the search process is controlled. The use of fixed operator parameters often leads to a loss of population diversity and a decrease in the quality of the obtained solutions. The aim of this study is to develop a method for adaptive control of evolutionary search in which the parameters of the genetic algorithm and the intensity of population replenishment with new candidate solutions are determined automatically on the basis of the current search state. The proposed approach takes into account changes in the best objective function value, the characteristics of fitness distribution in the population, the level of population diversity, and signs of stagnation. On the basis of these data, a control action is formed that determines the mutation probability, the crossover probability, and the proportion of the population to be replaced with new solutions. A two-stage computational experiment was used in the study, including preliminary training of a deep reinforcement learning agent and subsequent independent evaluation of the learned strategy. The method was evaluated on a set of multidimensional optimization test functions, including the Sphere function, the Rosenbrock function, the Rastrigin function, and the Ackley function. The results showed that the proposed method improves the average final results in comparison with the classical genetic algorithm for most of the considered functions. The most pronounced effect was observed for the Rosenbrock function, where additional control of population replenishment provided a more stable search dynamic. The obtained results confirm the prospects of using deep reinforcement learning for adaptive control of evolutionary search and for maintaining population diversity.
1. Holland J. H. Adaptation in Natural and Artificial Systems. Ann Arbor: University of Michigan Press, 1975. 183 p. ISBN 0-472-08460-7.
2. Goldberg D. E. Genetic Algorithms in Search, Optimization, and Machine Learning. Reading, MA: Addison-Wesley, 1989. 412 p. ISBN: 0-201-15767-5.
3. Eiben A. E., Hinterding R., Michalewicz Z. Parameter control in evolutionary algorithms // IEEE Transactions on Evolutionary Computation. 1999. Vol. 3. № 2. P. 124–141. DOI: 10.1109/4235.771166.
4. Karafotias G., Hoogendoorn M., Eiben A. E. Parameter Control in Evolutionary Algorithms: Trends and Challenges // IEEE Transactions on Evolutionary Computation. 2015. Vol. 19. № 2. P. 167–187. DOI: 10.1109/TEVC.2014.2308294.
5. Sutton R. S., Barto A. G. Reinforcement Learning: An Introduction. 2nd ed. Cambridge, MA: The MIT Press, 2018. 552 p. ISBN: 978-0-262-03924-6.
6. van Hasselt H., Guez A., Silver D. Deep Reinforcement Learning with Double Q-Learning // Proceedings of the AAAI Conference on Artificial Intelligence. 2016. Vol. 30. № 1. P. 2094–2100. DOI: 10.1609/aaai.v30i1.10295.
7. Wang Z., Schaul T., Hessel M., van Hasselt H., Lanctot M., de Freitas N. Dueling Network Architectures for Deep Reinforcement Learning // Proceedings of the 33rd International Conference on Machine Learning. 2016. P. 1995–2003.
8. Jamil M., Yang X.-S. A Literature Survey of Benchmark Functions for Global Optimization Problems // International Journal of Mathematical Modelling and Numerical Optimisation. 2013. Vol. 4. № 2. P. 150–194. DOI: 10.1504/IJMMNO.2013.055204.
9. Масленников В. В., Демидова Л. А. Модификация квантово-инспирированного генетического алгоритма численной оптимизации с использованием кудита в условиях имитации квантовой декогеренции // Computational nanotechnology. 2024. Т. 11. № 2. С. 58–85. DOI: 10.33693/2313-223X-2024-11-2-58-85. EDN: MRWGYA.
10. Сопов Е. А., Аплеснин С. С. Самоконфигурируемый ансамбль генетических алгоритмов для решения задач мультимодальной оптимизации // Сибирский аэрокосмический журнал. 2015. Т. 16. № 4. С. 833–841. EDN: VDMGFR.
11. Курейчик В. В., Родзин С. И. Модель коллаборативного поведения роя саранчи для оптимизации многомерных мультиэкстремальных функций // Известия вузов. Северо-Кавказский регион. Технические науки. 2023. № 1. С. 10–16. DOI: 10.17213/1560-3644-2023-1-10-16.
12. Малашин И. П., Тынченко В. С. Применение методов кластерного анализа для динамической коррекции области поиска в генетическом алгоритме // Сибирский аэрокосмический журнал. 2025. Т. 26. № 3. С. 318–333. DOI: 10.31772/2712-8970-2025-26-3-318-333.
13. Привалов К. С. Гибридные методы оптимизации: адаптивное управление эволюционным процессом с использованием искусственных нейронных сетей // Инженерный вестник Дона. 2025. № 3. URL: http://www.ivdon.ru/ru/magazine/archive/n3y2025/9910 (дата обращения: 06.04.2026).
14. Привалов К. С. Обучение с подкреплением в адаптивном управлении параметрами генетического алгоритма // Инженерный вестник Дона. 2025. № 8. URL: http://www.ivdon.ru/ru/magazine/archive/n8y2025/10315 (дата обращения: 06.04.2026).
15. Roeva O., Zoteva D., Roeva G., Ignatova M., Lyubenova V. An Effective Hybrid Metaheuristic Approach Based on the Genetic Algorithm // Mathematics. 2024. Vol. 12. № 23. Art. 3815. DOI: 10.3390/math12233815.
16. de Lacerda M. G. P., de Araujo Pessoa L. F., Buarque de Lima Neto F., Ludermir T. B., Kuchen H. A systematic literature review on general parameter control for evolutionary and swarm-based algorithms // Swarm and Evolutionary Computation. 2021. Vol. 60. 100777. DOI: 10.1016/j.swevo.2020.100777.
17. Araujo J. N. R., Batista L. S. A diversity-driven migration strategy for distributed evolutionary algorithms // Swarm and Evolutionary Computation. 2023. Vol. 82. Is. 1. 101361. DOI: 10.1016/j.swevo.2023.101361.
18. Lin X., Meng Z. An adaptative differential evolution with enhanced diversity and restart mechanism // Expert Systems with Applications. 2024. Vol. 249. Is. 5. 123634. DOI: 10.1016/j.eswa.2024.123634.
19. Song Y., Wu Y., Guo Y., Yan R., Suganthan P. N., Zhang Y., Pedrycz W., Das S., Mallipeddi R., Solomon O., Feng Q. Reinforcement learning-assisted evolutionary algorithm: A survey and research opportunities // Swarm and Evolutionary Computation. 2024. Vol. 86. Is. 11. 101517. DOI: 10.1016/j.swevo.2024.101517.
20. Liang P., Chen Y., Sun Y., Huang Y., Li W. An information entropy-driven evolutionary algorithm based on reinforcement learning for many-objective optimization // Expert Systems with Applications. 2024. Vol. 238. Part E. 122164. DOI: 10.1016/j.eswa.2023.122164.