Рассматривается задача балансировки нагрузки в распределенных системах хранения данных с гетерогенными узлами. Применяемые подходы на основе консистентного хеширования либо не учитывают изменение нагрузки во времени, либо не ограничивают стоимость перестройки распределения, что ведет к избыточным миграциям данных. Цель исследования – разработать метод адаптивного управления распределением ключей, обеспечивающий снижение дисбаланса нагрузки при соблюдении ограничений на стоимость перестройки. Предложен метод, включающий коэффициент интенсивности управления, пошаговый бюджет переназначений токенов и гистерезис порогов чувствительности для подавления ложных срабатываний при шумной телеметрии. Разработана имитационная модель кластера с параметризованной гетерогенностью узлов трех классов, нестационарной пуассоновской нагрузкой, распределением ключей Ципфа и зашумленной телеметрией. Проведен вычислительный эксперимент из 7 серий по 30 повторений каждая с проверкой инвариантов корректности на каждом шаге. По результатам вычислительного эксперимента зафиксировано статистически значимое снижение дисбаланса нагрузки относительно алгоритма равномерного распределения в стационарных и нестационарных сценариях. В стационарных условиях качество балансировки сопоставимо с алгоритмом статического взвешивания, требующим знания емкостей узлов заранее. При динамическом изменении состава кластера снижение дисбаланса статистически значимо относительно обоих статических алгоритмов. Стоимость перестройки ниже, чем у алгоритма динамического взвешивания без бюджетного ограничения. Установлены условия, при которых применение метода нецелесообразно: совокупное влияние значительного шума, задержки и пропусков телеметрии приводит к избыточной миграционной активности без соответствующего снижения дисбаланса.
This paper considers the problem of load balancing in distributed data storage systems with heterogeneous nodes. Existing consistent hashing approaches either do not account for load dynamics over time or do not constrain redistribution costs, leading to excessive data migrations. The aim of this study is to develop an adaptive key distribution method that reduces load imbalance subject to constraints on redistribution cost. The proposed method employs a control intensity coefficient, a per-step token reassignment budget, and hysteresis-based sensitivity thresholds to suppress spurious activations under noisy telemetry. A simulation model was developed incorporating heterogeneous nodes, non-stationary workload, and telemetry noise. A computational experiment across seven series showed a statistically significant reduction in load imbalance in both stationary and non-stationary scenarios. Under stationary conditions, balancing quality is comparable to a static weighted algorithm that requires prior knowledge of node capacities. Under dynamic cluster membership changes, the reduction in imbalance is statistically significant relative to both static algorithms. Redistribution cost is lower than that of the dynamic reweighting algorithm without budget constraints. Conditions under which application of the method is inadvisable were identified: concurrent high noise, telemetry lag, and measurement gaps lead to excessive migration activity without a corresponding reduction in imbalance.
1. Karger D., Lehman E., Leighton T., Panigrahy R., Levine M., Lewin D. Consistent hashing and random trees: distributed caching protocols for relieving hot spots on the World Wide Web // Proceedings of the 29th Annual ACM Symposium on Theory of Computing. 1997. P. 654–663. DOI: 10.1145/258533.258660.
2. DeCandia G., Hastorun D., Jampani M., Kakulapati G., Lakshman A., Pilchin A., Sivasubramanian S., Vosshall P., Vogels W. Dynamo: Amazon’s highly available key-value store // ACM SIGOPS Operating Systems Review. 2007. Vol. 41. Is. 6. P. 205–220. DOI: 10.1145/1323293.1294281.
3. Lakshman A., Malik P. Cassandra: a decentralized structured storage system // ACM SIGOPS Operating Systems Review. 2010. Vol. 44. Is. 2. P. 35–40. DOI: 10.1145/1773912.1773922.
4. Stoica I., Morris R., Liben-Nowell D., Karger D. R., Kaashoek M. F., Dabek F., Balakrishnan H. Chord: a scalable peer-to-peer lookup protocol for internet applications // IEEE/ACM Transactions on Networking. 2003. Vol. 11. Is. 1. P. 17–32. DOI: 10.1109/TNET.2002.808407.
5. Eisenbud D. E., Yi C., Contavalli C., Smith C., Kononov R., Mann-Hielscher E., Cilingiroglu A., Cheyney B., Shang W., Hosein J. D. Maglev: A Fast and Reliable Software Network Load Balancer // Proceedings of the 13th USENIX Symposium on Networked Systems Design and Implementation (NSDI 2016). 2016. P. 523–535. URL: https://www.usenix.org/conference/nsdi16/technical-sessions/presentation/eisenbud (дата обращения: 24.04.2026).
6. Mendelson G., Vargaftik S., Barabash K., Lorenz D. H., Keslassy I., Orda A. AnchorHash: A Scalable Consistent Hash // IEEE/ACM Transactions on Networking. 2021. Vol. 29. Is. 2. P. 517–528. DOI: 10.1109/TNET.2020.3039547.
7. Зернов А. С., Ожиганов А. А. Горизонтальное масштабирование базы данных с использованием консистентного хеширования // Известия высших учебных заведений. Приборостроение. 2017. Т. 60. № 3. С. 234–238. URL: https://openbooks.itmo.ru/ru/article/16608/gorizontalnoe_masshtabirovanie_bazy_dannyh_s_ispolzovaniem_konsistentnogo_heshirovaniya.htm (дата обращения: 24.04.2026). DOI: 10.17586/0021-3454-2017-60-3-234-238.
8. Алексеев И. А., Егунов В. А., Панюлайтис С. В., Чекушкин А. А. Методы и средства балансировки нагрузки в неоднородных вычислительных системах // Инженерный вестник Дона. 2020. № 11. С. 160–168. URL: https://www.ivdon.ru/ru/magazine/archive/n11y2020/6667 (дата обращения: 24.04.2026).
9. Wang C., Chen Y., Wang J., Wang B. A Dynamic Weights Consistent Hashing Load Balancing Method Based on Heuristic Optimization // 2023 3rd International Conference on Electronic Information Engineering and Computer Science (EIECS). 2023. P. 492–496. DOI: 10.1109/EIECS59936.2023.10435520.
10. Куровский С. В., Мишин Д. А., Шульман В. Д. Алгоритм балансировки нагрузки в гетерогенной среде вычислительной системы // Международный научно-исследовательский журнал. 2025. № 5 (155). URL: https://research-journal.org/archive/5-155-2025-may/10.60797/IRJ.2025.155.67 (дата обращения: 24.04.2026). DOI: 10.60797/IRJ.2025.155.67. EDN: HKQFAE.
11. Mirrokni V., Thorup M., Zadimoghaddam M. Consistent hashing with bounded loads // Proceedings of the 29th Annual ACM-SIAM Symposium on Discrete Algorithms. 2018. P. 587–604. URL: https://research.google/pubs/consistent-hashing-with-bounded-loads/ (дата обращения: 24.04.2026). DOI: 10.1137/1.9781611975031.39.
12. Kleppmann M. Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems. Sebastopol: O’Reilly Media, 2017. 616 p. [Электронный ресурс]. URL: https://www.oreilly.com/library/view/designing-data-intensive-applications/9781491903063/ (дата обращения: 24.04.2026). ISBN 978-1-4493-7332-0.
13. Боронников А. С., Цынгалев П. С., Ильин В. Г., Деменкова Т. А. Оценка эффективности балансировщика соединений PgBouncer для оптимизации вычислительных ресурсов реляционных баз данных // Russian Technological Journal. 2024. Т. 12. № 3. С. 7–24. URL: https://www.rtj-mirea.ru/jour/article/view/915 (дата обращения: 24.04.2026). DOI: 10.32362/2500-316X-2024-12-3-7-24. EDN: BNQNDI.
14. Levi Y., Keslassy I. Beyond the Ring: Quantized Heterogeneous Consistent Hashing // 2023 IEEE 31st International Conference on Network Protocols (ICNP). 2023. P. 1–12. URL: https://icnp23.cs.ucr.edu/assets/papers/icnp23-final77.pdf (дата обращения: 24.04.2026). DOI: 10.1109/ICNP59255.2023.10355577.
15. Coluzzi M., Brocco A., Antonucci A., Leidi T. MementoHash: A Stateful, Minimal Memory, Best Performing Consistent Hash Algorithm // IEEE/ACM Transactions on Networking. 2024. Vol. 32. Is. 4. P. 3528–3543. DOI: 10.1109/TNET.2024.3393476.
16. Dong C., Wang F., Feng D. DxHash: A Memory-saving Consistent Hashing Algorithm // ACM Transactions on Internet Technology. 2024. Vol. 24. Is. 1. Art. 3. P. 1–22. DOI: 10.1145/3631708.
17. Lamping J., Veach E. A Fast, Minimal Memory, Consistent Hash Algorithm // arXiv preprint arXiv:1406.2294. 2014. URL: https://arxiv.org/abs/1406.2294 (дата обращения: 10.05.2026). DOI: 10.48550/arXiv.1406.2294.
18. Coluzzi M., Brocco A., Leidi T. Consistently Faster: A Survey and Fair Comparison of Consistent Hashing Algorithms // Proceedings of the 31st Symposium on Advanced Database Systems (SEBD 2023). CEUR Workshop Proceedings. 2023. Vol. 3478. P. 51–64. URL: https://ceur-ws.org/Vol-3478/paper03.pdf (дата обращения: 10.05.2026).
19. Zhang M. Dynamic Load Balance Strategy Based on Hash Slots in Distributed Storage Environment // 2022 4th International Conference on Frontiers Technology of Information and Computer (ICFTIC). IEEE, 2022. P. 485–488. URL: https://ieeexplore.ieee.org/document/10075322 (дата обращения: 10.05.2026). DOI: 10.1109/ICFTIC57696.2022.10075322.
20. Waqas M., Lin S.-J., Liu B., Fazi A. On the Modification of Ring Consistent Hash Uniformity: A Case Study // 2024 IEEE International Conference on Systems, Man, and Cybernetics (SMC). IEEE, 2024. P. 4778–4783. DOI: 10.1109/SMC54092.2024.10831430.
21. Ji K., Quan G., Tan J. Asymptotic Miss Ratio of LRU Caching with Consistent Hashing // Proceedings of the IEEE INFOCOM 2018 – IEEE Conference on Computer Communications. 2018. P. 450–458. DOI: 10.1109/INFOCOM.2018.8485860.
22. Li J., Nelson J., Michael E., Jin X., Ports D. R. K. Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories // Proceedings of the 14th USENIX Symposium on Operating Systems Design and Implementation (OSDI ’20). USENIX Association, 2020. P. 387–406. URL: https://www.usenix.org/conference/osdi20/presentation/li-jialin (дата обращения: 10.05.2026). ISBN 978-1-939133-19-9.
23. Батанов А. О., Литвинова А. С. Передовой подход к распределенным системам: динамические алгоритмы и эффективная обработка больших данных // Современные наукоемкие технологии. 2025. № 3. С. 8–13. URL: https://top-technologies.ru/ru/article/view?id=40317 (дата обращения: 24.04.2026). DOI: 10.17513/snt.40317. EDN: HRSYLI.