Рынок систем хранения меняют нагрузки искусственного интеллекта и машинного обучения: им нужны огромные объёмы данных, быстрый доступ и работа в реальном времени. Главные тренды — переход с жёстких дисков на флеш и NVMe, новые протоколы NVMe-oF и RDMA, гибридные облака, базы данных с открытым кодом и автоматизация управления на базе ИИ. Самые востребованные качества новых систем — производительность и снижение себестоимости, далее идут масштабируемость, безопасность и простота управления.
Производительность и себестоимость
Смена парка устройств хранения
Жёсткие диски долго были стандартом по скорости и надёжности, но интерфейсы HDD создавались давно и не рассчитаны на пропускную способность нового поколения приложений. Их вытесняют высокопроизводительные твердотельные накопители. Снижают стоимость хранения сразу несколько технологий:
- 3D NAND — многоуровневое хранение значительно удешевляет гигабайт по сравнению с ранними оценками; разрыв в цене с HDD сокращается.
- Рост числа слоёв — переход с 32 на 64, 96 и более слоёв в чипах флеш-памяти.
- Уплотнение записи — переход с TLC (три бита в ячейке) на QLC (четыре бита в ячейке).
Интерфейсы и протоколы
«Старые» шины SAS и SATA вытесняются не только в сегменте HDD — всё меньше становится и SSD с этими интерфейсами. Им на смену приходит PCIe с протоколом NVMe для доступа к твердотельным накопителям. Проблема скорости касается и сетевых RAID-массивов: Fibre Channel не всегда успевает за флеш, а контроллеры — за числом операций ввода-вывода. Ответ рынка — NVMe over Fabrics (NVMe-oF) с огромной пропускной способностью и очень низкой задержкой.
| Технология | Что даёт | Статус |
|---|---|---|
| NVMe (PCIe) | Прямой быстрый доступ к SSD | Новый стандарт |
| NVMe-oF | Высокая полоса, низкая задержка по сети | Рост применения |
| 25GbE Ethernet | Скоростная сеть хранения | На подходе |
| RDMA (RoCE / iWARP) | Прямой доступ к памяти по Ethernet/TCP | Развивается |
RDMA обеспечивает удалённый прямой доступ к памяти; его реализация поверх Ethernet называется RoCE, а iWARP даёт прямой доступ к флеш-памяти поверх TCP.
Облака
Облачное хранение считается надёжным и выгодным, поставщики обеспечивают целостность и постоянный доступ. Многие компании используют несколько облаков — причём не для балансировки нагрузки, а под конкретные приложения: для каждого приложения своё облако. Но при росте объёмов встают вопросы стоимости и пропускной способности под нагрузки реального времени. Решение — частные облачные хранилища и многослойная архитектура из публичных и частных облаков. Это рождает новые задачи: прозрачность перемещения данных и управление гибридными облаками.
Базы данных с открытым кодом
Заметен переход на базы данных с открытым исходным кодом — это снижает стоимость развёртывания и эксплуатации хранилищ.
Масштабируемость
Помимо гибридных облаков, для масштабирования применяют NVMe-oF: хранилище используется несколькими хостами одновременно, ресурсы расходуются эффективно, а мощности наращиваются гибко по мере необходимости.
Безопасность
Современная защита данных выходит за рамки резервного копирования. Вторичные наборы — реплики и моментальные снимки — используют не только для восстановления после сбоев, но и как инструмент аналитики и тестирования. Растёт роль автоматизации: от создания копий до оптимизации нагрузок. Многие производители видят основой этого процесса искусственный интеллект: в системах с огромными объёмами администратор физически не успевает воспринимать всю информацию и быстро принимать решения. Сейчас ИИ предлагает решение на подтверждение, в дальнейшем рутинные операции перейдут под его полный контроль. Энергонезависимая память гарантирует сохранность данных при сбоях электропитания.
Управление
Программно-определяемые хранилища (SDS) связывают публичные и частные облака, упрощают перемещение данных и отслеживание их местоположения — например, не попала ли конфиденциальная информация из частного облака в публичное и не используется ли платное хранилище под резервные копии. Такой подход разделяет «холодные» данные («записал и забыл» — на медленные носители) и потоковые, рабочие в реальном времени (на быстрые).
Главные тренды
- чипы с более плотной записью информации;
- массовый переход на флеш-накопители из-за скорости и снижения стоимости;
- протоколы удалённого прямого доступа к памяти по сети и Ethernet (NVMe-oF, RDMA);
- гибридные облачные хранилища из публичных и частных облаков;
- базы данных с открытым исходным кодом;
- внедрение ИИ для управления хранением данных.
Тренды и российский рынок
Для российского бизнеса и госсектора к этим трендам добавляется импортозамещение: флеш-СХД, NVMe и SDS-решения подбирают из реестра. Сравнение моделей есть в обзоре российских СХД из реестра. Если вы только определяетесь с архитектурой, начните с базовой статьи о типах СХД — DAS, NAS и SAN.
Подберём современную СХД на флеш и NVMe под ваши нагрузки — из реестра, с проектированием и настройкой.
Частые вопросы
Почему жёсткие диски уступают флеш-накопителям?
Интерфейсы HDD проектировались давно и не рассчитаны на пропускную способность приложений нового поколения, особенно ИИ-нагрузок. Твердотельные накопители быстрее, а технологии 3D NAND, рост числа слоёв и переход на QLC снижают стоимость хранения и сокращают разрыв в цене.
Что такое NVMe-oF и зачем он нужен?
NVMe over Fabrics — это протокол доступа к NVMe-накопителям по сети. Он даёт огромную пропускную способность и очень низкую задержку, позволяет нескольким хостам одновременно использовать одно хранилище и гибко масштабировать мощности.
Что такое гибридное облако в хранении данных?
Это многослойная архитектура из публичных и частных облачных хранилищ. Частные облака решают вопросы стоимости и пропускной способности при росте объёмов, а управление гибридом обеспечивает прозрачное перемещение данных между уровнями.
Как ИИ применяют в управлении хранением?
В системах с огромными объёмами администратор не успевает обрабатывать всю информацию. ИИ автоматизирует резервное копирование, оптимизацию нагрузок и поиск решений: сейчас он предлагает действие на подтверждение, а со временем берёт рутинные операции под полный контроль.
Какие тренды СХД учитывать при импортозамещении?
Те же, что на мировом рынке — флеш и NVMe, NVMe-oF, SDS, гибридные облака и открытые БД, но в реализации на оборудовании из реестра. ВИСТЛАН помогает подобрать современную российскую СХД под нагрузки и требования.