Рынок систем хранения данных. Перспективы и тренды.

Тенденции развития видов обработки информации формируют тренды эволюции систем хранения. Самой быстро развивающейся отраслью сейчас считается искусственный интеллект (ИИ) и машинное обучение

Эти направления требуют огромного количества данных, быстрого доступа к ним, их достоверности и целостности, возможности работать с ними в реальном времени. Структурированность данных не является обязательной. Всё это вызывает взрывной рост объёмов информации, которые нужно хранить и анализировать.

Ответы ИТ-специалистов на вопрос: «Насколько выросло хранилище данных вашей компании за последние 2 года?» (согласно информации Data Storage Trends).

Решение проблем больших объёмов данных и высокой скорости их обработки

Для выполнения новых задач, стоящих перед отраслью, выделяют следующие параметры:

Данные из исследования Data Storage Trends.

Самое востребованное качество новых систем — производительность. Немного уступает ему снижение себестоимости. Далее следуют:

• улучшение масштабируемости;
• усиление безопасности;
• упрощение управления.

Производительность и себестоимость

Устройства хранения

Основной упор приходится на смену парка устройств хранения. В настоящее время распределение выглядит так:

Информация из исследования Data Storage Trends.

Пока преобладают хорошо зарекомендовавшие себя по скорости и надёжности жёсткие диски. Но новое поколение приложений, использующих ИИ, требует других скоростей. Интерфейсы HDD создавались давно, они не были рассчитаны на такую пропускную способность, поэтому ожидается сдача позиций жёсткими дисками. Их заменят высокопроизводительными твёрдотельными накопителями.

Появление чипов с многоуровневой технологией хранения 3D NAND значительно снижает стоимость хранения 1 Гб. По оценкам Techtarget, она уменьшается с 19,5 американских центов до 8,8. Для жёстких дисков эта цифра меньше, но разрыв сокращается.

Сильное влияние на стоимость оказывает увеличение слоёв хранения в флэш-памяти. В 2018 году большинство устройств выпускалось с 32 уровнями, но некоторые производители уже делали 64-слойную технологию. В этом году 64 станет стандартом, начнут производиться 96-уровневые чипы.

Заметна ещё одна тенденция — уплотнение записи — переход с технологии TLC (хранение трёх битов в одной ячейке) на QLC (четыре бита в ячейке).

Интерфейсы и протоколы

«Старые» шины — SAS и SATA вытесняются не только в секторе HDD, будет продаваться всё меньше SSD дисков с этим интерфейсом.

На смену им приходит PCIe с протоколом доступа к твёрдотельным накопителям (NVMe).

Проблема нехватки скорости касается не только локальных систем, но и RAID-массивов, включенных в сеть хранения с помощью Fibre Channel. Протокол не успевает за скоростью работы флэш-накопителей, а контроллеры не справляются с количеством операций ввода-вывода.

Здесь ожидается рост использования NVMe Over Fibre Channel (NVMe-oF) для подключения сетевых хранилищ. Отличительными особенностями технологии является огромная пропускная способность, очень низкая задержка. 

Среди новых технологий на подходе:

• 25-гигабитный Ethernet;
• интернет-протокол iWARP, обеспечивающий прямой доступ к флэш-памяти по TCP (хотя, вышла уже вторая версия, он, пока, не является стандартом).

iWARP основан на RDMA, который используется для удалённого прямого доступа к памяти по Ethernet. Он называется RoCE (RDMA over Converged Ethernet).

Облака

Облачное хранение данных ждут большие изменения. Сейчас этот вариант считается надежным и выгодным. Поставщики услуг обеспечивают целостность данных, постоянный доступ к ним.

Многие компании уже используют несколько облачных хранилищ. Причём они применяются не для балансировки нагрузки, а для работы с конкретными приложениями. Для каждого приложения — своё облако.

Однако, встают вопросы о стоимости использования облаков при значительном росте объёма данных. Непонятно, сможет ли справиться провайдер с пропускной способностью для запросов приложений нового поколения, требующих обработки информации в реальном времени.

Решить эти проблемы ИТ-компании пытаются с помощью создания частных облачных хранилищ. Они создают многослойную архитектуру из общественных и частных облаков.

Такой подход влечёт за собой новые задачи, такие как прозрачность перемещения данных между облачными хранилищами, управление гибридными облаками.

Open Source Database

Заметна тенденция перехода на использование баз данных с открытым исходным кодом. Это значительно снижает стоимость развёртывания и эксплуатации хранилищ.

Масштабируемость

Для масштабирования систем, помимо многоуровневых гибридных облаков, используется NVMe-oF. Его применение позволяет использовать хранилище несколькими хостами одновременно. Таким образом можно эффективно использовать имеющиеся ресурсы и гибко наращивать мощности по мере необходимости.

Безопасность

Современный подход к защите данных выходит за рамки резервного копирования и восстановления. Он использует вторичные наборы (реплики и моментальные снимки), которые применяются не только исправления ситуации после сбоев, но также для расширения возможностей бизнеса в качестве инструментов аналитики и тестирования.

Другое направление — автоматизация. Она затрагивает всё больше процессов — от создания резервных копий, до оптимизации рабочих нагрузок.

Многие производители рассматривают искусственный интеллект как основу этого процесса. В системах с огромными объемами данных масштаб человеческого восприятия становится сдерживающим фактором. Системный администратор не успевает воспринимать всю информацию и быстро принимать правильные решения.

ИИ призван помочь обойти эту проблему. Сейчас он находит решение и предлагает сисадмину его подтвердить. В дальнейшем данное действие будет отменено, рутинные операции перейдут под полный контроль ИИ.

Применение энергонезависимой памяти в системах хранения гарантирует сохранность данных в случае сбоев в электропитании.

Управление

Программно-ориентированные решения для хранения данных (SDS) обеспечивают связь между общественными и частными облачными хранилищами. Благодаря им упрощается перемещение данных, отслеживание конкретного местоположения информации. В частности, не оказалась ли конфиденциальная информация из частного облака в общественном, не используется ли платное хранилище для размещения резервных копий и т.п.

Такой подход позволяет разделить «холодные» данные от тех, что используются в рабочем процессе в реальном времени. Информация типа «записал и забыл» перемещается на медленные носители, а потоковая — на быстрые.

Заключение

Основными трендами развития систем хранения являются:

• создание чипов с более плотной записью информации;
• массовое применение флэш-накопителей в связи с высокой скорости их работы и снижения стоимости;
• использование протоколов удаленного прямого доступа к памяти по Интернет и Ethernet;
• внедрение гибридных облачных хранилищ, состоящих из общественных и частных облаков;
• установка ПО для баз данных с открытым исходным кодом;
• внедрение искусственного интеллекта для управления хранением данных.