Цифровизация практически всех видов деятельности привела к тому, что объемы создаваемых данных растут с огромной скоростью. Это могут быть данные любого типа: документы, электронные таблицы, потоковое видео, информация с различных умных устройств и другие неструктурированные данные. Для хранения информации используется три основных вида хранилищ: файловое, блочное и объектное. В этой статье кратко расскажем обо всех трех видах хранилищ и подробнее остановимся на объектных хранилищах, а именно такой их разновидности, как S3-хранилища.

Файловое хранилище

В файловом хранилище данные организованы в виде иерархической структуры файлов и папок. Путь к файлу является уникальным идентификатором, с помощью которого осуществляется доступ к данным. Помимо самих файлов, файловая система хранит их метаданные: название, расширение (тип данных), дату и время создания.

Файловые хранилища позволяют размещать любые данные и широко используются на персональных компьютерах, серверах и мобильных устройствах.

К недостаткам файловых хранилищ относится то, что они имеют ограничения на размер файлов и количество файлов в хранилище и плохо масштабируются с ростом объема данных.

Блочное хранилище

При использовании блочной системы хранения данные разбиваются на блоки фиксированного размера, каждому блоку присваивается уникальный идентификатор. Для блоков также хранятся метаданные: как и в случае с файловым хранилищем, набор метаданных ограничен основными атрибутами файлов.

Блоки данных можно читать и записывать по отдельности. Система хранения размещает блоки там, где это наиболее эффективно, – они могут быть распределены по разным системам и средам. При запросе данных блочное хранилище собирает соответствующие блоки данных из того места, где они хранятся, и возвращает результат.

Блочные хранилища часто используются для баз данных и контейнеров, в качестве внутренних хранилищ для виртуальных машин, в аналитике и при обработке мультимедиа.

Объектное хранилище

Для размещения информации в объектном хранилище используются изолированные контейнеры, называемые объектами. Объект содержит в себе данные, метаданные и уникальный идентификатор. Такое устройство хранилища существенно упрощает доступ к данным. Чтобы обратиться к объекту, достаточно знать его идентификатор, в отличие, например, от файлового хранилища, где для доступа к файлам используется иерархия папок.

Поскольку в объектном хранилище отсутствует файловая система, оно легко масштабируется и может использоваться для географически распределенного хранения данных.

Объекты могут храниться локально, но чаще всего хранятся в облаке. Доступ к данным в облаке осуществляется по протоколу Amazon S3 через API из любых приложений, поддерживающих этот программный интерфейс.

Объектные хранилища идеально подходят для больших объемов неструктурированных данных, таких как контент социальных сетей, видео или информация с датчиков, которые часто трудно хранить иерархически.

Именно благодаря таким преимуществам, как практически неограниченный объем, возможность добавить в объект любые метаданные и поддержка географически распределенного хранения, объектные хранилища становятся всё более популярными.

Объектное хранилище на базе Кибер Инфраструктуры

Объектное S3-хранилище можно развернуть самостоятельно с использованием нашего продукта Кибер Инфраструктура, который позволяет создать программно-определяемое хранилище на базе дисков стандартных серверов х86-64, объединенных в кластер. В результате получится гибкая инфраструктура хранения с возможностью бесшовной и экономной замены дисков и масштабирования за счет эластичных, расширяющихся и высвобождающихся по требованию ресурсов. Поверх этой инфраструктуры можно развернуть объектное S3-хранилище, которое поддерживает функции Amazon S3 API и совместимо с большинством готовых приложений для работы с S3.

Программно-определяемое хранилище на базе Кибер Инфраструктуры поддерживает горизонтальное масштабирование по объему и обеспечивает надежное хранение данных с возможностью настройки зоны отказа для обеспечения устойчивости к потере диска, сервера, стойки или дата-центра.

Объектное хранилище может быть практически неограниченного объема. В рамках одного кластера возможно масштабирование до десятков петабайт. Линейное масштабирование по производительности достигается путем добавления новых узлов.

На нашем сайте доступна пробная версия Кибер Инфраструктуры. Вы можете скачать и установить ее, чтобы оценить возможности продукта. В рамках бессрочного пробного периода бесплатно предоставляется 1 ТБ программно-определяемого хранилища.

На одном из вебинаров, посвященных Кибер Инфраструктуре, мы подробно рассказали, как создать объектное S3-хранилище и управлять им. Запись доступна на странице мероприятия.