Файловый накопитель что это
Хранение данных. Или что такое NAS, SAN и прочие умные сокращения простыми словами
TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.
Зачем это все?
Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.
Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.
Хранение данных
Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.
По способу подключения есть следующие варианты:
подключение дисков в сервере
дисковая полка, подключаемая по FC
По типу используемых накопителей возможно выделить:
Если рассматривать форму хранения данных, то явно выделяются следующие:
По реализации достаточно сложно провести четкие границы, однако можно отметить:
RAID контроллер от компании Fujitsu
пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure
Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.
Direct Attached Storage — это исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать:
Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости и\или более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.
Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.
Давайте разберем более детально устройство SAN, для этого логически разделим ее на две важных части, сервера с HBA и дисковые полки, как оконечные устройства, а также коммутаторы (в больших системах — маршрутизаторы) и кабели, как средства построения сети. HBA — специализированный контроллер, размещаемый в сервере, подключаемом к SAN. Через этот контроллер сервер будет «видеть» диски, размещаемые в дисковых полках. Сервера и дисковые полки не обязательно должны размещаться рядом, хотя для достижения высокой производительности и малых задержек это рекомендуется. Сервера и полки подключаются к коммутатору, который организует общую среду передачи данных. Коммутаторы могут также соединяться с собой с помощью межкоммутаторных соединений, совокупность всех коммутаторов и их соединений называется фабрикой. Есть разные варианты реализации фабрики, я не буду тут останавливаться подробно. Для отказоустойчивости рекомендуется подключать минимум две фабрики к каждому HBA в сервере (иногда ставят несколько HBA) и к каждой дисковой полке, чтобы коммутаторы не стали точкой отказа SAN.
Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.
Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.
Unified storage
Универсальные системы, позволяющие совмещать в себе как функции NAS так и SAN. Чаще всего по реализации это SAN, в которой есть возможность активировать файловый доступ к дисковому пространству. Для этого устанавливаются дополнительные сетевые карты (или используются уже существующие, если SAN построена на их основе), после чего создается файловая система на некотором блочном устройстве — и уже она раздается по сети клиентам через некоторый файловый протокол, например NFS.
Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.
Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).
N.B. редактора: У вас есть возможность изучить технологию сетевого хранилища Ceph, чтобы использовать в своих проектах для повышения отказоустойчивости, на нашем практическим курсе по Ceph. В начале курса вы получите системные знания по базовым понятиям и терминам, а по окончании научитесь полноценно устанавливать, настраивать и управлять Ceph. Детали и полная программа курса здесь.
Пример SDS на основе GlusterFS
Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SAN\NAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.
Гиперконвергентные системы
Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить. Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.
Облака и эфемерные хранилища
Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless). Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.
Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью и\или доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.
Заключение
Надеюсь, статья была полезной не только новичкам. Предлагаю обсудить в комментариях дополнительные возможности систем хранения данных, написать о своем опыте построения систем хранения данных.
Выбор сетевого хранилища
Количество информации, хранимой на наших компьютерах, увеличивается с каждым днем. Тысячи фотографий, музыкальных записей, сотни фильмов и сериалов – все это с безумной скоростью уничтожает свободное пространство на жестких дисках наших компьютеров. Купить и поставить очередной HDD не всегда подходящее решение, ведь в корпусе ПК банально может не хватать места, особенно если у вас ноутбук. Использование внешних жестких дисков зачастую неудобно в эксплуатации – достать, подключить и т.д. Хочется получить доступ к нужной нам фотографии или музыкальной композиции без возни с проводами, или одновременно с разных устройств в вашей сети. И в такой ситуации на помощь могут прийти сетевые хранилища данных.
Сетевое хранилище (NAS (англ. Network Attached Storage), сетевая система хранения данных) – по сути, это небольшой компьютер с дисковым массивом, подключенный к сети. Сетевое хранилище работает 24 часа в сутки 7 дней в неделю и обеспечивает доступ к информации в любое время. Сетевые хранилища обладают дополнительными функциями, такими как: хранение и резервирование данных, разграничение доступа, поддержка приложений закачки и т.д.
От обычного ПК сетевые хранилища отличаются компактными размерами, используемой аппаратной начинкой и программным обеспечением, заточенным на специфические для сетевых хранилищ функции. Сетевые хранилища не предназначены для выполнения вычислительных задач, хотя запуск других программ на нём возможен. Обычно, сетевые хранилища не имеют экрана и клавиатуры, а управляются и настраиваются по сети, часто с помощью браузера.
Технические характеристики
Количество накопителей в комплекте – число установленных накопителей информации в сетевом хранилище. Именно число уже установленных, а не мест под накопители. NAS могут поставляться как с установленными накопителями информации (1, 2, 4 и т.д.), так и без них (в этом случае вам необходимо приобрести жесткие диски или SSD отдельно).
Форм-фактор устанавливаемых накопителей – название говорит само за себя. В настоящий момент в сетевые хранилища можно установить жесткие диски форм-фактора 3,5” или 2,5”, некоторые хранилища поддерживают установку как 2,5” так и 3,5” накопителей информации.
Суммарный объем накопителей в комплекте – объем доступного пользователю пространства для размещения информации на сетевом хранилище.
Количество отсеков для накопителей – количество накопителей, устанавливаемых в корпус сетевого хранилища. Большинство сетевых хранилищ предназначенных для домашнего использования ограничены 1 или 2 отсеками, но встречаются разновидности хранилищ с 4 или 8 отсеками.
Максимальный объем одного накопителя – далеко не все сетевые хранилища могут использовать жесткие диски большого объема (6-8 ТБ), поэтому следует обратить внимание на данную характеристику при выборе накопителей для вашего сетевого хранилища. Но, если вы покупаете сетевое хранилище с уже установленными накопителями, то данная характеристика для вас важна только в случае замены комплектных накопителей на экземпляры с большим объемом.
Возможность горячей замены HDD – при наличии нескольких накопителей сетевые хранилища могут обладать возможностью горячей замены HDD, т.е. замены диска в случае его поломки без выключения устройства.
Частота процессора – частотные характеристики используемого в сетевом хранилище процессора. В сетевых хранилищах часто применяются процессоры на ARM архитектуре, так что прямой аналогии с процессорами, используемыми в ПК, проводить не стоит. Влияет на общую производительность сетевого хранилища. При необходимости использования на сетевом хранилище дополнительных программ выбирайте хранилища с более производительным процессором.
Объем оперативной памяти – показатель влияет на общую производительность сетевого хранилища. При необходимости использования на сетевом хранилище дополнительных программ рекомендуется выбирать хранилища с большим объемом ОЗУ.
Wi-Fi – возможность подключения сетевого хранилища к сети по беспроводному каналу связи Wi-Fi. Данная функция поможет избавиться от лишних проводов, однако скорость может быть ниже, чем у проводного соединения.
Количество портов Ethernet – количество портов для подключения к проводной сети. Помимо количества портов важной характеристикой является также скорость сетевого интерфейса. Она влияет на оперативность обмена информацией с сетевым хранилищем. Фактически стандартном для современных сетевых хранилищ является скорость сетевого интерфейса в 1 Гбит\с, это позволит комфортно работать с сетевым хранилищем.
Тип и количество портов USB – наличие портов USB на сетевом накопителе позволяет подключать дополнительные внешние носители информации, например, для резервного копирования. В некоторых случаях сетевое хранилище обладает функциями принт-сервера, что позволяет подключить принтер и использовать его как сетевой.
Количество портов eSATA – возможность подключения внешних накопителей информации по интерфейсу eSATA (External SATA).
Поддерживаемые уровни RAID – технология виртуализации данных, которая объединяет несколько дисков в логический элемент для избыточности и повышения производительности.
Программная платформа и поддерживаемые режимы работыКроме предоставления доступа к информации, сетевые хранилища обладают и другими функциями:
FTP сервер– возможность использования устройства в качестве FTP сервер. FTP сервер позволяет разграничивать доступ пользователей к информации и проводить аутентификацию пользователей. Также протокол FTP поддерживает возможность докачки файлов при разрыве соединения.
Поддержка ip-видеонаблюдения – позволяет организовать на основе сетевого хранилища систему видеонаблюдения при помощи IP видеокамер.
Установка приложений – возможность устанавливать приложения для реализации дополнительных функций. Например, установка DropBox, загрузчик по http, ftp и р2р ссылкам и т.д.
Советы по выбору
Основные задачи NAS:
Назначение и бюджет
Дороже по стоимости сетевые хранилища с двумя предустановленными дисками. Подобные устройства позволят вам либо хранить больше информации, либо обеспечить повышенную отказоустойчивость (объединение дисков в RAID 1).
Хранилища без носителей информации в комплекте подойдут для домашнего использования, особенно если у вас уже куплены диски.
При использовании в небольших офисах обратите внимание на более надежные и функциональные сетевые хранилища. Как правило, подобные NAS поставляются без носителей информации, оснащаются двумя сетевыми интерфейсами и более производительно аппаратной начинкой, чтобы справляться с высокой нагрузкой.
Определение характеристик
Главный аспект выбора NAS, это суммарный объем, который исходит из емкости накопителей и их количества. Чтобы определиться с объемом, необходимо учитывать:
Сложив эти две величины (и добавив 25% прозапас) вы узнаете примерный объем накопителей сетевого хранилища. Минимальный размер – 2 ТБ, подойдет разве что для хранения фотографий, музыки и документов. А вот для обеспечения резервного копирования этого объема уже не хватит, особенно если в сети больше одного компьютера.
Вы профессиональный фотограф или просто увлеченный любитель? Тогда вам точно не обойтись без сетевого хранилища для хранения ваших работ и для резервного копирования только что отснятого и еще не обработанного материала. Поверьте, случаи потери фотографий из-за отказа жесткого диска не редки, а отсутствие резервной копии поставит крест на всей работе команды фотографа. Так что сетевое хранилище объемом 6-8 ТБ отличное решение для хранения и резервирования.
Количество устанавливаемых накопителей влияет не только на максимальный объем сетевого хранилища, но и на возможность создания RAID масивов для обеспечения повышенной производительности или отказоустойчивости. Так, например, защититься от потери данных поможет поддержка RAID 1 (зеркальный) или RAID 5. В первом случае, в сетевом хранилище необходимы, как минимум, два жестких диска (доступный пользователю объем дисковой системы будет равен объему одного диска), а во втором случае – минимум три диска (также часть дискового пространства будет отведена на служебные нужды). Подобная конфигурация позволяет сохранить информацию при поломке одного из дисков.
Программные функции
Обладателям «умных» телевизоров пригодится функция UPnP/DLNA-сервера, для просмотра медиаконтента без необходимости сохранения на устройстве.
Сетевое хранилище можно использовать не только как большой жесткий диск, подключенный к сети. Отдельные устройства позволяют устанавливать дополнительные приложения, например торрент-трекер, различные менеджеры закачки, dropbox и т.д. Это значительно расширит возможности вашего NAS.
Еще одной интересной особенностью сетевых хранилищ является поддержка ip-видеонаблюдения для организации видеоархива и избавит от необходимости приобретения отдельного видеорегистратора.
Итоги
Выбор сетевого хранилища можно свести к нескольким простым шагам:
NAS для нас: от дорогого к простому и бюджетному
Продолжая тему накопителей, поднятую в постах про беспроводные диски и флешки, хочу перейти к теме NAS. Штука эта довольно интересная, особенно в эпоху планшетов, ноутбуков и множества семейных устройств. Я специально остановлюсь на домашнем применении, потому что корпоративный NAS – тема отдельной большой статьи.
Зачем нужен NAS дома? Вроде бы простой вопрос и большинство на него ответит так – для хранения данных и доступа к ним всех членов семьи. Только вот это совсем не так, потому что тогда проще и вполне достаточно будет взять нормальный роутер и подключить к нему внешний диск по USB.
Зачем же тогда нужен NAS?
Какой нужен NAS?
Давайте так, NAS должен быть двухдисковым, чтобы можно было настроить RAID 1, зеркалящий данные на дисках. Большее количество дома вряд ли понадобится, меньшее – есть нехилый шанс потерять все данные.
Какие есть производители NAS? Собственно, фирм, которые делают роскошные разборные NAS для чуть более требовательных ползователей, всего две. Это Synology, когда-то ведший свой блог на Хабре и Qnap. Не будем трогать отдельную тему NAS-ов от таких компаний как Lacie или Buffalo, поскольку это уже совсем для профессионалов от аудио/видео и любителей решений «все готово и красиво» (хотя беспроводная серия Fuel у них вполне ничего).
Еще недавно я советовал большинству знакомых модели Synology DS213 или более свежую DS214. Они были весьма неплохи. Но на сегодняшний день я бы назвал идеальной QNAP Turbo NAS TS-251.
Он очень быстрый с точки зрения копирования файлов по сети (около 100 MB/s в режиме чтения и копирования), у него быстрый процессор (двухядерный Intel Celeron 2.41GHz). У него огромный объем памяти (в самом дешевом варианте идет 1 гигабайт, но можно самому вставить до 8 гигов). Есть USB 3.0 разъем для быстрого резервного копирования файлов (к примеру, воткнул флешку из зеркалки и быстро слил все фотографии в архив). Еще у него есть HDMI-порт, позволяющий подключить его напрямую к телевизору и позволяющий сделать нехилый домашний кинотеатр. Заявляется поддержка перекодирования видео в любой формат на лету, но для Full HD это работает через раз, так что лучше смотреть в нативном формате.
Еще у него отличная операционная система и множество мобильных приложений, позволяющих получить доступ к данным из любо точки планеты. Т.е. к примеру, вы фотограф и приезжаете на встречу к заказчику. В процессе обсуждения вылезает какая-то особая хотелка, вы с планшета по сети заходите к себе на NAS и отыскиваете какую-нибудь древнюю, но важную фотосессию.
Стоит это счастье 320 баксов без дисков.
Скока-скока? Все правильно, 320 американских долларов, или 30 тысяч рублей, если покупать его в России. А подешевле нет? Есть, возвращаемся к DS214.
Он стоит примерно в 2 раза дешевле, зато у него более тугодумный двухядерный процессор Marvell Armada XP MV78230 с частотой 1.066GHz. И памяти всего 512 мегабайт. Т.е. в 16 раз меньше максимальной у Qnap.
На скорости доступа это сказывается не так критически
но становится существенно, когда вы пользутесь большим количеством сервисов (тот же семейный музыкальный сервер iTunes, к примеру, торентокачалка и так далее). И да, у DS214 нет HDMI выхода.
Блин, а что так дорого то?
Если честно, то в обоих случаях вы платите даже не за железо, а за довольно удобную и продвинутую операционную систему с множеством плюшек (тех же мобильных приложений, возможности развертывания музыкальных серверов и так далее).
Если вам оно не надо, можно сделать самосборный комп и накатить FreeNAS. Хорошая операционка, множество удобных настроек и так далее.
Но есть одно но – такая система проигрывает в энергопотреблении и шумоизоляции специализированным NAS. Ну и FreeNas по сравнению с ОС от QNAP и Synology, это как Мас и Linux. Первый красив и интуитивно понятен каждому. Второй позволяет все настроить очень тонко, но вы должны понимать – что происходит под капотом.
Небольшое отступление – я никак не хочу унизить FreeNas и тем более Linux. Но вы должны понимать, что это разные весовые категории.
А можно и рыбку съесть и удовольствие получить?
Можно. Вы вполне в состоянии купить недорогое железо и поставить на него операционку от грандов. К примеру существует отличный клон ОС от Synology с говорящим названием Xpenology (я не шучу, так и называется). Его достаточно легко накатить на HP Microserver, который можно найти б/у по цене 7-9 тысяч рублей (опять же без дисков). Слотов под диски там аж 5 штук (пятый можно воткнуть вместо DVD)
Поскольку операционка будет, скажем так, нелицензионной, не будет работать часть сервисов обращающаяся к серверу Synology. К примеру, не будет работать облачная синхронизация с Dropbox или Google Drive. А штука, прямо скажем полезная.
Блин, а можно еще дешевле?
Можно. Из ограниченных NAS я бы порекомендовал мой любимый WD My Cloud на 2 или 3 террабайта (обзор на Гиктаймс). Ну или что-то подобное от Seagate.
Стоят они порядка 9 и 12 тысяч вместе с диском (да, диск там всего один, что резко повышает риск потери данных). Что они могут – быстро передавать и писать данные по сети (около 50-60 Mb/sec). Содержат красивый интерфейс (не поленитесь, сходите по ссылке обзора выше, он правда красивый). Имеют возможность разделить доступ к данным (сына, вот тебе 1 гиг под твои образы игрушек и все). Позволяют зайти в данные по сети извне. Есть мобильные приложения (к примеру, чтобы листать фотографии с планшета или смотреть сериал с телефона на кухне). Недавно добавили поддержку медиасервера Plex.
Еще плюс в том, что, покопавшись в ядре можно поставить торрентокачалку. К примеру, одному моему знакомому мы ставили такую штуку на дачу, чтобы он мог по ночам потихоньку выкачивать фильмы, потому как днем канал был основательно забит. Т.е. это такой относительно быстрый сетевой винт, обладающий зачатками функциональности взрослых NAS. Если вам не надо большего – отличный вариант. Если не надо и этого, обратите внимание на роутер. Если роутер этого не умеет, поверьте, его пора менять. И дело тут будет не в функциях NAS.
Послесловие от компании iCover:
Уважаемые читатели, напоминаем, что вы читаете блог компании iCover, место где можно получить хороший совет или экспертизу в мире гаджетов. И, конечно, не забывайте подписываться на нас и мы обещаем — скучно не будет!