на каких носителях можно хранить информацию
Выбираем способ хранения данных и важной информации: руководство Overclockers.ru
Оглавление
Вступление
реклама
Выбор устройства для хранения информации в 2017 году – это очень и очень спорная тема. Прошли уж те времена, когда можно было выбирать только из жестких дисков небольшого объема или компакт-дисков (для мажоров, ага): сегодня спектр решений для хранения данных велик, как никогда.
Для начала определимся с тем, а зачем нам, собственно, что-то хранить – в эпоху интернета? Когда все «в небесах» – в облаках?
В первую очередь сегодня мы погребены под обилием информации. Петабайты нужных и ненужных (чаще) данных обрушиваются на нас снежной лавиной, и здесь речь идет даже не о новостях, а о данных физических: фотографиях, гигантском количестве пиратской и не очень музыки и фильмов. Сюда же отнесем и приложения, «которые когда-нибудь пригодятся»; фильмы, которые посмотрели один раз, «может быть, посмотрю во второй»… Не все же все удаляют, верно? Встает вопрос о том, где все это хранить.
Потом – «бэкапы». Опять же, ни для кого не секрет, что современные и самые дешевые с точки зрения фактора «цена за мегабайт» жесткие диски (традиционные, «блинные») страдают от низкого качества. К примеру, у меня настроено почти полное ежедневное зеркалирование системного жесткого диска и диска с данными на идентичные по объему модели. Почему? Именно потому, что «полететь в голубые небеса» может любой «винчестер» в любое время и в любом месте.
Увы, но сегодняшнее общество потребления признает только то, что стоит дешево, служит недолго и умирает быстро. Поэтому надежные жесткие диски конца 1990-х годов (а у меня до сих пор жив HDD IBM 1998 года выпуска – как раритет!) остались легендами, в которые современные 128-битные люди уже не верят. С другой стороны, на рубеже веков лично у меня померло два «винчестера» Quantum, поэтому надежность зависела и от производителя. Кстати, наследники Quantum в энном поколении ныне известны под именем Seagate. Информация просто для размышления.
Одним словом, хранение данных все равно актуально, и интернет этого не заменит.
Где хранить данные? На каких накопителях хранить файлы длительное время?
Каждый человек имеет хотя бы чуточку информации или данных, которые ему очень дороги. Эта информация не всегда может иметь именно материальную ценность, вспомнить те же видео, детские фото или фотографии со свадьбы – все это очень дорого. Но многие не догадываются что диск, на котором это все записано, всего за одно десятилетие может прийти в негодность и с него уже ничего не получится прочитать. Если хотите сохранить такую важную информацию как можно дольше, то эта статья для вас.
Мы поделимся опытом в работе с разными накопителями и расскажем, какие из них надежные, а на каких лучше не хранить ничего ценного. Вы узнаете, как сохранить данные в целости и сохранности, хотя бы на столетие.
Общие правила хранения ценной информации
Есть несколько правил, работающие в отношении любой информации, которую важно сохранить в целости и сохранности. Если не хотите потерять дорогие сердцу фотографии, важные документы или ценные работы, то:
Такие простые правила помогут вам на долгие годы сберечь важные документы, дорогие фото и видео записи. А сейчас рассмотрим где дольше всего информация будет в целости и сохранности.
Про популярные носители и их надежность
К самым распространенным и популярным способам хранения цифровой информации относится – использование жестких дисков, Flash-носители (SSD диски, флешки и карты памяти), запись оптических дисков (CD, DVD и диски Blu-Ray). Дополнительно, существует масса облачных хранилищ для любых данных (Dropbox, Яндекс Диск, Google Drive и многие другие).
Как вы думаете, что из всего перечисленного является лучшим местом хранения важной информации? Давайте изучим каждый из этих способов.
Как вы поняли, среди самых доступных способов, лучше всего хранить свои данные именно на оптических дисках. Но не все из них способны справиться с течением безжалостного времени и дальше вы узнаете, какие лучше подходят для наших целей. Кроме того, хорошим решением будет использование сразу нескольких, упомянутых способов, одновременно.
Используем оптические диски правильно!
Возможно, некоторые из вас наслышаны о том, как долго можно сохранить информацию на оптических дисках типа CD или DVD. Некоторые, наверное, даже записали определенные данные на них, но через время (несколько лет) не удалось прочесть диски.
На самом деле тут нет ничего удивительного, срок хранения информации на подобных носителях тоже зависит от многих факторов. В первую очередь, важную роль играет качества самого диска и его тип. Кроме этого следует и придерживаться определенных условий хранения и процесса записи.
Какой стоит выбрать диск для хранения данных?
Как вы уже поняли, диски бывают разные. Все главные отличия связанны с отражающей поверхностью, типом поликарбонатной основы и качеством в целом. Даже есть брать продукцию одной и той же фирмы, но изготовленную в разных странах, то даже тут качество может различаться на порядок.
В качестве поверхности, на которую производится запись используют цианиновый, фталоцианиновый или металлизированные слои. Отражающая поверхность создается золотым, серебряным или из сплавов серебра покрытием. Наиболее качественные и долговечные диски изготавливаются именно из фталоцианина с золотым напылением (т. к. золото не подвержено окислению). Но есть диски и с другими комбинациями этих материалов, которые также могут похвастаться хорошей долговечностью.
К большому огорчению привела попытка отыскать специальные диски для хранения данных, у нас их практически не реально встретить. При желании, такие оптические носители можно заказать через интернет (далеко не всегда дешево). Среди лидеров, которые могут сохранить вашу информацию как минимум на столетие можно выделить DVD-R и CD-R Mitsui (этот производитель вообще гарантирует до 300 лет хранения), MAM-A Gold Archival, JVC Taiyu Yuden и Varbatium UltraLife Gold Archival.
К числу самых идеальных вариантов, для хранения цифровой информации можно добавить и Delkin Archival Gold, которые вообще нигде не встретились на территории нашей страны. Но как уже было сказано, все перечисленное можно без особого труда заказать в интернет-магазинах.
Из доступных дисков, которые можно у нас встретить, самым качественными и способными обеспечить сохранность информации как минимум на десятилетие будут:
Но тот факт, что эти все диски умеют долго хранить информацию еще не гарантирует, что она на долго сохранится. Поэтому не забывайте придерживаться тех правил, которые мы выделили еще в самом начале.
Взгляните на следующий график, на нем обозначена зависимость появления ошибок считывания данных, от времени нахождения оптического диска в агрессивной среде. Понятное дело, что график создан именно для маркетингового продвижения товара, но все же обратите внимание, что на нем есть очень любопытная Millenniata, на дисках которой вообще не появляются ошибки. Сейчас мы о ней узнаем больше.
Millenniata M-Disk
Среди продукции этой компании есть диски серии M-Disk DVD-R и M-Disk Blu-Ray способные хранить важные данные сроком до 1000 лет. Такая потрясающая надежность достигается использованием в основе дисков неорганического стеклоуглерода, который в отличии от остальных дисков, где используются органические материалы, не подвержен окислению, разложению под действием света и тепла. Такие диски легко будут переносить попадание кислот, щелочей и растворителей, а также могут похвастаться более высокой стойкостью к механическим воздействиям.
Во время записи, на поверхности, в прямом смысле слово прожигаются небольшие окошки (на обычных дисках происходит пигментация пленки). Основа диска аналогично рассчитана на более серьезные испытания и способна сохранять свою структуру даже под воздействием высоких температур.
У нас не удалось найти такие диски в продаже, но в сети их можно свободно заказать по вполне доступной цене. Оптические диски этой серии прекрасно читаются любыми современными приводами. Вполне возможно, со временем они и у нас начнут появляться в свободной продаже.
Несмотря на то, что подобные носители могут быть прочитаны любым приводом для того, чтобы записать DVD-R нужен особый привод, который сертифицирован и имеет эмблему M-Disk. Это связанно с необходимостью использования более мощного лазера. Чтобы записывать такие Blu-Ray диски, можно использовать любые приводы, способные выполнять запись подобных типов оптических носителей.
Как вы поняли, необходимость использования специального привода (который тоже у нас редкость), является серьезным минусом. Но с другой стороны, иногда ценные фото, видео и другая информация намного более важны и для этих вещей можно раздобыть и привод.
В любом случае, при хранении важной информации придерживайтесь упомянутых правил и тогда вы сможете надолго сохранить воспоминания о каком-либо событии, и сберечь архив важных документов.
Выбираем способ хранения данных и важной информации: руководство Overclockers.ru (страница 2)
Магнитные ленты
А ведь многие пользователи уже не знают, что это такое – стример (по-английски – «tape drive», а не «streamer», кстати). Опять-таки, в девяностых годах прошлого века такой способ хранения считался практически вечным – кассеты с магнитными лентами не подходили для ежедневного чтения информации, но для долговременного более чем.
Как и сегодня; лентам дают минимум двадцать пять лет жизни, а то и больше. И не теоретической: вспомните, сколько уже десятков лет исполнилось данному способу хранения информации.
реклама
Большой минус стримеров и расходников к ним – цена. И да, их все еще выпускают. Стоимость стримера на Амазоне составляет от 100 евро, еще пару десятков нужно выложить за многотерабайтные кассеты (объемом от 320 Гбайт до 50 Тбайт) – в общем, такой способ бэкапирования данных и создания файлопомоек подойдет лишь организациям или людям, которым не очень жалко денег.
Да и организациям-то не самым маленьким, потому что фирмы поменьше подумают и выложат деньги за что-нибудь подоступнее, поскольку в их случае объем информации уместится на одну кассету.
В принципе, стримеры являются практически идеальным долговременным хранилищем, если не брать в расчет стоимость мегабайта. Потому как она запредельная. И, кстати, желательно помнить о том, что кассеты можно размагнитить. Но лучше не нужно.
Жесткие диски (HDD)
Жесткие диски сегодня являются самым дешевым устройством для хранения данных при учете фактора «цена за мегабайт». Легко можно купить трехтерабайтный «винчестер» менее чем за 100 евро, и он будет служить верой и правдой, пока у него не «полетят головки» (худший вариант) или же он просто однажды не посыплется «бэдами». В таких случаях пользователи обычно нецензурно выражаются – да так, что грузчики в порту позавидуют. Потому что накопленные за долгие годы данные могут умереть в момент.
Технологии в производстве HDD кардинально не развиваются уже лет пятнадцать, за исключением повышения оборотов шпинделей; а различные многобуквенные сочетания надежности по большому счету не добавляют, разве что информированности. Кроме того, восстановление данных с жесткого диска в случае безвременной кончины последнего – весьма дорогостоящая процедура, а если модель еще и десятилетней давности или более, сумма возрастает совершенно непропорционально.
Да, трава раньше была зеленее, а «винчестеры» – надежнее. Потому что, к примеру, восстановление «голов» может вам обойтись далеко не в один десяток тысяч рублей, и критическая информация станет поистине золотой.
реклама
Выходом из этого может служить вышеупомянутый способ зеркалирования. Это значит, вы покупаете два HDD одинакового объема, но разных производителей, и проводите ежедневное автоматическое копирование данных с одного на другой. Такой способ можно назвать максимально бюджетным и при этом достаточно надежным (да и найти бесплатное приложение для зеркалирования не проблема). Можно, конечно, и в RAID их запихать – только вот развалится массив, и плакали ваши данные. Поэтому рекомендую проверенный годами способ.
Твердотельные накопители (SSD)
Твердотельные накопители – это новый и очень удобный способ хранения информации на рабочем компьютере, поскольку при большей раз в десять скорости (если говорить о нормальных SDD) относительно HDD они уже не стоят заоблачных многих сотен долларов. Но у них по-прежнему остается проблема ограниченного числа часов работы и циклов записи/чтения, и это всего лишь несколько лет.
Поэтому SSD можно рассматривать как прекрасное средство для работы, но в качестве средства для хранения данных о них нужно вспоминать в последнюю очередь. Как минимум потому, что цена за мегабайт у них значительно выше, чем в случае HDD.
С другой стороны, умирают такие накопители гораздо медленнее и с уведомлениями (в зависимости от модели) об этом. Можно успеть и купить новый, и переписать на него все данные, и даже устроить грандиозную вечеринку, и не раз – прежде чем твердотельный отдаст концы. Кроме того, восстановить информацию с SSD бывает проще, чем с HDD, из-за более простой структуры и отсутствия движущихся частей.
Наконец, никто не заставляет вас пользоваться таким способом хранения данных постоянно: то есть записали – отключили и забыли. По идее, если SSD не дергать, он проживет долгие декады. Хотя никто пока еще не знает, как и в случае с CD.
Резюмирую: хранить данные на них можно, если вас не смущает высокая цена за мегабайт, сильно превосходящая таковую для HDD. В крайнем случае, успеете спасти.
Кстати, в качестве экзотического варианта можно рассмотреть хранение данных на флэшках. У которых ровно те же проблемы, разве что скорость ниже, чем у SSD как таковых. Впрочем, возиться с такими крошечными объемами никто не захочет, так ведь?
Муки выбора
Если у вас после прочтения так и не появилось ясности, попробую ее внести. В случае если необходим наиболее выгодный вариант цены за мегабайт – выбирайте жесткие диски и/или DVD. Последние выглядят предпочтительнее в плане надежности, поскольку HDD достаточно капризны и могут умереть, даже лежа на диване круглые сутки; в отличие от них, диски DVD обладают более устойчивой психикой.
реклама
К тому же, пишущий привод сегодня стоит менее тысячи рублей, а набор из десяти «болванок» 4.37 Гбайт так и вообще пару сотен. Ну а не самый дешевый жесткий диск объемом три терабайта будет стоить от шести тысяч, причем о надежности можно думать очень долго.
Если же финансовый вопрос не стоит остро – присмотритесь к SSD-драйвам. Да, они дороги, но, если не использовать SSD с сенситивными данными в постоянном режиме, то он может прожить долго и счастливо. Если же у вас денег куры не клюют – выбирайте стримеры. С другой стороны, можно купить какой-нибудь отремонтированный или бывший в употреблении экземпляр – например, один такой производства HP в комплекте с пятью трехтерабайтными кассетами формата LTO5 продается в момент написания этой статьи на eBay всего за 150 евро. Нетрудно подсчитать, что это будет даже выгоднее HDD.
В случае «а мне забить на все» можно воспользоваться облачным хранилищем. Но желательно каким-нибудь надежным – тем же Google или его вечным конкурентом Microsoft. А если хочется почувствовать себя совсем крутым – купить за неразумные деньги терабайта два на Dropbox. А еще лучше не ограничиться двумя, и сделать одну половинку зеркалом второй.
Заключение
Одним словом, выхода нет только из гроба. А найти идеальные для себя способы хранения и бэкапирования информации можно достаточно легко, если воспользоваться рекомендациями выше. Главное – делать это в принципе. Ибо надежность превыше всего.
Хранение данных. Или что такое NAS, SAN и прочие умные сокращения простыми словами
TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.
Зачем это все?
Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.
Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.
Хранение данных
Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.
По способу подключения есть следующие варианты:
подключение дисков в сервере
дисковая полка, подключаемая по FC
По типу используемых накопителей возможно выделить:
Если рассматривать форму хранения данных, то явно выделяются следующие:
По реализации достаточно сложно провести четкие границы, однако можно отметить:
RAID контроллер от компании Fujitsu
пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure
Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.
Direct Attached Storage — это исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать:
Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости и\или более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.
Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.
Давайте разберем более детально устройство SAN, для этого логически разделим ее на две важных части, сервера с HBA и дисковые полки, как оконечные устройства, а также коммутаторы (в больших системах — маршрутизаторы) и кабели, как средства построения сети. HBA — специализированный контроллер, размещаемый в сервере, подключаемом к SAN. Через этот контроллер сервер будет «видеть» диски, размещаемые в дисковых полках. Сервера и дисковые полки не обязательно должны размещаться рядом, хотя для достижения высокой производительности и малых задержек это рекомендуется. Сервера и полки подключаются к коммутатору, который организует общую среду передачи данных. Коммутаторы могут также соединяться с собой с помощью межкоммутаторных соединений, совокупность всех коммутаторов и их соединений называется фабрикой. Есть разные варианты реализации фабрики, я не буду тут останавливаться подробно. Для отказоустойчивости рекомендуется подключать минимум две фабрики к каждому HBA в сервере (иногда ставят несколько HBA) и к каждой дисковой полке, чтобы коммутаторы не стали точкой отказа SAN.
Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.
Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.
Unified storage
Универсальные системы, позволяющие совмещать в себе как функции NAS так и SAN. Чаще всего по реализации это SAN, в которой есть возможность активировать файловый доступ к дисковому пространству. Для этого устанавливаются дополнительные сетевые карты (или используются уже существующие, если SAN построена на их основе), после чего создается файловая система на некотором блочном устройстве — и уже она раздается по сети клиентам через некоторый файловый протокол, например NFS.
Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.
Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).
N.B. редактора: У вас есть возможность изучить технологию сетевого хранилища Ceph, чтобы использовать в своих проектах для повышения отказоустойчивости, на нашем практическим курсе по Ceph. В начале курса вы получите системные знания по базовым понятиям и терминам, а по окончании научитесь полноценно устанавливать, настраивать и управлять Ceph. Детали и полная программа курса здесь.
Пример SDS на основе GlusterFS
Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SAN\NAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.
Гиперконвергентные системы
Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить. Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.
Облака и эфемерные хранилища
Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless). Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.
Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью и\или доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.
Заключение
Надеюсь, статья была полезной не только новичкам. Предлагаю обсудить в комментариях дополнительные возможности систем хранения данных, написать о своем опыте построения систем хранения данных.