Разпределената файлова система действа като специална система, която изпълнява достъп до файлове в мрежата, осигурява достъп и съхраняване на данни на повечето сървърни машини. Аналог на мрежовата платформа е традиционната локална файлова система, която управлява устройства за съхранение на данни, хоствани на компютър.
Основи на мрежовите бази данни
Тези елементи се отнасят до мрежови файлови системи и гарантират достъп до тях на сървърите. С тяхната поддръжка потребителят има възможност да формира цялостна файлова система за защитна стена. Тя включва различни инструменти за сървъри. Разпределените файлови системи (RFS) осигуряват огледално копиране, репликация и архивиране на база данни на всяко устройство, което позволява на разработчика да редактира своите собствени файлове, да премахва или запазва конфигурации.
Съществуват няколко RFU, които се различават по приложението, интерфейса и протоколите, както и различни функции като кеширане, регистриране, многоканално използване в локални мрежи. Тъй като честотната лента на разпределените файлови системи за клъстери е изключително ниска, тези програми имат специални системи с скорост на предаване над 100 MB /s. Те включват Глобалната система (GFS) и патентованата обща система (GPFS). RFU е йерархично структурирана и има единно логическо споразумение за имената. Това е мрежов протокол, който позволява на потребителя да има достъп до файловете, без да знае местоположението на сървъра. Централната структура на дървото опростяваТърсене на файлове в цялата компания. Те се съхраняват прекалено и напълно достъпни дори в случай на повреда на основния твърд диск. В по-широк смисъл, RFU се разбира като мрежов протокол за достъп до файловата система.
Примерите са:
Мрежова файлова система (NFS).
Общата файлова система на интернет (CIFS), разширяването на сървърни единици за съобщения (SMB).
Apple е протокол за подаване (AFP) Apple.
Основен NetWare (NCP) протокол от Novell.
Добре известните реализации на RFS са:
DFS в Windows от Microsoft. Разпределена файлова система DFS с Microsoft стандарт в сървърните операционни системи. Той се появява за първи път в Windows NT4 и се доставя с Windows 2000 Server. В Windows Server 2003 бяха добавени подобрения към сървъра, като няколко DFS корена.
AFS Andrew File System, за която има няколко производители в рамките на проекта „Distributed Computing“.
Консорциумът DCE Open Group, като по-нататъшно развитие на AFSCoda, е разработен в университета Carnegie Mellonalosk.
BeeGFS /FhGFS за клъстери и приложения на HPCGlusterFS за всички POSIX-съвместими операционни системи.
Файловата система Hadoop предлага обекти, блоково и файлово хранилище, част от ядрото на Linux, LGPL.XtreemFS, отказоустойчива RFS с POSIX-съвместим интерфейс.
Файловата система Google (GFS, GoogleFS), базирана на Linux, е оптимизирана за данни с висока честотна лента.
Сравнение на разпределени файлови системи.
Поддръжка и видове системни услуги
Такава система предоставя следните услуги:
Поддръжка на хранилището. Разпределение и управление на пространствотовторично устройство за съхранение, като по този начин осигурява логическия вид на системата за съхранение.
Поддръжка на оригинален файл. Включва семантика за споделяне на файлове, механизъм за кеширане, репликация, паралелен контрол, протокол за копиране на няколко копия.
Услуга за име на каталог. Отговаря за действия, свързани с директорията: създаване и премахване на директории, добавяне на нов файл в директорията, премахване от директорията, промяна на името, преместване от една директория в друга.
Изисквани функции на RFU:
Прозрачност. Клиентите на разпределената файлова система DFS не трябва да знаят броя или местоположението на файловите сървъри и устройствата за съхранение. Много файлови сървъри осигуряват производителност, скалируемост, надеждност и прозрачност на достъпа.
Както локалните, така и отдалечените файлове следва да бъдат достъпни по същия начин. Системата трябва автоматично да намери наличното и да го прехвърли на сайта на клиента. Името на файла не трябва да указва местоположението на файла. Не трябва да се променя, когато превключвате от един сайт на друг. Ако файлът се копира на множество възли, тогава наличието на множество копия и тяхното местоположение трябва да бъдат скрити от клиентите.
Мобилността автоматично задейства потребителската среда, например домашната директория на потребителя, на сайта, на който той е влязъл.
Производителността се измерва като средното време, необходимо за удовлетворяване на исканията на клиентите. Това време включва CPU време + време за достъп до вторично време за съхранение + достъп домрежа. Желателно е производителността на разпределената файлова система на Windows да бъде сравнима с ефективността на централизираната система.
Потребителският интерфейс в системата е прост, но броят на командите трябва да бъде възможно най-малък.
Мащабируемостта, растежът на възлите и потребителите не трябва сериозно да нарушават услугата.
Високата наличност на RFU следва да продължи да работи при частични катастрофи, като например комуникационен провал, възел или устройство и трябва да има няколко независими файлови сървъра, които управляват множество устройства за съхранение.
Висока надеждност. Вероятността за загуба на съхранените данни трябва да бъде сведена до минимум. Системата трябва автоматично да архивира критични файлове.
Целостта на данните се осигурява от паралелността на заявките от потребители с множество достъп, които се конкурират за достъп, и трябва да бъдат правилно синхронизирани, като се използва механизъм за контрол от множество форми.
Потребителите трябва да са уверени в поверителността на своите данни.
Хетерогенността на RFU следва да осигурява лесен достъп до общи данни на различни платформи, като работна станция Unix, платформа Wintel и други.
Модел на прехвърляне на ниво блок
В файловите системи, които използват модела за кеширане на данни, важен проблем при проектирането е изборът на единица данни. Това се отнася за частта от файла, която се прехвърля и оформя от клиенти като резултат от една операция за четене или запис. UМодели за прехвърляне на файлове на ниво файл, когато данните трябва да се предават, целият файл се премества. Ползи от модела:
Файлът трябва да се изпраща само веднъж в отговор на клиентска заявка и следователно е по-ефективен от прехвърлянето на страници, което изисква повече мрежови протоколи.
Намалява натоварването на сървъра и мрежовия трафик, тъй като достъпът до сървъра става само веднъж.
Това подобрява скалируемостта. Когато целият файл е кеширан на сайта на клиента, той не реагира на сървърните и мрежовите неизправности.
Недостатъци на модела:
Нуждаете се от достатъчно място за съхранение на клиентската машина. Този подход не е подходящ за много големи файлове, особено когато клиентът работи на бездискова работна станция.
Само малка част от преписката, преместваща целия файл, е разточителна.
Прехвърлянето на файлове се извършва в блокове. Тя е отделна част от нея и има фиксирана дължина и може да бъде равна на размера на страницата на виртуалната памет.
За модел на прехвърляне предавателният модул е байт. Моделът осигурява максимална гъвкавост, тъй като ви позволява да запазвате и извличате произволен размер на файла, зададен от вътрешно преместване и дължина. Недостатъкът е, че управлението на кеша е по-трудно поради данни за променлива дължина за различни заявки за достъп.
Моделът на трансфер на ниво запис се използва със структурирани файлове и единицата за прехвърляне е запис. Няколко потребители могат да имат достъп до споделения файл едновременно. Важен проблемПроектирането за всяка файлова система е да се определи кога промените в файловете с данни, направени от потребителя, се наблюдават от други потребители.
Форми и местоположение на кеша
Всяка разпределена файлова система на Windows използва своята кеширана форма. Причини за създаване на кеш:
Най-добрата производителност, тъй като многократните повиквания към една и съща информация се обработват чрез допълнителен мрежов достъп и дискови устройства.
Това се дължи на местоположението в шаблоните за достъп до файлове.
Допринася за разширяемостта и надеждността на RFU, тъй като данните могат да бъдат кеширани дистанционно на клиентския сайт.
Основните решения, които трябва да се вземат в схемата за кеширане на файлове за RFS:
Местоположение на кеша.
Изменение на разпределението.
Проверка на кеша.
Местоположението на кеша се отнася до кешираното място за съхранение на данни. Ако приемем, че оригиналното местоположение на файла на диска на сървъра му. В RFS има няколко възможни места за кеш:
Основната памет на сървъра. В този случай кешът попада в един мрежов достъп. Това не помага за скалируемост и надеждност на системата, тъй като всеки кеш за кликване изисква достъп до сървъра. Предимства на метода - лекота на изпълнение, прозрачност за клиентите, простота на запазване на изходния файл в кеша.
Когато се използва клиентски диск, кешът получава един достъп до диска. Това е малко по-бавно, отколкото да има кеш в основната памет на сървъра. Ползите от разпределените файлови системи при използване на клиентски диск осигуряватнадеждност от повреди, тъй като промяната в кешираните данни се губи в случай на повреда. Тази версия с голям капацитет улеснява скалируемостта и надеждността, тъй като в кеш заявката за отдалечен достъп може да се обслужва локално, без да е необходимо да се свързвате със сървъра.
Изменение на разпределението
Когато кешът е разположен на клиентски възли, данните за файловете могат да бъдат кеширани едновременно на множество възли. Възможно е кеш да стане некоординиран, когато данните на файла се променят от един от клиентите и съответните данни, кеширани в други възли, не се променят или отхвърлят. Има два проблема при проектирането:
При разпределяне на промените, направени на тези данни на съответния файлов сървър.
При проверка на автентичността на кешираните данни.
Използваната схема за разпределение на изменение има критично въздействие върху работата и надеждността на системата. Методът "Схема за записване" се използва, когато записът в кеша се промени, новата стойност веднага се изпраща на сървъра, за да се актуализира основното копие на файла. Предимството на метода е високата степен на надеждност и пригодност за UNIX-подобна семантика. Това се дължи на факта, че рискът от възстановяване на данни, загубен при повреда на клиент, е много малък, тъй като всяка модификация незабавно се отнася за сървъра, който има главното копие. Липса - тази схема е подходяща само когато съотношението на ударите към четенето на записа е достатъчно голямо. Това не намалява мрежовия трафик за писане. Това се дължи на факта, че всеки достъп за запис трябва да изчака, докато данните бъдат записани в главното копие на сървъра.
Схема сзабавяне на запис
За да се намали мрежовия трафик за писане, се използва схемата за забавяне на запис. В този случай новата стойност на данните се записва само в кеша и всички актуализирани записи в кеша се изпращат на сървъра по-късно. Има три често използвани закъснения за запис:
Запис, когато се изтласка от кеш. Модифицираните данни в кеша се изпращат на сървъра само когато политиката за подмяна на кеш е решила да извлече данните от кеша. Това може да доведе до добра производителност, но може да има проблем с надеждността, тъй като някои сървърни данни остаряват дълго време.
Периодичен запис. Кешът периодично се проверява и всички кеширани данни, които са били променени след последното сканиране, са изпратени на сървъра.
Закриване. Модифицирането на кеширани данни се изпраща на сървъра, когато клиентът затвори файла. Това малко помага за намаляване на мрежовия трафик за файлове, които са отворени в много кратки периоди или рядко се променят.
Предимства на схемата за забавено записване:
Записът за достъп се изпълнява по-бързо, защото новата стойност се записва само в кеша на клиента. Това води до повишена производителност.
Модифицираните данни могат да бъдат изтрити, преди да е време да ги изпратят на сървъра, например временни данни. Тъй като модификациите не трябва да се прилагат към сървъра, това води до значителни увеличения на производителността.
Събирането на всички актуализации на файлове и изпращането им на сървъра е по-ефективно, отколкото изпращането на всяка актуализация поотделно.
Липсата на схема, забавена от запис - надеждността все още може да бъде проблематична, тъй като промените, изпратени на сървъра от кеша на клиента, ще бъдат загубени.
Репликация като механизъм за достъпност
Високата достъпност е добра функция на разпределената файлова система, а репликацията на файлове е основният механизъм за подобряване на наличността на файловете. Репликираният файл е файл, който има няколко копия, всяка с отделен сървър. Разликата между репликацията и кеширането
Реплика на файл се свързва със сървъра, докато кешираното копие обикновено се свързва с клиента.
Наличието на кеширано копие зависи преди всичко от местоположението в шаблоните за достъп до файлове, докато наличието на реплика обикновено зависи от изискванията за наличност и производителност.
В сравнение с копие от кешираната реплика, то е по-трайно, широко известно, безопасно, достъпно, пълно и точно.
Кешираното копие зависи от репликата. Само кеширано копие може да е полезно, като периодично се проверява за реплика.
Предимства на репликацията:
Повишена наличност. Алтернативните копия на репликираните данни могат да се използват, когато главното копие е недостъпно.
Повишена надеждност. Поради наличието на излишни файлове с данни е възможно да се възстанови от катастрофални сривове, например срив на твърдия диск.
Подобрено време за реакция. Тя позволява достъп до данни или локално, или от възел, чието време за достъп е по-малко от времето за достъп до оригиналното копие.
Намаляване на мрежовия трафик. Ако реплика на файл е налична с файлов сървър, разположен на сайта на клиента, заявката за достъп до клиент може да се обслужва локално, което намалява мрежовия трафик.
Подобрена пропускателна способност на системата. Множество клиентски заявки за достъп до файл могат да бъдат обслужвани паралелно на различни сървъри, което увеличава честотната лента на системата.
Подобрена скалируемост. Няколко сървъра са достъпни за обслужване на клиентски заявки поради репликацията на файлове. Това подобрява скалируемостта.
Конфигуриране на дейността на клиента при прекъсване на връзката
Често срещан проблем с DFS е появата на съобщението "Disconnected DFS File Disconnected Client". Microsoft трябва да реши този проблем, за да направите това, трябва да активирате клиента на сървъра, например Windows Server 2012 R2. Алгоритъм на действия:
Отворете "Мениджър на сървъри" и изберете "Управление на DFS" в раздела "Инструменти", ако потребителят не може да го намери, трябва да добавите функцията DFS Namespace.
Щракнете върху мишката и изберете съветника "Нови имена".
Посочете името на хоста, наименовайте неговото собствено пространство от имена на разпределената файлова система DFS.
Кликнете върху „Създаване“ и в зоната DFS.
Включва споделени папки в DFS.
Изберете пространството от имена и щракнете върху папката Нова папка.
Обединяване на няколко папки в уникална виртуална папка.
Можете да видите, че пътя Domain_NameNamespace_NameVirtual_folder_name е създаден.
След това съобщение "услугата за разпределена файлова система не е такаваинсталиран ”, няма да има повече.
Система за споделяне на мрежови ресурси в Linux
NFS е най-разпространената файлова система за споделяне на мрежови ресурси. Най-често срещаната версия е NFS v2. Тази разпределена Linux файлова система се държи като най-високото ниво на локалната файлова система. Достъпът до отдалечени файлове е чрез RPC процедури. Той не се интересува от статуса на сървъра, който е наличен или недостъпен и използва много малко технологии за кеширане. Освен това сигурността на тази система се основава на доверието на клиентите. Всъщност това е клиентски идентификационен номер, който се предава, за да се запознаете с правата за достъп до ресурси. NFS v3 е еволюция на NFS и в момента се използва в днешния патентован Unix, който изпълва някои от пропуските в последния. Тази дефиниция на разпределена файлова система, структурно ви позволява да поддържате големи файлове с размер 264-битова мощност, както и да проверявате правата за достъп на сървъра. Те могат да се основават на традиционната Unix удостоверяване или да използват допълнително удостоверяване, като Kerberos. Версията осигурява възможност за асинхронно записване на данни, което му дава по-добра производителност. Повечето други операции обаче остават синхронни. Поддръжката на NFS v3 в момента е в експерименталната фаза на ядрото на Linux и е много ефективна.
Мащабируеми блокови хранилища
Ceph е софтуер, предназначен да предостави мащабируеми обекти, блокове и хранилища на файлове в системата. Кластери за съхранениеРазпределената Ceph файлова система е проектирана да работи на стоково оборудване, използвайки алгоритъма CRUSH, за да осигури равномерно разпределение на данните от клъстера, след което всички възли в клъстера могат бързо да получават данни без централизирани пречки. Ceph е достъпен чрез Amazon Simple (S3) и OpenStack Swift (REST) на базата на интерфейси за приложно програмиране и роден API за интеграция със софтуерни приложения. Блокираното хранилище Ceph използва заключване, което е виртуален диск и може да бъде свързано към Linux базирани сървъри или виртуални машини с отворен код. Самостоятелно Ceph разпределено хранилище с разпределени обекти (RADOS) осигурява надеждни възможности за съхранение като снимки и копиране. Блоковото устройство CeF RADOS е интегрирано да работи като задна част с блоковото съхранение на OpenStack. Хранилището на Ceph файла използва CephFS-съвместимата POSIX файлова система (CephFS) за съхраняване на данни в Ceph клъстера за съхранение. CephFS използва същата система от клъстери като Ceph блок-хранилището и Ceph's хранилището.
Предимства на разпределената файлова система
От техническа гледна точка, той предоставя достъп до обща директория, която не съдържа файлове, а само преходи и допълнителни поддиректории с голям брой преходи. Преходите са подобни на меките връзки, известни от Unix файловата система, но се отнасят до общи директории и могат да сочат към споделени директории на други сървъри. Първо, клиентите питат DFS сървъра за връзката и след това се свързват със сървъра с файла, към който сочи връзката.Основната цел на използването на разпределената файлова система DFS е да се създаде алтернативно пространство от имена (представяне на дърво на директории), което скрива детайлите на основната инфраструктура от потребителите. Пътищата, които потребителите виждат и извикват имена на DFS, не се променят при преименуване на сървъри или при преместване на някои от директориите на друг сървър. Администраторите могат просто да заменят остарелото име с ново, което сочи към нова цел. Името може да посочи повече от една цел, т.е. да предостави няколко алтернативни връзки към клиента за различни споделени папки. В този случай клиентите на разпределената файлова система DFS имат достъп до всяка от целите. Това осигурява балансиране на натоварването и автоматично преминаване към друг сървър, ако един от сървърите се провали. Благодарение на DFS вече няма строга връзка със сървъра. Паметта е представена като пул с голям капацитет, зад който са скрити файловите системи за потребителя. Всъщност, това е изключително полезен инструмент за справяне с нарастващите изисквания, че файловата система разпределя дисковото пространство на новите сървъри според изискванията за наличност. Технологиите, като Windows DFS, са от полза за всяка компания, голяма и малка. За големите компании аспектът на по-гъвкавото използване на ресурсите за съхранение се изплаща. Тъй като всички дискове са част от виртуалната памет, няма повече неизползвани или преливащи дискове и масиви. По-малките компании оценяват стандартизацията на администрацията. Благодарение на неяОграничените ресурси са трудни за проследяване на пълни сървъри, актуализират ги своевременно до големи дискове и разпределят пространството между приложенията. DFS не представлява пространството за съхранение по такъв начин, че потребителите и приложенията искат да го видят, защото наистина съществува. И тъй като сървърният и клиентският компонент са неразделна част от операционната система Windows, процесът на инсталиране и конфигуриране изисква малко усилия от страна на администратора и на практика не засяга работата на потребителите. Разработчиците са интегрирали цялостното управление на разпределената файлова система на Windows DFS, конзолата е единична точка за управление на няколко системи DFS. Графичните инструменти улесняват преглеждането и мониторинга. Управлението е възможно дори на уебсайтове.
