Instalarea unei părți mari de cluster linux 4

Această serie se adresează arhitecților și inginerilor de sisteme de sisteme pentru a planifica și implementa un Linux-cluster folosind Cluster IDE IBM eServer 1350 (link-uri către informații suplimentare despre acest mediu, consultați „Resurse“). Unele articole pot fi utile administratorilor atât ca materiale didactice, cât și când sunt folosite în funcționarea clusterului. Fiecare parte a acestei serii de articole se referă la același exemplu de instalare.

Prima parte a acestei serii oferă instrucțiuni detaliate pentru instalarea hardware-ului de cluster. A doua parte se referă la următoarele acțiuni după configurarea hardware: instalarea software-ului utilizând programul de management al sistemelor IBM Cluster Systems (CSM) și instalarea nodurilor.

Această secțiune detaliază problemele specifice privind gestionarea serverului de cluster (CSM) asociate cu sistemul de stocare a clusterului. Acestea includ instalarea codului GPFS pe fiecare nod și configurarea adaptoarelor Qlogic pentru nodurile sistemului de stocare. Rețineți că această setare nu trebuie făcută utilizând CSM; se poate face manual. În exemplul acestui articol, CSM este folosit pentru a automatiza aproape complet instalarea unui server nou, inclusiv un server de stocare.

Instalarea în ordinea corectă este o condiție prealabilă pentru depășirea problemei de depășire ROM descrisă mai târziu, deoarece sistemele xSeries ™ 346 utilizate în această configurație nu au carduri RAID 7K. Faceți următoarele în ordinea indicată:

  1. Rulați comanda csmsetupks -vxn pe serverul de administrare.
  • Deconectați serverul de stocare de la SAN pentru a evita instalarea sistemului de operare pe discurile SAN detectate mai întâi.

  • Rulați comanda installnode -vn pe serverul de administrare.

  • Apăsați F1 în consolă după ce reporniți nodul de stocare pentru a intra în BIOS.

  • Mergeți la secțiunea Opțiuni de pornire și schimbați PXEboot de la dezactivat la activat pentru planetar ethernet 1.

  • Reporniți nodul; instalarea va începe.

  • Urmați instalarea prin serverul terminal; lăsați nodul să finalizeze complet boot-ul inițial.

  • Reporniți nodul după finalizarea lucrării de repornire.

  • Apăsați F1 pe consola după ce reporniți nodul pentru a intra în BIOS.

  • Accesați secțiunea Opțiuni de pornire și schimbați PXEboot la dezactivat.

  • Conectați cablurile SAN și așteptați ca nodul să se încarce.

    GPFS cere ca toate nodurile din grupul GPFS să poată accesa reciproc folosind un ID rădăcină fără a oferi o parolă. GPFS folosește acest acces inter-nod pentru a permite oricărui nod din grupul GPFS să execute comanda corespunzătoare pe alte noduri. Exemplul din acest articol folosește ssh (coajă securizată) pentru a oferi acces, dar puteți utiliza și rsh (shell remote). Pentru aceasta, creați o cheie care se referă la întregul cluster și la fișierele de configurare corespunzătoare pe care le distribuiți utilizând CSM, urmând acești pași:

    1. Creați două directoare noi în /cfmroot/root/.ssh și / cfmroot / etc / ssh.
  • Creați o pereche de chei RSA, chei publice și private pentru autentificare, executând comanda


  • Creați o pereche de chei DSA, chei publice și private pentru autentificare, executând comanda

  • Numele NSD rezultat

    Folosind fișierele descrise mai sus, determinați următoarele trei grupuri de alarme în configurație:

    • Discurile din primul controler DS4500, adică disk01.
  • Discurile din cel de-al doilea controler DS4500, adică disk02.

  • Discul Conflict Resolution Server din nodul cvorum.
  • Următorul pas este să porniți clusterul GPFS făcând următoarele:

    1. Rulați GPFS pe toate serverele NSD în același timp pentru a preveni etichetarea NSD ca inactivă. Utilizați următoarea comandă: mmstartup -w stor001_s, stor002_s, stor003_s, stor004_s.
  • Rulați GPFS pe toate celelalte noduri care nu sunt servere NSD (inclusiv serverul serverului de rezolvare a conflictelor). Utilizați următoarea comandă: mmstartup -w quor001_s, mgmt001_s.

  • Rulați GPFS pe toate nodurile de calcul de la nodul de control. Utilizați următoarea comandă: dsh -N ComputeNodes / usr / lpp / mmfs / bin / mmstartup.

  • Verificați starea tuturor nodurilor navigând fișierul /var/adm/log/mmfs.log.latest al managerului actual al sistemului de fișiere (detectat cu comanda mmlsmgr ) și ieșirea din următoarea comandă: mmgetstate -w dsh -N ComputeNodes / usr / lpp / mmfs / bin / mmgetstate.
  • Această metodă poate părea prea prudentă, dar este aleasă ca o metodă scalabilă care va funcționa pentru un grup foarte mare. Alternativa la metoda de mai sus este de a folosi mmstartup -a. Aceasta funcționează pentru clustere mai mici, însă este posibil să dureze mult timp pentru a reveni din comanda pentru un cluster mare în care nodurile nu pot fi disponibile din diverse motive, cum ar fi problemele de rețea.

    De exemplu, un sistem de fișiere GPFS mare este creat utilizând toate NSD-urile definite pentru GPFS. Rețineți că comanda utilizată, spre deosebire de comanda mmcrnsd de mai sus. ca argument, fișiere descriptor de disc modificate. Aceasta necesită îmbinarea informațiilor afișate în fiecare etapă la crearea NSD.

    Exemplu de cluster utilizează următoarele setări:

    • Toate NSD-urile (setate cu -F).
  • Punct de montare: / gpfs

  • Montare automată: da (setată cu -A).

  • Dimensiunea blocului este de 256KB (este setată cu -B).

  • Replicare: două copii ale datelor și metadatelor (setate cu -m. -M. -r.-R).

  • Numărul de gazde care montează sistemul de fișiere 1200 (presupunând că este setat cu -n).

  • Sunt permise cote (setate cu -Q).
  • Iată comanda completă:

    Pentru prima dată după crearea / gpfs, acesta este montat manual. Apoi, cu parametrul automount activat, acesta este montat automat când porneste nodul GPFS.

    Puteți modifica cotele individuale pentru un utilizator sau un grup folosind comanda mmedquota -u . Utilizatorul își poate afișa cota cu comanda mmlsquota. Utilizatorul superuser poate afișa starea cotelor de sistem de fișiere utilizând comanda mmrepquota gpfs.

    Acest cluster este configurat astfel încât GPFS să fie executat automat de fiecare dată când serverul se încarcă, adăugând o intrare în / etc / inittab utilizând comanda mmchconfig autoload = yes.

    Utilizați poolul de pagini (grupul de pagini) al GPFS pentru a memora datele utilizatorilor și metadatele sistemului de fișiere. Mecanismul de pagini permite GPFS să implementeze asincron cererile de citire (precum și scrierea). Creșterea dimensiunii pachetului de pagini crește cantitatea de date sau metadate pe care GPFS le poate memora cache fără a necesita intrarea / iesirea sincronă. Valoarea implicită pentru pool-ul de pagini este de 64 MB. Valoarea maximă a bazei de date GPFS este de 8 GB. Valoarea minimă permisă este de 4 MB. În sistemele Linux, mărimea maximă a paginii este jumătate din memoria fizică a computerului.

    Pagepool dimensiunea optimă depinde de cerințele de aplicare și punerea în cache eficientă a datelor care se face re-acces. Pentru sistemele cu aplicații care accesează fișiere de mari dimensiuni, re-utilizarea datelor, folosind avantajele preaducere funcționalitate GPFS (preîncărcarea) date sau operațiuni de scheme de lucru aleatoriu I / O, creșterea valorii pagepool poate îmbunătăți eficiența. Cu toate acestea, dacă valoarea este prea mare, GPFS nu va porni.

    Pentru exemplul nostru de cluster, utilizați valoarea poolpool de 512 MB pentru toate nodurile din cluster.

    Pentru a optimiza performanța rețelei și, prin urmare, de GPFS, activați jumbo-cadre prin setarea dimensiunea MTU pentru adaptorul de rețea, stocarea de date în 9000. Lăsați parametrul / proc / sys / net / ipv4 / tcp_window_scaling permise, deoarece setarea implicită este. Fereastra setărilor TCP ajustat folosind CSM-script-uri în timpul instalărilor, adăugând următoarele linii în /etc/sysctl.conf ca NSD-servere si NSD-clienti:

    Setările memoriei cache a serverului de stocare, dacă acestea sunt instalate incorect, pot afecta performanța GPFS. Exemplul utilizează următoarele setări ale controlerului DS4500 recomandate în documentația GPFS:

    • Citiți memoria cache: activată
    • Citiți multiplicatorul următor: 0
    • Scrieți memoria cache: dezactivată
    • Scrieți oglindirea cache-ului: dezactivată
    • Dimensiunea blocului cache: 16K

    Asta e tot! A trebuit să instalați cu succes un cluster mare de Linux, urmând exemplul din această serie de articole. Aplicați aceste principii pentru a instala cu succes propriul cluster Linux.

  • Materiale de referință pentru IBM TotalStorage DS4500:
    • IBM TotalStorage DS4500 pagina Web.
    • Pagina de asistență IBM DS4500.

  • Materiale de referință pentru modulul de expansiune al sistemului de stocare a datelor cu ajutorul cablului cu fibră optică IBM TotalStorage DS4000 EXP710:
    • IBM EXP710 pagina de produs.
    • IBM EXP710 pagina de suport.

  • Materiale de referință pentru comutatoarele SAN IBM TotalStorage H16:
    • Pagina generală a produsului IBM SAN Switch H16.
    • Pagina de suport IBM SAN Switch H16.

  • Vrei să afli mai multe? În zona DevelopersWorks IBM Systems, veți găsi multe articole informative și tutoriale pentru complexitatea inițială, medie și avansată.

    Obțineți produse și tehnologii

    • Cea mai recentă versiune a Managerului de stocare pentru hardware-ul dvs. pe pagina de fișier pentru a descărca DS4500.
  • Dezvoltați următorul proiect utilizând software-ul de testare IBM. disponibilă pentru descărcare direct de la dezvoltatorWorks.

    Articole similare