Tag Archives: linux

ubuntu 16.04 pxe install

De anul trecut am trecut incet, incet spre DevOps. Mai bag si pe security, da mai rar in ultima vreme.

Doar Ops n-am mai facut de ceva vreme si evident, ca m-am mai ramolit un pic pe partea asta. Iar cu Dev-ul din DevOps  o lalai in Python, ca e bun pentru a programa chestii de sistem.

Pentru un client nou, am avut de facut un server de deployment pentru niste servere fizice astfel incat sa bagi serverul poaspat scos din cutie in priza, sa-l conectezi la retea si 15min mai tarziu sa-l ai instalat. Bine, depinde de viteza mirror-ului asta, ca prin unele tari merge intrnetul de zici ca’l aduc cu galeata.

Ca si distro am folosit Ubuntu 16.04 LTS pentru ca $reasons.

Partea usoara e sa instalezi un server de TFTP si un server de DHCP care sa aloce IP-uri si sa spuna la clienti cum se cheama fisierul pentru BOOTP.

Ca si server de deployment am folosit tot un Ubuntu 16.04, sa fie instalarea intre prieteni sa mearga bine si fara probleme :))

Si pentru ca multe servere, evident ceva care sa faca orchestrare si management. Si ca ziceam mai sus ca o lalai cu Python, SaltStack a fost raspunsul.

Asa ca, cum se face sa deployezi multe servere fizice in vremea lui AWS, GCP si Azure:

  1. Se instaleaza atftpd, se modifica  /etc/default/atftpd si se schimba USE_INETD din true in false. Dupa care systemctl enable atftpd si systemctl start atftpd.
  2. Se downloadeaza un ISO de Ubuntu Server 16.04 si se monteaza cu loop pe sistem.
  3. Se copiaza de unde s-a montat ISO continutul directorului netboot in /srv/tftp.
  4. Dupa nevoie se editeaza /srv/tftp/boot-screens/menu.cfg astfel incat sa bata cu realitatea la fata locului. Cateva note la exemplul meu:
    1. installerul e retardat si daca serverul de DNS raspunde cu AAAA RRs, o sa vrea sa se conecteze pe IPv6 la mirror, chiar daca nu are ruta default pe IPv6.
    2. A.B.C.D se inlocuieste cu adresa IP a serverului de TFTP
    3. eno3 e cum stiu eu ca se cheama interfata de retea pe care o foloseste masina ce va fi instalata pentru DHCP, pentru ca in cazul meu aveam mai multe interfete si se blocheaza installer-ul si te pune sa alegi una (chiar si cu optiunea auto tot la fel face).
  5. Se creeza /srv/tftp/preseed/ubuntu-16.04-preseed.cfg unde se va scrie configuratia pentru installer. La fel, cateva note la exemplul meu:
    1. Installer-ul va crea un setup de tip RAID10 din primele patru discuri de pe sistem. Recipe-ul de RAID l-am bunghit cu #mumu help, ca nu prea e documentat cum se face. E un pic de magie in toata treaba aia.
    2. Peste va configura LVM si / va fi un LV de 30GB pe VG-ul nou creat.
    3. In cazul in care masina va avea mai multe interfete de retea, trebuie specificat ce intefata sa foloseasca in mod automat. Altfel va sta ca boul asteptand sa selectezi pe care sa o folosesti.
    4. $magic_postinstall_setup_script poate fi orice script (bash, python, perl etc.) care face chestii pe sistem inainte de reboot dupa instalare. Scriptul asta de obicei se pune pe un server web, se downloadeaza si se executa. O sa revin mai tarziu cu ce si cum.
  6. Se instaleaza isc-dhcp-server si se modifica /etc/dhcp/dhcpd.conf sa dea adrese dintr-un pool la clienti si se adauga urmatoarea optiune in definitia de subnet:
  7. filename "pxelinux.0";

    systemctl enable isc-dhcp-server si systemctl start isc-dhcp-server.

  8. Se buteaza o masina fizica si se asteapta pana termina de instalat. Daca da oroare sa ceva, trebuie fixata in fisierul de preseed, reboot si de la cap cu instalarea pana merge. Nu exista checker pentru fisierul de preseed. Pe mine m-a enervat maxim treaba asta ca instalarea se facea pe niste Dell R430 si pana buteaza alea mori incet.

Ziceam mai sus ca inainte de reboot, pot da comenzi in sistemul nou instalat sa-l configurez cumva inainte sa porneasca prima oara.

d-i preseed/late_command string \
 in-target wget -P /tmp/ -t 0 -c http://A.B.C.D/myscript.sh; \
 in-target chmod +x /tmp/myscript.sh; \
 in-target /tmp/myscript.sh; \
 in-target wget -P /tmp/ https://repo.saltstack.com/apt/ubuntu/16.04/amd64/latest/SALTSTACK-GPG-KEY.pub; \
 in-target apt-key add /tmp/SALTSTACK-GPG-KEY.pub; \
 /bin/echo "dev.raid.speed_limit_max = 1000000" >> /target/etc/sysctl.conf; \
 /bin/echo "deb http://repo.saltstack.com/apt/ubuntu/16.04/amd64/latest xenial main" > /target/etc/apt/sources.list.d/saltstack.list; \
 in-target apt-get update; \
 in-target apt-get install -y salt-minion

Se pot da comenzi succesive in late_command. Ce trebuie stiut:

  1. Cuvantul in-target ii zice installer-ului sa faca chroot() in noul sistem si sa execute comanda de acolo.
  2. Comenzile date fara in-target se ruleaza de pe mediul de instalare (din installer cum s-ar zice).
  3. Se foloseste combinatia normala + in-target ca unele comenzi nu merg in chroot, ca de exemplu echo $stuff merge doar din installer, in chroot nu merge. Poate imi scapa mi ceva, dar sa stau sa debughez asta dura prea mult.

Ziceam ca pentru orchestrare si configurare am mers pe SaltStack. Eu pentru ca are minioni, colegul de proiect ca i s-a luat de Puppet. Bine, nici eu nu m-am omorat dupa Puppet ca e scris in Ruby.

Cine a facut SaltStack asta a fost inteligent si minionii daca n-au nici o configuratie, o sa incerce sa se lege la salt.domain.name. Si asta inseamna ca tot ce trebuie sa am este un salt-master instalat si configurat acolo un pic, configurat DNS-ul atfel incat salt.domain.com sa bata la un serverul pe care ruleaza salt-master si, dupa ce fiecare masina fizica se rebuteaza, minionul se va conecta automat la salt-master. Magie adevarata.

salt-key –accept-all este raspunsul la intrebarea cum confirm ca minionii inregistrati sunt ai mei :)

turop

Pentru un proiect de-al meu, in scop didactic, am nevoie sa pot emite certificate digitale cat mai usor cu putinta. Si cum tot am inceput sa mai apas butoane si in limbaje de programare, am zis ca ce bine, pot sa scriu ceva simplu pe web.

Asa ca azi am creat turop, o aplicatie web in care cine are nevoie face paste la CSR si primeste un certificat digital inapoi. E mega quick & dirty, in special dirty. Da merge si isi face treaba.

ammit

De ceva vreme am tot cochetat cu invatatul de Python in contextul dezvoltarii de chestii web based (sa le zicem servicii). Pentru ca am tot felul de idei, da nu prea stiu programare, m-am apucat sa fac experimente micute sa inteleg cum functioneaza treburile, cum se leaga componentele intre ele si alte lucruri din astea super de baza.

Unul din experimentele astea se cheama Ammit si  este un URL shortener foarte basic bazat pe Bottle si Redis (via redis-py). Poate fi rulat ca aplicatie UWSGI din nginx. Ce e comis pe GitHub, ruleaza ca si standalone app pentru testare/dezvoltare.

GitHub il folosesc ca sa invat de stuff cu git si version control.

pyodbc & centos 6

Pe CentOS 6, versiunea de pyodbc este 2.1.7 si are un mic bug atunci cand are de interoperat cu baze de date care tin mortis sa dea datele encoded UTF-16 si face double-encoding la orice rezultat primit de la baza de date in urma unei interogari, daca ruleaza pe un sistem pe 64 de biti (cam asta am inteles io din descrierea problemei).

Descrierea BUG-ului se afla la https://code.google.com/p/pyodbc/issues/detail?id=78 iar rezolvarea se face prin modificarea unei singure linii de cod si stergerea unei litere :)

La http://www.imacandi.net/sin/blog/wp-content/uploads/2015/09/pyodbc-2.1.7-1.el6.x86_64.rpm se gaseste un RPM cu pyodbc patchuit si recompilat.

Cu ocazia asta mi-am adus aminte si de cum se foloseste rpmbuild.

open air 2015

Din categoria sa se mai intalneasca si linuxarii la o bere, weekend-ul asta am fost la o iesire  cu diversi oameni pe undeva pe langa Bran sa ne relaxam, sa discutam una alta de diverse chestii care au mai mult sau mai putin de a face cu calculatoarele si sa ne plimbam pe munte.

Vineri a fost light, toata lumea obosita dupa drum, cu discutii din astea mai mult despre companiile mari si rele care abuzeaza consumatorii si angajatii. Dar goosfraba, si lasat ignorantii in lumea lor.

Sambata m-am trezit fara nici o durere de cap, doar un pic nedormit ca am avut un sforaitor in camera si camera era pe partea cu soarele si s-a facut cald repede de tot si a devenit nasoala atmosfera.

Pe la 11 asa am luat-o incetisor la o plimbare pe munte sa vedem natura si ce alte chestii se mai pot vedea pe munte. Si am mers asa pana am gasit o scurtatura spre unii din grup care o luasera inainte. Si dupa un pic de gandeala am zis sa ne luam dupa o femeie si sa mergem inainte ca stie ea cum ajungem inapoi unde stateam. Si am mers, si am mers, si am mers. Am gasite niste poteci, niste alti munti, niste paduri, am gasit un izvor cu apa care avea gust de oaie, niste alte poteci. La un moment dat am zis sa facem o chestie nu foarte barbateasca, si anume am dat de un om intr-o curte si l-am intrebat cu cum ajungem unde vroiam noi sa ajungem. Anyway, long-story short dupa vreo ~10-12km asa si vreo 4 ore jumate am ajuns inapoi la pensiune.

Noroc ca mi-am luat sapca cu mine ca altfel o sugeam maxim ca a fost un soare puternic de nu se poate.

La cabana am bagat ca spartul si pe nerasuflate in mine vreo 3 farfurii de ciorba de fasole cu afumatura si tot as mai fi mancat ceva.

Am ars-o aiurea pana mai pe seara cand a venit cina unde iar am mancat ca spartul de foame ce-mi era dupa tot mersul pe coclauri. Contrar experientei trecute, am mancat berbecut facut la protap fiind convins de cineva ca berbecul e diferit de oaie :)

Seara in timp ce vorbeam cu un prieten de ce-am vazut la o expozitie prin Bucuresti, de ce jucarii foloseam cand eram copii am zis si ‘aveau planurile de fumigena’. Si asa ni s-au facut ochii mari la amandoi, ca staniol aveam ca mancasem niste ciocolata iar pensiunea avea o masa de ping-pong. Si uite asa am ciordeles una din mingiile de pingpong si ne-am pus pe treaba. Pentru ca nu mai stiam cum se face am cautat pe youtube tutorial. Primul film incepea cu “… se ia azotat de amoniu si…”. Acolo l-am oprit ca povestile care incep cu “azotat de amoniu” se termina cu “… si pensiunea a explodat”. Adica faceam fumigena, da un pic cam mare decat ne-am fi dorit. Si in plus era noapte si nici azotat nu aveam. Asa ca am trecut la al doilea filmulet unde era ce cautam.

Dupa un pic de munca am asamblat fumigena, ne-am intors cu ea la masa si dupa o prima tentativa esuata de a-i da foc, a doua oara a luat-o si am aruncat-o pe sub masa. Unii nu prea stiua care e treaba, altii cu “hai ba sin, ce pula mea” si unul a dat-o cu “mmm, mirosul copilariei”. S-a disipat repede fumul ca eram pe terasa si dupa aia ne-am continuat discutiile pana cand aproape a rasarit soarele.

Am reusit sa dorm vreo 3 ore, dupa care mic dejun, salutat lumea si inapoi spre casa. Pe DN1 am mers bara la bara cam de pe la cativa kilometri de la iesirea din Predeal spre Bucuresti pana dupa Busteni.

Am ajuns pisat pe mine e oboseala, dar am mai rezistat eroic vreo doua ore pana m-am luat somnul pe la 5 si ceva asa.

Care somn nu m-a tinut mult pentru ca a inviat berbecul in mine si m-am trezit cu un rau si-o greata de m-a facut muci complet. Mai rau ca atunci cand beam de uitam cum ma cheama :( Dupa cum ziceam mai devreme, nu m-a dus mintea sa stau departe de oaie :((

Azi am ars-o la orizontala, pe la 3 asa am putut sa bag ceva mancare solida in mine si sa nu mi se mai faca greata.

Daca nu ma manca in cur sa fiu viteaza cu oaia, cred ca ar fi fost super ok toata treaba.

beghepe beghepe

De ieri pana azi am behait pe langa o banala problema de BGP intre doua linux-uri pe care ruleaza Quagga. Sesiunea se ridica, se reseta si dupa aia ca la budist, ciclul se repeta.

Da-i cu tcpdump, da-i cu debug in Wireshard, ce-are, ce-are. Nu-mi sarea nimic in ochi iesit din comun. Config la fel pe ambele routere, verificat linie cu line, totul in oglinda. Da tot nu mergea.

Azi dimineata m-a pocnit, quagga de capul lui nu-si pune totdeauna router-id corect si atunci foloseste 0.0.0.0. Eh, 0.0.0.0 pe post de router-id nu e chiar cea mai fericita optiune si se pare ca e chiar invalida conform RFC-ului, asa ca dupa ce-am schimbat router-id la o valoare mai apropiata de adevar, s-a ridicat instanat sesiunea si acu sunt si io fericit ca merge stuff-ul cum trebe :)

upgrade server LUG

A venit vremea ca serverul ce deserveste serviciile *.lug.ro sa fie actualizat la o configuratie mai din zilele noastre.

De aceea, pentru cine citeste acest blog a folosit sau foloseste serviciile lug.ro este invitat, daca se poate si in masura posibilitatilor sa faca o mica donatie in contul Asociatiei ProLinux pentru a strange banii necesari achizitionarii serverului respectiv.

La adresa http://wiki.lug.ro/mediawiki/index.php/Hardware_Requirements (inclusiv pagina de discutii) puteti vedea configuratia stabilita.

Mesajul care contine si datele bancare ale asociatiei poate fi gasit la http://lists.lug.ro/lurker/message/20100324.175956.be8fe057.en.html.

In alta ordine de idei, dati stirea mai departe sa se mai adune oameni care sa contribuie la ajutorarea comunitatii.

Multam fain.

mysql & oracle

De ceva vreme Oracle tot incearca sa-i cumpere pe Sun. Si de ceva vreme ba s-a opus Departamentul de Justitie in SUA, ba Comisia Europeana in Europa. Cica chestii antitrust, c’ar fi nasol daca Oracle ar avea si hardware pentru bazele de date. Departamentul de Justitie a zis ca OK, Oracle poate face plata. UE inca se mai caca in sus in aceasta privinta – ca se pare ca apucat-o dragul de MySQL si despre soarta lui in mainile lui Oracle.

MySQL e GPL. Se face fork si se continua dezvoltarea fara probleme. Nu stiu ce pisici e asa greu sa priceapa si Comisia Europeana.

Si ca sa fie treaba treaba, gigi ala de’a facut MySQL prima oara pune gaz pe foc ca vai, Oracle o sa puna gheara pe MySQL si ca o sa ceara bani pe el and stuff si ca o sa fie monopol. Asta avand in vedere ca MySQL in continuare e GPL, asa ca nu e nimic oprit sa si-l dezvolte in continuare daca vrea sa-l foloseasca. Si uite asa s-a apucat el de impartit panica pe ici si pe colo impotriva lu Oracle.

Ce uita el in schimb e ca a vandut MySQL lui Sun acu ceva timp pentru 1 miliard de verzisori. Si cu miliardul ala de verzisori in buzunar si-a pierdut dreptul de a-si da cu parerea in privinta a ce se intampla cu MySQL. Simple as that.

Parerea mea e ca e un ipocrit si jumatate, dupa ce-a bagat banii in in buzunar de la Sun sa chitatie ca ce nasol ca o sa fie vandut mai departe la Oracle. De fapt, pe langa faptul ca e ipocrit, e si nesimtit cu chitaiala asta.

Lumea zice c’ar fi de fapt inca una din metodele de competitie corecte practica de Microsoft in razboiul bazelor de date. Si ca Monty ala ar fi luat ceva verzisori si de la MS sa produca atata FUD. Nasol cand iti intuneca banii mintea. Sau ura chioara fata de un vendor anume.

[geek stuff] iscsi micro howto

Stand io aseara pe #mumu (ca orice geek care se respecta sambata seara) am prins o discutie de iSCSI over IPSec over Wireless over ADSL. Anyway, ideea era ca merge – incet, repede, mergea.

Si brusc m-a pocnit ideea: ce-ar fi sa pun si io iSCSI pentru backup-uri. Si’am pus. E click click toata jmecheria: exporti niste partitii sau fisiere mari de tot care vor fi un fel de imagini de discuri (cum e cazul meu unde am o partitie maaaare de tot pe care n-o pot micsora).

La mine setupul a fost asa: Linux (target) – router … ISP Cloud … router – Windows server (initiator).

Pe Linux a facut doua imagini mari si late de cate 500GB cu dd:

dd if=/dev/zero of=issci_1.img bs=4M count=128000
128000+0 records in
128000+0 records out
536870912000 bytes (537 GB) copied, 2991.13 seconds, 179 MB/s

Dupa care imaginea asta am exportat-o cu tgtd. tgtd asta face parte din scsi-target-utils-0.0-5.20080917snap.el5 (CentOS 5.3).

se editeaza /etc/tgt/targets.conf si se baga cateva linii acolo:

<target iqn.2009-01.domeniu.ro:tgtd>
backing-store /iscsi_export/iscsi_1.img
</target>

Dupa care /etc/init.d/tgtd start. Da, stiu ca se poate face si cu atentificare and stuff, insa io nu l-am putut convinge pe Windows sa se autentifice si nici target daemon-ul nu are documentatie.

Pe Windows se downloadeaza si se instaleaza Microsoft iSCSI Initiatior tools. Dupa care se ruleaza, se adauga serverul de discovery – in cazul meu numele de DNS sau adresa IP a serverului Linux, se face “Log on…” pe volumul exportat si se porneste Disk Management care va vedea un nou disk in sistem de 500GB pe care ne va ruga frumos sa-l initializam si sa facem partitii pe el.

Io am facut o singura partitie, pe care ma screm sa fac backup la stuff. Azi am rulat primul backup de test si avand in vedere ca reteaua intre Windows (initiator) si Linux (target) este de 100Mbps, am avut rezultate foarte imbucuratore:

iscsi_ntbackup_transfer_rate

Adica ~ 124GB in 4 ore si ~ 20min.

Dintr-un motiv numai de Microsoft inteles, varianta de 64 de biti a iSCSI initiator pentru Windows 2003 64bit necesita restart la server. Aia pe 32 de biti pentru Windows 2003 32bit nu are nevoie de reboot.

Acu mai trebuie sa invat niste Windows Scripting sa rezolve niste chestiuni, si-o sa am si io backup cum trebuie fara sa ma doara creierul foarte tare.