Dagbladet og VG på nynorsk (korleis?)

I dag lanserte me endeleg dei tvo sidone nynorskvg.no og nynorskdb.no som me hev jobba med i nesten eit år no. Det er del av Norsk Målungdom sin haustkampanje, «Opphev nynorskforbodet i Dagbladet og VG».

Eg hev stått for alt det tekniske, og alt saman putrar og går på ein tenar hjå Linode i London. Veldig mykje av tidi mi hev gått med til å uroa meg yver kva som skjer dersom sida fær ein del trafikk. So i det høve har eg måtta lært meg ein heil del ny teknologi for å kunna skalera det heile ut til fleire maskiner dersom det vert litt for populært for ei maskin.

Det var berre 5 minutt med batteri att på maskina nett, so de fær leva med elendig teikning. Dessutan gløymde eg at Varnish eigentleg er der eg hev skrive nginx (lastfordelar), men dei er uansett ute av funksjon – det er noko eg putter inn dersom me treng meir fart på frontenden.

Den store svarte ulven her er apertium, som er hovudgrunnen til at ting går råtreigt. Apertium et lett 80-200 MB RAM for å omsetja ei side. I den fyrste versjonen eg skreiv so var det berre Apertium og Apache som nettenar, då vart apertium opna for kvar person som gjekk inn på ei side viss sida ikkje var lasta frå fyrr. Det tok meg ikkje meir enn å gå inn på to artiklar på likt for at tenaren kræsja og OOM-killeren (ikkje-meir-minne-drapsmaskina) i Linux drepte som galen. Fyrr den tid brukte han harddisken som minne (swap), noko som er supertreigt og fekk alle dei forskjellege jobbane til å hopa seg opp.

Det var opplagt nok ingen vinnande strategi.

Måten systemet fungerer på no er ganske elegant av di det er mogleg å leggja til fleire tenarar som gjer det harde arbeidet veldig enkelt.

Når du gjeng inn på ei side, skjer no dette;

  1. Sjekk urlen (adressa) mot databasen (mysql), viss han finst, returner den ferdigomsette sida.

    • Viss omsetjinga er over GAMAL minutt, legg ein ny jobb til i køen (celery, som pratar med rabbitmq)
  2. Viss urlen ikkje var i databasen, legg ein ny jobb i celerykøen og vis lastar-side.

    • Laste-sida prøver den same urlen kvart andre sekund heilt til han fær den ferdig omsette sida (1.)

So, det ligg potensielt eit par jobbar i køen no.

På ei (eller 20) anna maskin, køyrer celeryd som tek ein og ein jobb frå køen og køyrer dei etter kvarandre, når sida er omsett so lagrar dei resultatet i databasa.

Eg hev fylgd med på trafikken til sidene, og nett no med dette systemet so klarar me køyra båe nynorskvg og nynorskdb på ein liten vps, men me bruker stadig meir av ressursane, so det er kannhenda eit poeng å køyra opp eit par tenarar til, problemet er at det vil medføra ein del nedetid, av di eg må gjera systemet nettverksbasert og ikkje på ei maskin slik som no.

Men nett no sit eg på bussen til Bergen og maskini mista internett, so det fær venta. Det er jo for løye dette her, so folk tòler nok litt treigskap. Dessutan so er sidene framleis relativt kjappe. :)

Når det kjem til Varnish so er det litt interessant at det var VG som betalte for utviklingi av programmet i fyrste omgang; so det er moro dersom eg puttar det inn for nynorskvg ;)

6 tankar om “Dagbladet og VG på nynorsk (korleis?)

  1. Odin Hørthe Omdal Skribent

    Skrivaren: Eg kann ikkje sjå kvifor det ikkje skulle vera lovleg. Det er jo ikkje annleis enn Google Translate, Babelfish, Odalizer o.l.

    Vel, utanum at me hev eit eige domene som peiker på sida; men, vel, det er jo saker der «suckycars.com» vart lenka til ford.com og dei vart frifunne. So det er lov å lenkja fritt på verdsveven.

    Men same kva, som døgnfluga gjer det òg godt med nytta dersom det skapar litt blest og dessutan får fleire til å tenkja yver nynorskforbodet. Elles ynskjer me jo gjerna at folk skal segja til VG og DB at dei gjerne ynskjer å sjå eit par sakar på nn her og der.

  2. skrivaren

    Nei, eg kann inkje um juss (dat verkar ikkje som um jussen kann nokot um data, helder); men når ein seter seg ned næsten eit år og jobbar, skulde ein tru at ein var ~100% viss på fyrehand at alt våro på dat turra. ;-)

    Vil sida verda gomol, etter planen?

  3. Vakdsemd!

    Kann de ikkje retta teksti nede på sida? No stend det at «Desse sidene er maskinelt omsett». Det rette er «Desse sidene er maskinelt omsett_e_» eller «Desse sidene er maskinelt omset_ne_».

  4. Odin Hørthe Omdal Skribent

    skrivaren: Nei, no måtte eg leggja ned nynorskdb i forrigår, so ikkje særleg gamal :-)

    Nynorskingen: Argh. Jo, skal få fiksa det. Som de kannhenda ser so er dei (viktuge) delene gjort ekstremt fort og gale. Stygt og dårleg.

    Men slik vart det no. :) Eg tek òg andre innspel dersom det skulle vera nokon av dei.

  5. Ivar

    Hei, takk for dette!

    Det er fantastisk å kunne lesa VG på nynorsk.

    Kva med å gjera det litt meir generisk? Å gjera det tilgjengeleg for alle sider? F.eks. omsett.no/db.no/

    Det ville vore endå betre!

Legg att eit svar

Epostadressa di blir ikkje synleg.