Merkelapp-arkiv: nynorskdb

nynorskvg-innstikket mitt til Firefox er populært!

Wow, eg skulle visa Nils (ein fyr eg driv og treff på i Bergen) nynorskvg-innstikket mitt til Firefox, og sjekka sida.

Der står det at innstikket er lasta ned 138158 gongar (!).

Kven i alle dagar er desse folki!? :D Det er kjempemoro, men ei so lita sær greie. Alt han gjer er å byta ut vg.no med nynorskvg.no, slik at du alltid fær nynorskvg-versjonen.

Eg skal utvida han med fleire netsider, som Aftenposten og Dagbladet og kannhenda fleire seinare. Nett no tek han berre VG.

Elles fungerer innstikket berre i Firefox 4.0. Og kven brukar den so langt, utanom meg og andre teknologiinteresserte?

Nei, i det heile teke er eg ekstremt positivt yverraska yver at eit innstikk eg tenkte gjerne fekk 6-7 nedlastningar hev allereide fengje 158!

So, viss du brukar Firefox 4 og ikkje allereide hev installert innstikket mitt so er det berre å pella seg til nynorskvg på Mozilla Addons.

Dagbladet og VG på nynorsk (korleis?)

I dag lanserte me endeleg dei tvo sidone nynorskvg.no og nynorskdb.no som me hev jobba med i nesten eit år no. Det er del av Norsk Målungdom sin haustkampanje, «Opphev nynorskforbodet i Dagbladet og VG».

Eg hev stått for alt det tekniske, og alt saman putrar og går på ein tenar hjå Linode i London. Veldig mykje av tidi mi hev gått med til å uroa meg yver kva som skjer dersom sida fær ein del trafikk. So i det høve har eg måtta lært meg ein heil del ny teknologi for å kunna skalera det heile ut til fleire maskiner dersom det vert litt for populært for ei maskin.

Det var berre 5 minutt med batteri att på maskina nett, so de fær leva med elendig teikning. Dessutan gløymde eg at Varnish eigentleg er der eg hev skrive nginx (lastfordelar), men dei er uansett ute av funksjon – det er noko eg putter inn dersom me treng meir fart på frontenden.

Den store svarte ulven her er apertium, som er hovudgrunnen til at ting går råtreigt. Apertium et lett 80-200 MB RAM for å omsetja ei side. I den fyrste versjonen eg skreiv so var det berre Apertium og Apache som nettenar, då vart apertium opna for kvar person som gjekk inn på ei side viss sida ikkje var lasta frå fyrr. Det tok meg ikkje meir enn å gå inn på to artiklar på likt for at tenaren kræsja og OOM-killeren (ikkje-meir-minne-drapsmaskina) i Linux drepte som galen. Fyrr den tid brukte han harddisken som minne (swap), noko som er supertreigt og fekk alle dei forskjellege jobbane til å hopa seg opp.

Det var opplagt nok ingen vinnande strategi.

Måten systemet fungerer på no er ganske elegant av di det er mogleg å leggja til fleire tenarar som gjer det harde arbeidet veldig enkelt.

Når du gjeng inn på ei side, skjer no dette;

  1. Sjekk urlen (adressa) mot databasen (mysql), viss han finst, returner den ferdigomsette sida.

    • Viss omsetjinga er over GAMAL minutt, legg ein ny jobb til i køen (celery, som pratar med rabbitmq)
  2. Viss urlen ikkje var i databasen, legg ein ny jobb i celerykøen og vis lastar-side.

    • Laste-sida prøver den same urlen kvart andre sekund heilt til han fær den ferdig omsette sida (1.)

So, det ligg potensielt eit par jobbar i køen no.

På ei (eller 20) anna maskin, køyrer celeryd som tek ein og ein jobb frå køen og køyrer dei etter kvarandre, når sida er omsett so lagrar dei resultatet i databasa.

Eg hev fylgd med på trafikken til sidene, og nett no med dette systemet so klarar me køyra båe nynorskvg og nynorskdb på ein liten vps, men me bruker stadig meir av ressursane, so det er kannhenda eit poeng å køyra opp eit par tenarar til, problemet er at det vil medføra ein del nedetid, av di eg må gjera systemet nettverksbasert og ikkje på ei maskin slik som no.

Men nett no sit eg på bussen til Bergen og maskini mista internett, so det fær venta. Det er jo for løye dette her, so folk tòler nok litt treigskap. Dessutan so er sidene framleis relativt kjappe. :)

Når det kjem til Varnish so er det litt interessant at det var VG som betalte for utviklingi av programmet i fyrste omgang; so det er moro dersom eg puttar det inn for nynorskvg ;)