På skolelinux-samlingen i helgen, samt i dag, har jeg flikket på et script som kan brukes til å oppdatere stavekontrollen med nye ord fra no.speling.org. Det fungerer nå for ganske mange ord. Scriptet trenger ca. 700 MiB RAM for å kjøre.
Scriptet ligger i CVSen til spell-norwegian, under scripts/speling2words. For å bruke det, kjør
make update-from-spelingorg speling-new.nb speling-new.nn
Det vil endre norsk.words, og legge inn bokmål- og nynorsk-ordene fra no.speling.org som mangler i norsk.words. Deretter vil den lage litt statistikk over differansen. En slik kjøring vil i dag gjøre endringer på godt over 800 000 ord i norsk.words, og jeg har ikke mulighet til å gjøre annet enn stikkprøver av om resultatet blir korrekt.
Jeg har lagt inn kode i scriptet for å unngå at ord med trippelkonsonant legges inn, da det ikke fungerer som det skal for slike ord. Det er en god del andre ord som heller ikke tas inn. Se i speling-new.nb og speling-new.nn for å se en liste med ord som ikke er overført.
Her er utskrift fra en testkjøring:
% make update-from-spelingorg speling-new.nb speling-new.nn scripts/speling2words > update-from-spelingorg.tmp && mv update-from-spelingorg.tmp norsk.words GET http://tyge.sslug.dk/~korsvoll/nb.speling.org/htdocs/status/words.disputed.g... | gunzip|sort > speling-disputed.nb sort words.nb > tmp-nb sort speling-good.nb speling-disputed.nb > tmp-nb-new-full comm -13 tmp-nb speling-good.nb > speling-new.nb comm -23 tmp-nb tmp-nb-new-full > speling-missing.nb nye på speling.no: 12821 speling-new.nb mangler på speling.no: 3347 speling-missing.nb omstridt på speling.no: 269 speling-disputed.nb rm tmp-nb tmp-nb-new-full GET http://tyge.sslug.dk/~korsvoll/nn.speling.org/htdocs/status/words.disputed.g... | gunzip|sort > speling-disputed.nn sort words.nn > tmp-nn sort speling-good.nn speling-disputed.nn > tmp-nn-new-full comm -13 tmp-nn speling-good.nn > speling-new.nn comm -23 tmp-nn tmp-nn-new-full > speling-missing.nn nye på speling.no: 8763 speling-new.nn mangler på speling.no: 368 speling-missing.nn omstridt på speling.no: 43 speling-disputed.nn rm tmp-nn tmp-nn-new-full %
Som en kan se her er det 12821 bokmålsord som ikke ble overført fra no.speling.org til norsk.words. Jeg foreslår t vi ser på dem senere, og i første omgang konsenterer oss om de ordene som legges inn i norsk.words. Jeg har ikke sjekket inn oppdatert norsk.words, da jeg som sagt ikke er sikker på om alle ordene som blir lagt inn skal være med.
Jeg håper flere kan ta en titt og sjekke at scriptet fungerer som det bør.
Vennlig hilsen,