[NUUG kart] Kartverket: "Gratiskartene enda bedre"

Tue Aug 24 00:28:42 CEST 2010

Ok, Da virker det som om de kun kjører en server slik jeg forstår det. Uansett så hvis man skal sette opp noe kommersielt så bør det være noe som duger. Jeg må si jeg deler de samme erfaringene som Frederik har kommet frem til, ettersom jeg har testet mye på planet.osm importen. På min server tar det ca 18-20 timer for full import. Dette er med HSTORE støtte. osm2psql krever ca 7GB minne alene under importen. I tillegg så bør det være rikelig med ram igjen til PSQL.

For de som ikke vet hva det er, så er det kort fortalt en måte å importere alle taggene som finnes uten å definere en kolonne for hver. Feks:

|col 1           |col2              | col n         |        tags                                                    |

|key 1=aaa|key 2=bbb|key n=ccc|hkey1=abc;hkey2=def;hkeyn=ghi|  

Med hstore trenger du ikke definere alle taggene i default.style, kun de mest brukte. Resten havner i en samlekolonne, som kan hentes ut nesten på samme måte i spørringene, kanskje med litt dårligere ytelse, men praktisk hvis du ønsker å sette opp noen litt spesielle rendringer som krever noen uvanlige keys. Uten hstore så må du lese inn hele planet.osm på nytt hvis du glemte eller trenger en key senere. 

http://www.postgresql.org/docs/current/static/hstore.html

Jeg har ikke testet selv med SSD-disker fordi jeg ikke har noen liggende. Problemet er at de koster rundt 9000,- for en 512GB MLC. Men som sagt hvis NUUG eller noen andre har en server, så kan jeg godt bidra med oppsettet av denne. Oppsettet har jeg liggende her ferdig for Debian squeeze. Man bør kanskje også vurdere 2 separate raid-kontrollere, en til hvert raid, ettersom jeg ser at det er ikke bestandig kontrolleren prioriterer helt fornuftig mellom dem.

From: Gnonthgol [mailto:gnonthgol at gmail.com] 
Sent: 23. august 2010 22:50
To: Øystein Tusvik
Cc: kart at nuug.no
Subject: Re: [NUUG kart] Kartverket: "Gratiskartene enda bedre"

Den 23. aug. 2010 kl. 22.07 skrev Øystein Tusvik:

Jeg har her en tile-server her som kjører "Minutely Mapnik" med tiles expire basert på Tirex. Det er ikke så veldig vanskelig å sette opp dette, og det tar ikke mer enn maks et par timer, hvis du ser bort fra førstegangsimporten av planet.osm. Så hvis det er ønskelig kan jeg godt gjøre dette hvis det er noen som kan stille med server(e). 

Tøft. Eg har ikkje prøvd meg på automatiske oppdateringar endå, men det er nesten påkrevd på ein offentlig server. Hadde vert morro å prøvd å få NUUG til å stille med server. No brukar http://www.openstreetmap.no/ osm.org sine kart.

Det som tar tid er å knote med stilsettene, som evt. noen andre kan ta seg av som har tid til dette.

Det er mulig det er andre på lista her som har mye bedre erfaring med dette enn meg, men jeg har gjort meg opp noen meninger om hva som kreves av hardware etc. for å kjøre en løsning med akseptabel hastighet.

Eg er ikkje sikker på om det er så mange her på lista som har sett opp ein slik server. Du kan jo få nokon tips hos Frederik Ramm som setter opp serverene til OSM.

Det beste vil nok være å kjøre 4 servere som kan rendre litt hver slik som jeg tror det gjøres på osm.org.

Nei, ein server: http://wiki.openstreetmap.org/wiki/Servers/yevaud

Flaskehalsen ser i hvert fall her ut til å være I/O på diskene, kanskje først og fremst søketiden. Har ikke testet med SSD-disker, men jeg vil tippe at disse vil gi et mye bedre resultat enn standard SATA2-disker. 

Frederik Ramm prøvde ( http://www.geofabrik.de/media/2010-07-10-rendering-toolchain-performance.pdf ) og kom fram til at det gjorde ein stor forsjell når du jobba på dei, men ikkje ved importen.

Her er spesifikasjonen på serveren jeg har satt opp, som ikke vil være rask nok for annet enn et begrenset antall samtidige brukere som ikke har dårlig tid...

Supermicro X7DWA-N hovedkort
2 stk dual core Intel(R) Xeon(R) CPU 5160  @ 3.00GHz
16GB DDR2 ECC REG
1 stk Areca ARC-1260 24 port SAS Raid Controller
8 stk. Seagate 500GB constellation ES konfigurert i 2 stk RAID-10 hvor PostgreSQL ligger på det ene raid-settet.

	Så en eventuelle servere bør ikke være noe dårligere enn dette. Helst flere kjerner og 32GB RAM eller mer. Og som sagt tror jeg SSD kan være å foretrekke fremfor standard SATA eller SAS.

Ser ut som den osm.org brukar du anbefaler her.

En annen ting jeg fant ut var at PostgreSQL 8.4 fungerte dårlig ytelsesmessig, så v8.3 er nok det mest ideelle.

Eller endå bedre 9.0. Den er fremdeles i beta, men dersom du vil ha kraften og kan tole nokre bugs i enkelte (forhåpentligvis ubrukte) features burde det vere verdt det.

Bare gi meg beskjed så er jeg klar.

Mvh
Øystein

Gnonthgol

-------------- next part --------------
An HTML attachment was scrubbed...
URL: http://lists.nuug.no/pipermail/kart/attachments/20100824/e63b7ff8/attachment.htm 