PostGIS and hstore for OSM Data

Geschrieben am 20. Juli 2010 in FOSSGIS, Openstreetmap von giggls || Keine Kommentare

Unlike traditional GIS data, which usually uses just a couple of attributes per spacial object, openstreetmaps comes with a free tagging scheme. In traditional database design it is impossible to store this type of data in a single table thus adding the need for joins in any single SQL request.

Starting from Version 9.0 PostgreSQL will however include an extension called hstore which is available as a backport for current Versions of PostgreSQL (8.3 and 8.4) and even as a debian package.

Using this extension an additional key/value table is no longer needed.

Already back in March I commited a patch for osm2pgsl which would allow for storage of tag objects inside such a hstore column.

An hstore is basically what is known as hash (perl) or dictionary (python) in scripting languages. A datatype for storage of key value pairs – well suited for storage of OSM data tags.

Talking about python I took me quite some time to figure out how to convert a hstore result from an SQL query so here is how it works:

q="select (each(tags)).key,(each(tags)).value from ... where ..."
cur.execute(q)
rows = cur.fetchall()
hstore=dict(rows)

Back to the actual hstore issue…

In the meantime people are actually starting to use this stuff and MaZder even wrote a HOWTO document (currently in german language only) on howto set up such a database.

So here are the projects currently using hstore that I am aware of:

IT-Sicherheit in den Praxis

Geschrieben am 9. Juni 2010 in Internet von giggls || Kommentare deaktiviert

Neulich in einem deutschen ICE-Zug…

Während ich selber meinen Laptop eingeschaltet habe und per ssh über UMTS daheim eingeloggt bin und so an meine Daten rankomme wählt der Geschäftsreisende nebenan die “pragmatische” Methode. Die ist so pragmatisch dass ich sie gleich hier in meinem Blog beschreiben möchte!

Namen der teilnehmenden Personen und Firmen wurden aus “Sicherheitsgründen” gelöscht.

Geschäftsreisender am Mobiltelefon:

Kannst Du bitte mal schaun ob mein Computer eingeschaltet ist?

Gesprächspartner auf der anderen Seite antwortet wohl dass dies der Fall sei…

OK, da ist dann der Bildschirmschoner drin. Dann mußt Du mein Passwort eintippen. Das Passwort lautet Milch777 das l ist eine 1; ich buchstabiere nochmal: M.i.1.c.h.7.7.7

Da hat also jemand (zumindest ansatzweise) schonmal etwas über sichere Passwörter gehört. Selbstverständlich wird der Gute sein Passwort auch sofort ändern, wenn er wieder daheim angekommen ist.

Alles im grünen Bereich sozusagen, ich hätte also den zugehörigen Firmennamen hier völlig problemlos erwähnen können ;)

Google https-search in Firefox search bar

Geschrieben am 23. Mai 2010 in Internet, Tipp/hint von giggls || Kommentare deaktiviert

Google just announced the Availability of their Web Search via SSL.

Telling Google what you are looking for can’t be prevented that easy, but it is now possible to prevent telling anybody else who might sit in the middle of your communication.

Just use https://www.google.com instead of http://www.google.com for doing searches and you are done.

Well, unfortunately I don’t usually call the Website at http://www.google.com directly for doing searches but using the Firefox Search toolbar instead.

For some strange reason this toolbar can not be customized via GUI. However the solution is still simple and might be of value for anybody else, thats why I am about to write this :)

Just enter the directory where you firefox Installation is located and have a look for a file called google.xml inside a subdirectory called searchplugins.

All you need to do here is to replace any apperance of the string http:// by https://

Now restart firefox and enjoy your encrypted search.

Ölpest und subjektive Wahrnehmung

Geschrieben am 22. Mai 2010 in Umwelt/Environment von giggls || Kommentare deaktiviert

Grade lese ich in der TAZ einen Artikel zum Thema Ölpest im Golf von Mexiko. Soweit, so wenig außergewöhnlich!

Interessant sind indessen die letzten zwei Abschnitte. Zunächst wird über einen Zwischenfall, der (die subjektive Wahrnehmung lässt grüßen… ) in anderen Zeiten sicherlich keiner Erwähnung Wert gewesen wäre, berichtet und dann des Weiteren festgestellt, dass bei diesem bessere technische Geräte im Einsatz waren.

Was lernen wir nun also objektiv daraus?

Schlamperei und Korruption sind in der Regel die Ursache für Unfälle in technischen Anlagen. Das wiederum ist eine Binsenweisheit.

schwarz/gelb in NRW und die Verfassungsfeinde

Geschrieben am 14. Mai 2010 in Politik/politics von giggls || Kommentare deaktiviert

Letzten Sonntag hörte man CDU Menschen wie den Jürgen Rüttgers oder auch den Hermann Gröhe dauernd davon sprechen, dass es sich bei der Linkspartei um Verfassungsfeinde handeln würde. Auch aus der NRW FDP ist dieses nun lautstark zu vernehmen.

Interessanterweise sind das jetzt genau die beiden Parteien, die ein Verfassungsschutzgesetz zu verantworten haben, das vom BVerfG kassiert wurde.

Ehrlich gesagt ärgert mich das ganz gewaltig!

Da fragt man sich nämlich schon von wem die größere Gefahr für den Rechtsstaat ausgeht? Von ein paar linken Spinnern in der Linkspartei, oder von Vertretern etablierter Parteien, die verfassungswidrige Gesetze machen und dann auch noch sauer reagieren, wenn man sie deshalb auch nur in die Nähe von Verfassungsfeinden rückt.

Oder um es mit Theodor W. Adorno zu sagen:

Ich fürchte mich nicht vor der Rückkehr der Faschisten in der Maske der Faschisten, sondern vor der Rückkehr der Faschisten in der Maske der Demokraten.

Arg weit davon entfernt scheinen gewisse Teile der CDU gar nicht mal zu sein.

Digital Native = Selbstdarsteller?

Geschrieben am 5. Mai 2010 in Netzpolitik von giggls || Kommentare deaktiviert

Heute nimmt also die Enquete-Kommission “Internet und digitale Gesellschaft” ihre Arbeit auf. Im Heiseticker kann man dazu eine kurze Zusammenfassung lesen.

Ein wenig sauer stößt mir hingegen die dort verlinkte Bewertung von Politik Digital auf. Nach deren Definition ist man offensichtlich nur dann ein “Digital Native”, wenn man aktiv bei diesen neumodischen Datensammeldiensten wie Facebook und Konsorten dabei ist.

Sorry Leute, aber es gibt eine ganze Reihe von “Digital Natives”, die sich bewußt dagegen entscheiden haben Veröffentlichungen an anderer Stelle zu schreiben als auf ihrer privaten Webseite.

Nein, ich bin nicht bei Facebook, benutze Twitter nur sporadisch und auch in meinem Blog gibt es nur ab und zu einen Artikel. Eigentlich immer dann, wenn ich denke ich hab da was spannendes meist technisches was auch andere interessieren könnte.

Trotzdem kann man mich wohl zu den “Digital Natives” zählen. Dazu muss man nur mal meinen Namen bei Google eintippen :)

Dass dabei der fast nie benutzte Twitter Account tatsächlich an prominenter Stelle auftaucht zeigt dass auch Google subjektive Wahrnehmung fördert :(

Offensichtlich schon zu lange her, dass ich meinen Namen mal selbst gegoogelt habe.

The 201 Gigapixel Image :)

Geschrieben am 15. März 2010 in FOSSGIS, Openstreetmap von giggls || 2 Kommentare

German Company Aerowest is providing Openstreetmap with high resolution Images.

Once again I have been doing most of the technical work which needed to be done behind the scenes. While wms.openstreetmap.de has been up and running for a few weeks now I still had to do some stuff to get the things going.

First of all I converted the mapscript from the older mod_python to the state of the art mod_wsgi. Furthermore the script has been extended to allow for individual copyright-watermarks based on mapfile entries. Tiles generated for Potlatch are now cached using the Apache Module mod_disk_cache.

The aerial image itself came as a raster image of 201 Gigapixels in the very good (in terms of image compression) but proprietary ECW-format. For legal reasons we are now using another format for actually serving the image (eating a huge 675 Gigabytes of disk-space) because the proprietary license of libecwj2 does not state very clearly if we are allowed to use it in our setup or not.

FDP: Die richtige Meinung aus den falschen Gründen

Geschrieben am 28. Februar 2010 in Netzpolitik von giggls || Kommentare deaktiviert

Die FDP hat oft die richtige Meinung, aber fast immer aus den falschen Gründen. So habe ich das bisher immer formuliert wenn es um diese Partei und Ihre Meinung zu Bürgerrechten ging. Oft sind damit nämlich nicht die Rechte der Bürger gemeint sondern die Rechte der Wirtschaft. So verwundert es mich nun auch nicht im Geringsten, dass man heute in der Zeit lesen kann, dass die FDP gegen den Datenbrief ist.

Der Innenminister hingegen findet die Idee nicht verkehrt. Das wiederum sieht für mich irgendwie so aus, als ob man gemerkt hat, dass man im Netzpolitik Umfeld zulegen muss. Nun ja, ich bleibe nach der unsäglichen Rede der CSU-Frau Dorothee Bär vom Donnerstag dann doch skeptisch.

Announcing wms.openstreetmap.de

Geschrieben am 15. Januar 2010 in FOSSGIS, Openstreetmap von giggls || 3 Kommentare

A few weeks ago I started to set up http://wms.openstreetmap.de to serve aerial images donated by various sources for Openstreetmap use. Currently the system holds data from german communities Lauf an der Pegnitz and Neunkirchen am Sand (thank you very much for donating the data!). It is designed to be extensible with additional data in an easy way. If anybody in the Openstreetmap community is looking for such a service just drop me a line.

The system is powered by Mapservers mapscript written in Python to allow for convenient URLs in JOSM’s WMS plugin. In addition to this I just added support for the Online Openstreetmap Editor Potlatch while learning how to use custom tile-servers with it by chance. This is done by converting tilenames in z/x/y format to the bounding boxes needed for WMS. An Apache mod_rewrite rule provides a virtual tile-URL in the syntax needed by Potlatch and allows for direct edit-links of the available areas now provided on http://wms.openstreetmap.de

The script itself will be released as free software and added to Openstreetmap SVN.

Finally I need to mention that the system is also running on one of the Servers sponsored by german webhosting company STRATO AG.

dev.openstreetmap.de enters production state

Geschrieben am 13. Dezember 2009 in Uncategorized von giggls || Kommentare deaktiviert

FOSSGIS e.V. is runnning a development server sponsored by Strato AG for experimental services for the OpenStreetMap community. Unfortunately not a hell of a lot happened since the servers has been announced :(

Being one of the admins, I finally started to get the projects running. Unfortunately all of them desire a lot of computing power and as far as databases are concerned we seem to need PostgreSQL as well as MySQL. The former for its geospatial capabilites the latter for speed (if just a limited set of features is required).

If you are looking for data which still proves a challenge for decent computing power just go for processing OpenStreetMap data in various ways :)

I don’t think that we can handle all the projects on one or two machines in the long run, but on the other hand we need to figure out data formats which are suitable for a many projects as possible.

« Vorherige Beiträge