Forum: Digitale Signalverarbeitung / DSP / Machine Learning Reformulieren einer Openstreetmap-Abfrage.: die Ausgabe gibt zuu viele Daten zurück


Announcement: there is an English version of this forum on EmbDev.net. Posts you create there will be displayed on Mikrocontroller.net and EmbDev.net.
von To G. (toggle)


Lesenswert?

die folgende Overpass-Turbo-Anfrage - sie gibt 40 Megabyte Ergebnisse 
zurück. Und wenn wir uns die grafische Ausgabe ansehen, ist sie eine 
enorme Ausgabe … mit etwa 30.000 Punkten


[out:json][timeout:250];
{{geocodeArea:Germany}}->.searchArea;
nwr[amenity=school][!"isced:level"](area.searchArea);
raus geom;

Frage: Wie kann man die Ausgabe reduzieren – auf ca. 10 Prozent – ​​wie 
kann man die Anfrage umschreiben!?
Ich brauche das Ergebnis – um einige Daten zu veranschaulichen – aber 
bei so vielen Punkten im Bild wird es ziemlich schwer zu verstehen.

Ich freue mich auf eine Antwort

von Rüdiger B. (rbruns)


Lesenswert?

Garbage in, Garbage out.

von To G. (toggle)


Lesenswert?

super präzise.. Das ist halt super-präzise

von Oliver S. (oliver_s)


Lesenswert?

Ja, du hast super präzise beschrieben, was du erreichen möchtest. 
Möchtest du nur n Schulen in Deutschland finden oder weniger Schulen 
finden, weil du in einem kleineren Gebiet suchst?

https://stackoverflow.com/questions/54504643/is-there-a-way-to-get-results-for-an-overpass-query-paginated

von To G. (toggle)


Lesenswert?

hallo Oliver

vielen vielen Dank - das ist ein guter Hinweis. Sehr sehr interessant.

OFFSET is not supported by Overpass API, but you can limit the number of 
result this is getting returned by the query via an additional parameter 
in the out statement. The following example would return only 100 
restaurants in Berlin:

[out:json];
area["boundary"="administrative"]["name"="Berlin"] -> .a;
(
    node(area.a)["amenity"="restaurant"];
); out center 100;


Das limitiert so wie ich das verstehe, das SET an Ausgabe(n) - auf einen 
Teil.

Also die obige Abfrage (von mir) die gibt halt 40 MG Daten raus. Das ist 
etwas viel. Wenn ich ähnlich die Ausgabe "reduzieren" kann - dann wär 
das toll

ich muss ein Vefahren finden - ich guck mir den von dir, Oliver, 
genannten Beitrag nochmals genauer an

von Joachim B. (jar)


Lesenswert?

To G. schrieb:
> 40 MG Daten

soll man nun raten was gemeint ist?

Ja ich hasse tippen auf dem Schmartfone auch! (sollte wohl MB werden)

(Mbyte werden anders abgekürzt wobei MB auch als Megabit oder Megabyte 
verstanden werden kann)

von To G. (toggle)


Lesenswert?

salü Joachim

Joachim B. schrieb:
> soll man nun raten was gemeint ist?
>
> Ja ich hasse tippen auf dem Schmartfone auch! (sollte wohl MB werden)
>
> (Mbyte werden anders abgekürzt wobei MB auch als Megabit oder Megabyte
> verstanden werden kann)

klar hast recht - also es ist so:

Es wird zurückgegeben:

Große Datenmenge:
Diese Abfrage liefert recht viele Daten zurück (ca. 40 MB).
Die Weiterverarbeitung dieser Daten kann möglicherweise etwas länger 
dauern. Soll wirklich fortgefahren werden?

Also - es ist so: Wenn ich bei dieser Abfrage weniger zurückbekomme wärs 
gut.

von Wendels B. (wendelsberg)


Lesenswert?

To G. schrieb:
> {{geocodeArea:Germany}}->.searchArea;

Das wird ja wohl heissen, dass Du in ganz Germany suchst.
Da gibt es eben so viele Ergebnisse.

Sucharea verkleinern waere das logische Vorgehen.

von Ob S. (Firma: 1984now) (observer)


Lesenswert?

To G. schrieb:

> die folgende Overpass-Turbo-Anfrage - sie gibt 40 Megabyte Ergebnisse
> zurück. Und wenn wir uns die grafische Ausgabe ansehen, ist sie eine
> enorme Ausgabe … mit etwa 30.000 Punkten

Was, zum Teufel, hat deine Frage in diesem Subforum verloren? Das hat 
exakt rein garnix mit DSP zu tun.

Das ist blöde Webfrickler-Scheiße. Im Kern: wie benutze ich ein recht 
lausig designtes Web-API. Die einzig mögliche Antwort ist: am besten 
garnicht.

Du willst ja nix am Datenbestand ändern, also kannst du da auch per SQL 
drauf zugreifen und damit alle Freiheiten einer wirklich durchdachten 
und über viele Jahrzehnte bewährten Abfragesprache nutzen.

Ja, für Webfrickler wohl Neuland...

von Rüdiger B. (rbruns)


Lesenswert?

Dann such doch nur Schulen deren Name mit Y anfängt, dann hast du sicher 
weniger Ergebnisse.

von To G. (toggle)


Lesenswert?

hallo Rüdiger

vielen Dank für  deine Rückmeldung - deine Idee.



 OB : Aaautsch  ... Sorry - aber dein Sound ist echt nicht grad nett: 
.... Musst du so herumkotzen!?

Du schreckst die Leut ab - Das ist nicht was man hier erwartet. So  eine 
hässlche Fratze -- ne kein nettes Aushängeschild für ein Forum.

Du vertreibst die Leut - andere machens besser.

und geschenkt: klar gibts für OSM alle moeglichen Abfragemoelgichkeitne.

die Tools - und Lit sind bibliothekenfüllend_: osmconvert etc.etx.
oder meinetwegen: janakiv.com: Loading Data from OpenStreetMap with 
Python and the Overpass API - vgl. 
https://janakiev.com/blog/openstreetmap-with-python-and-overpass-api/

und all das geht mit Perl, PHP und darüber hinaus mit allen DBs - MySQL 
u. nat auch PostGreSQL bla bla.

Aber - die Einblicke hier zeigen - dass support nicht jedermanns Ding 
ist.

von Rüdiger B. (rbruns)


Lesenswert?

To G. schrieb:
> Aber - die Einblicke hier zeigen - dass support nicht jedermanns Ding
> ist.

Wer dumme Fragen stellt bekommt dumme Antworten.
Du willst alle Schulen angezeigt bekommen und das passiert.
Wenn du weniger bekommen willst musst du das Abfragekriterium ändern.
Welches kannst nur DU wissen.

von Εrnst B. (ernst)


Lesenswert?

Du willst alle Schulen in Deutschland abfragen, aber die Anzahl ist dir 
zu hoch?
Eine Einschränkung des Suchraums ("Alle Schulen in Berlin") geht auch 
nicht, weil im Ergbenis dann ja nicht mehr alle Schulen in Deutschland 
enthalten wären?

Bleibt dir noch, einen alten Kindheitstraum zu erfüllen: Schulen 
Abbrennen. Soviele bis dein Result-Set klein genug ist.

von Wendels B. (wendelsberg)


Lesenswert?

To G. schrieb:
> Aber - die Einblicke hier zeigen - dass support nicht jedermanns Ding
> ist.

Hier ist auch keine Supporthotline, schon gar nicht fuer Leute, die es 
noch nicht mal hinkriegen, das richtige Forum zu waehlen.
Forum: Digitale Signalverarbeitung  DSP  Machine Learning ist es 
jedenfalls nicht.

von J. T. (chaoskind)


Lesenswert?

Wendels B. schrieb:
> Hier ist auch keine Supporthotline, schon gar nicht fuer Leute, die es
> noch nicht mal hinkriegen, das richtige Forum zu waehlen.
> Forum: Digitale Signalverarbeitung  DSP  Machine Learning ist es
> jedenfalls nicht

wenn man sich deine Beiträge so anschaut, könnte man glatt auf die Idee 
kommen, das sei hier ein Forum für Idioten die nichts drauf haben, 
ausser anzumerken dass es das falsche Forum ist.

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.