Back to Smartcitizen.me

WEB REST API limited to 500 samples?

General
#1

I seem to always get 500 “samples” from the WEB API at the most, regardless of the date range.

So, asking for:

http://api.smartcitizen.me/v0.0.1/xxxxxxxxxxxxxxxxxxxxxx/38/posts.json?from_date=2013-6-4&to_date=2013-6-6

I only get the first 500 samples, starting from 2013-6-4

Is this expected? At the current SCK data sample rate, (once per minute), the SCK generates around 1440 samples per day; so I can’t even get an entire day worth of samples with this limit…

PD: Also a “API” or “Software” category for the forum would make sense

#2

Oriol, el rate no puede ser inferior a 1min! es el minimo…
Los sensores de gas se han de encender y apagar durante un tiempo minimo.
Por otra parte el sistema de almacenamiento de samples del firmware que tienes no puede subir mas de 30 simultaneamente por un problema con el server que corta la conexión. En la versión nueva del firmware de la 6.1.2 que esta a github esto esta deshabilitado porque en algunos kits generaba problemas con el wifi. Así que para ganar estabilidad está desactivado temporalmente hasta tener una versión estable que estamos preparando. Si quieres y te apetece probar codigo te podemos enviar la beta de la 8 para que la vayas probando y optimizando cosas… te parece?

#3

No no, la pregunta no es sobre el SCK, es sobre la API REST de la web! Cuando el SCK manda datos a la web, estos se guardan en DB… La API REST debería permitir acceder a esos datos, y solo he conseguido acceder a una mínima parte porque parece que hay un límite. No intento cambiar nada del SCK, solo quiero conseguir más de 500 data-samples a través de la WEB API. No tiene mucho sentido poder especificar en la API que, por ejemplo, quiero datos de los últimos 7 días, si solo me manda los 500 primeros samples, que representan sólo medio día de datos. 7 días serian unos 10.000 samples.

#4

If we are limited to 500 values would it be possible to:

  • retrieve the last 500 measurements (in sql it would look: select … order by timestamp desc)
  • select just one sensor e.g. temperature or noise ?
  • select additionally to a date range also by hour.
    Best seems to get the last 500 measurements from now, desc.
#5

Hi klausz,
For sure Api can be improved and will be in the future. Meanwhile some of your queries are possible by generating the url dynamically with a bit of javascript. Knowing that SCK produce 1 sample by minute, the last 500 values are all the post coming from now - 500 minute.
You can also already select a date range + make an average by hour :
http://api.smartcitizen.me/v0.0.1/6e0428e19cf2bff1a9c05d14d0400bf4/41/posts.json?from_date=2013-05-01&group_by=hour
for the selection of one sensor, this could be done also with a bit of javascript, by postprocessing the data.
hope that’s help
best