Forum: Compiler & IDEs Umrechnung mit Kommastellen


von Markus C. (ljmarkus)


Lesenswert?

Hallo.

für eine ADC Umrechnung versuche ich gerade folgendes:

die 9999 ist meine maximal anzeige.

factor = 9999/255;

out = factor * 255;


so nun kommt aber leider 9945 als anzeige raus.
Ich habe factor und out als double definiert.

Wo liegt mein Fehler ?

Danke, Markus

von Falk B. (falk)


Lesenswert?

Versuchs mal mit Festkommaarithmetik.

MfG
Falk

von Jörg G. (joergderxte)


Lesenswert?

Hilft das:
 factor = 9999.0/255;
(Du hättest ja einfach mal "faktor" ausgeben lassen können...)

rtfm, Jörg

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.