C Struktur Puzzle

[Hans-Georg L. (h-g-l)]

Ich versuche gerade die Aufrufparameter in einem Windows Kernel Treiber 
im IoControlEvent zu analysieren.Dort bekomme unter anderem eine 
C-Struktur mit Parametern übergeben von der ich keine Information über 
die Struktur und ihre Variablen habe. Ich habe nur die Gesamt-Länge der 
Struktur und kenne Variable die sie enthalten muss.

// structur definition aus Beispielen passt nicht   
typedef struct _ASYNC_READ_ORG {
  ULONG           bRawMode;
  ULONG           bGetGeneration;
  IO_ADDRESS      DestinationAddress; //BusNr NodeNr Ofset-hi offset-Low
  ULONG           nNumberOfBytesToRead;
  ULONG           nBlockSize;
  ULONG           fulFlags;
  ULONG           ulGeneration;
  UCHAR           Data[1];
} ASYNC_READ_ORG, *PASYNC_READ_ORG;

// dummy structur für meinen memory dump
typedef struct _ASYNC_READ_DBG {
  ULONG           w1;
  ULONG           w2;
  ULONG           w3;
  ULONG           w4;
  ULONG           w5;
  ULONG           w6;
} ASYNC_READ_DBG, *PASYNC_READ_DBG;

// der hexdump (little endian)
FFFFCEFF 
000400F0 
10FBDB02 
00000000  
00040000
00000000 
// reihenfolge im speicher (big endian)
FFCEFFFF
F0000400
02DBFB10
00000000 
00000400
00000000

BYTE Reihenfolgen die Sinn ergeben
FFCE      -> BUS_NODE 10bit BusNr=0x3FF + 6Bit NodeNr=0x0E
FFFF      -> OffsetHigh
F0000400  -> Offset Low  
00000400  -> nNumberOfBytesToRead 
 
// so müsste die Struktur ohne padding aussehen 
typedef struct _ASYNC_READ {
  USHORT  Bus_Node; 
  USHORT  OffsetHigh;
  ULONG   OffsetLow;
  UCHAR   x1;
  UCHAR   x2;
  UCHAR   x3;
  ULONG   nNumberOfBytesToRead;
  ULONG   x4;
  UCHAR   x5;
} ASYNC_READ, *PASYNC_READ;

Wenn ich die Variablen so ausgebe ist BusNode und OffsetHigh vertauscht,
OffsetLow stimmt, und nNumberOfBytesToRead = 0.

Frage wie müsste die Struktur mit padding aussehen ?

Ein 3byte padding hätte ich doch nur wenn auf ein UCHAR ein ULONG folgt 
oder ?

[Nop (Gast)]

Hans-Georg L. schrieb:

> Frage wie müsste die Struktur mit padding aussehen ?

typedef struct _ASYNC_READ {
  USHORT  Bus_Node;
  USHORT  OffsetHigh;
  ULONG   OffsetLow;
  UCHAR   x1;
  UCHAR   x2;
  UCHAR   x3;
  UCHAR   PAD1;
  ULONG   nNumberOfBytesToRead;
  ULONG   x4;
  UCHAR   x5;
  UCHAR   PAD2;
  UCHAR   PAD3;
  UCHAR   PAD4;
} ASYNC_READ, *PASYNC_READ;

[Hans-Georg L. (h-g-l)]

Nop schrieb:
> Hans-Georg L. schrieb:
>
>> Frage wie müsste die Struktur mit padding aussehen ?
>
>

typedef struct _ASYNC_READ {
>   USHORT  Bus_Node;
>   USHORT  OffsetHigh;
>   ULONG   OffsetLow;
>   UCHAR   x1;
>   UCHAR   x2;
>   UCHAR   x3;
>   UCHAR   PAD1;
>   ULONG   nNumberOfBytesToRead;
>   ULONG   x4;
>   UCHAR   x5;
>   UCHAR   PAD2;
>   UCHAR   PAD3;
>   UCHAR   PAD4;
> } ASYNC_READ, *PASYNC_READ;

Das mit dem PAD1 funktioniert leider auch nicht ...
Warum brauche ich PAD2 bis PAD4 da kommt doch nichts mehr das alligned 
werden muss ?

Irgendwie drehe ich mich im Kreise
Wenn ich die z.B. die Reihenfolge der Beiden variablen vertausche
>   USHORT  Bus_Node;
>   USHORT  OffsetHigh;
Werden nicht die Werte getauscht sondern ich bekomme dann auch Müll.

Kennt der Microsoft Compiler (VisulStudio2013) ein flag wo er mir die 
Layouts der Datenstrukturen ausgeben kann die er generiert ?

[Hans-Georg L. (h-g-l)]

Hans-Georg L. schrieb:
> Nop schrieb:
>> Hans-Georg L. schrieb:
>>>
>>> Frage wie müsste die Struktur mit padding aussehen ?
>>
>>

typedef struct _ASYNC_READ {
>>   USHORT  Bus_Node;
>>   USHORT  OffsetHigh;
>>   ULONG   OffsetLow;
>>   UCHAR   x1;
>>   UCHAR   x2;
>>   UCHAR   x3;
>>   UCHAR   PAD1;
>>   ULONG   nNumberOfBytesToRead;
>>   ULONG   x4;
>>   UCHAR   x5;
>>   UCHAR   PAD2;
>>   UCHAR   PAD3;
>>   UCHAR   PAD4;
>> } ASYNC_READ, *PASYNC_READ;

>

> Warum brauche ich PAD2 bis PAD4 da kommt doch nichts mehr das alligned
> werden muss ?
>
Padding is only inserted when a structure member is followed by a member 
with a larger alignment requirement or at the end of the structure.

Damit ist die Frage beantwortet

[Vlad T. (vlad_tepesch)]

falls du den visualC-Compiler benutzt, kannst du mit -Wall alle 
warnungen aktivieren. Dann weist er dich auch auf paddings hin, dann 
must du nicht rumraten.

[foobar (Gast)]

> Kennt der Microsoft Compiler (VisulStudio2013) ein flag wo er mir
> die Layouts der Datenstrukturen ausgeben kann die er generiert ?

Keine Ahnung, ob's so ein Flag gibt. Aber wenn du die Felder benutzen 
kannst, muß es irgendwo ein include-File geben, wo sie definiert werden.

[Nop (Gast)]

Hans-Georg L. schrieb:

> Das mit dem PAD1 funktioniert leider auch nicht ...

So wird's jedenfalls aufgefüllt, wenn Du nicht gerade mit packed structs 
arbeitest. Andernfalls würde der nächste ULONG (nNumberOfBytesToRead) 
nicht an eine durch 4 teilbare Adresse gelangen.

> Warum brauche ich PAD2 bis PAD4 da kommt doch nichts mehr das alligned
> werden muss ?

Structs werden am Ende aufgefüllt, damit man daraus z.B. problemlos 
Arrays bauen kann und immer noch normale Pointerarithmetik hat. Würden 
structs nicht aufgefüllt, dann wäre ja das Alignment beim nächsten 
identischen Struct im Speicher nicht mehr gegeben.

[Nop (Gast)]

Achja, noch ein Puzzlestück dazu: das Gesamt-Alignment eines struct 
richtet sich immer nach dem der größten Komponente. Da dieses struct 
ULONG enthält, wird die Startadresse des structs immer auf eine durch 4 
teilbare Adresse gelegt werden.

[Hans-Georg L. (h-g-l)]

Die übergebene Struktur ist Bestandteil eines Programmes von dem ich nur 
ausfühbare Dateien habe und keine Header oder sonst etwas. Ich versuche 
mir eine Struktur zu zusammen zu fummeln die passt.

Was ich noch vergessen habe, die Struktur hat insgesammt 24Byte.

[Hans-Georg L. (h-g-l)]

Nop schrieb:
> Achja, noch ein Puzzlestück dazu: das Gesamt-Alignment eines struct
> richtet sich immer nach dem der größten Komponente. Da dieses struct
> ULONG enthält, wird die Startadresse des structs immer auf eine durch 4
> teilbare Adresse gelegt werden.

Das würde aber auch nicht zu dem hexdump passen.

[Nop (Gast)]

Hans-Georg L. schrieb:

> Das würde aber auch nicht zu dem hexdump passen.

Zum Hexdump kann alles passen, weil keine Datendefinition dabeisteht. 
Abgesehen davon können außerdem auch noch packed structs vorliegen, weiß 
man nicht.

[Hans-Georg L. (h-g-l)]

Hintergrund ist, ich habe einen WDF Kernel Filter Treiber der die 
Kommunikation mit einem Gerät das am Firewirebus hängt belauschen soll.

Siehe: Beitrag "R&S TSMU Radio Network Analyzer"

Da werden im Moment 8 verschiedene control codes verschickt und jeder 
hat seine eigene Struktur.

[Bernd K. (prof7bit)]

Wenn das ein offizielles API von Windows ist muss es doch Header und 
Dokumentation geben.

[Hans-Georg L. (h-g-l)]

Das sind userdefined structures die kennt Windows nicht.

Abe ich habe etwas gefunden das Macro offsetof kann den offset von 
Struktur Variablen ausgeben. Da wird das puzzeln etwas einfacher und ich 
kann es im user mode ohne lange turn-around Zeiten testen.

Der erste Test ergibt:

  typedef struct _ASYNC_READ {
    USHORT  Bus_Node;
    USHORT  OffsetHigh;
    ULONG   OffsetLow;
    ULONG   x1;
    ULONG   nNumberOfBytesToRead;
    ULONG   x2;
    UCHAR   x3;
  } ASYNC_READ, *PASYNC_READ; 

  o_Bus_Node    0x00000000  int
  o_OffsetHigh    0x00000002  int
  o_OffsetLow    0x00000004  int
  o_x1      0x00000008  int
  o_nNumberOfBytesToRead  0x0000000c  int
  o_x2           0x00000010  int
  o_x3      0x00000014  int

  size      0x00000018  int

Die 2 USHORT passen in einen ULONG
und es werden nur 3Byte am Ende aufgefüllt.

[Hans-Georg L. (h-g-l)]

Manchmal muss man nur eine Nacht darüber schlafen ...

Ich habe heute Morgen nochmal die Bytes hin und her geschubst und mit 
anderen Parametern aufgerufen und nichts passt. Nochmal Google 
angeworfen und siehe da Firewire arbeitet mit BigEndian dann passt es 
auch. Jetzt kann es natürlich noch sein das es innerhalb der Struktur 
auch noch gemixt ist.

Naja einfach kann ja jeder ;-)

[Bernd K. (prof7bit)]

Hans-Georg L. schrieb:
> Abe ich habe etwas gefunden das Macro offsetof kann den offset von
> Struktur Variablen ausgeben

Wenn Du offsetof anwenden kannst dann liegen doch die Quellen vor! Dann 
schau doch einfach wie es deklariert ist! Oder benutz es einfach so wie 
es ist!

[Nop (Gast)]

Bernd K. schrieb:

> Wenn Du offsetof anwenden kannst dann liegen doch die Quellen vor!

Ja, aber nur seine eignen, wo er das mit verschiedenen Strukturvarianten 
durchprobiert und dank offsetof nicht manuell mit padding herumrechnen 
muß.

[Bernd K. (prof7bit)]

Nop schrieb:
> dank offsetof nicht manuell mit padding herumrechnen
> muß.

Was muss an da groß rechnen? Alle Variablen sind self-aligned, d.h. ihr 
Offset ist durch ihre eigene Größe teilbar. Die Padding-Regeln sind also 
so simpel dass man Fehl-Alignment schon direkt mit zusammengekniffenen 
Augen sehen kann ohne zu rechnen wenn man sich gedanklich ein 2er, 4er 
und 8er Raster darunter legt.

Ich mach mir bei sowas als Gedächtnisstütze immer alle 8 Byte eine 
Leerzeile ins struct (oder eine Kommentarzeile als Trenner zwischen 8er 
Blöcken) und dann muss ich immer nur bis bis maximal 8 zählen (oder 
zweimal 4 oder viermal 2) um sofort zu sehen wo der Member überhaupt nur 
hinpassen kann bzw. wo vor diesem ein padding entstehen würde. Und da wo 
Padding entstehen würde schreib ich dann explizite dummy-Bytes hin damit 
meine 8er Blöcke alle voll sind.

So zum Beispiel:

typedef struct {
  // empty line every 8 bytes to help visualize alignment

  u32 magic;
  u16 scale_factor;
  u16 sample_time;

  u64 manufacture_date;

  u16 pid_kp;
  u16 pid_ki;
  u16 pid_kd;
  u16 pot_threshold_scale;

  u16 pot_light_dark_on_scale;
  u16 teach_threshold;
  out_type_t out_type;      // PNP, NPN, etc
  out_mode_t out_mode;      // switching or IO-Link
  u16 pulse_ext_millisec;    // pulse extension time

  light_dark_on_mode_t light_dark_on_mode;  // persisted state of pot hysteresis
} settings_t;

[Hans-Georg L. (h-g-l)]

Nop schrieb:
> Bernd K. schrieb:
>
>> Wenn Du offsetof anwenden kannst dann liegen doch die Quellen vor!
>
> Ja, aber nur seine eignen, wo er das mit verschiedenen Strukturvarianten
> durchprobiert und dank offsetof nicht manuell mit padding herumrechnen
> muß.

Ich definiere mir eine Struktur von der ich annehme das sie mit der 
unbekannten übereinstimmt und darauf kann ich offseof anwenden.

So sieht meine Struktur jetzt aus und es passt

  typedef struct _ASYNC_READ {
    USHORT  Bus_Node;     // BigEndian
    USHORT  OffsetHigh;   // BigEndian
    ULONG   OffsetLow;    // BigEndian
    ULONG   Unknown1;     // ?
    ULONG   Unknown2;     // ?
    ULONG   nNumberOfBytesToRead; // BigEndian
    UCHAR   data[1];      // Data Start
  } ASYNC_READ, *PASYNC_READ;