640x480 VGA Monitor Bitmaske in SRAM

Hallo
Im Rahmen eines Uni Projektes muss ich mit einem Spartan 3 FPGA eien 
Analoguhr auf einem VGA Bildschirm 640x480 anzeigen lassen .
Mein Problem ist , ich weiss nicht wie ich mein Speicherabbild 
konstuiere.
Ich hab ein SRAM 32 Bit Wortbreite und 18 Bit Adresse zu verfuegung .

Ich hatte die Idee dass ich 8 Pixel (3 Bit pro pixel) pro 32 Bit 
speichere . Damit bleiben 2 Bit in jedem Byte ungenutzt.was kein Problem 
ist da mein Speicher Gross genug ist .

das Problem ist bei der Berechung von den einzelnen Adressen fuer die 
einzelnen Pixel , ich bin auf diese Gleichung gekommen :

Adresse im Speicher = ((y-position)*80)+((x-pos)/8)

das Problem in dieser Gleichung ist dass sie eine Multiplikation und 
eine Division enthaelt und damit viel Rechenzeit braucht und das fuer 
jedes einzelne Pixel .

Ideen wie man das macht ?
vielen Dannk im vorraus