schneller Controller gesucht

Für was brauchst du den den Controller ?
Ganz Allgemein : Programmierbare Logik-Bausteine sind sehr sehr schnell

Vor allem für Bildberechnungen aber auch für andere Sachen..

Vielleicht AVR32 -> Grasshopper oder NGW100?

Schau dir mal den Parallax Propeller an. Simpler als ein AVR, 160 MIPS, 
8 Kerne.

http://parallax.com/Default.aspx?tabid=407

Wenn Du viel Rechenpower brauchst, sind evtl. die Blackfins was für 
Dich. Sind zwar DSP's, aber vom Aufbau her recht ähnlich wie 
Microcontroller d.h. mit rel. viel Peripherie und geringem 
Stromverbrauch:
http://www.analog.com/en/embedded-processing-dsp/blackfin/content/index.html

Wieselflink schließt sich leider in aller Regel mit einer simplen 
Architektur aus.
Blackfins sind sicher gar nicht schlecht, man muss sich aber schon damit 
beschäftigen, um die Hardware erst mal zu kennen und am besten auch 
einzusetzen, das kostet zeit und Nerven.
Ein Eval Board kostet was, die Entwicklungsumgebung auch und eine 
Eigenbauplatine ist sicher ein Garant für graue Haare. (davon ausgehend, 
daß ein schneller 8 bit Ersatz gesucht ist)

Ich würde empfehlen: überleg doch, ob die Bildbearbeitung nicht besser 
im PC gemacht wird? Daten kann man über usb oder Lan prima übertragen 
und so ein PC programmiert sich in c doch sehr angenehm, blackbox artig 
und mit massig power! Wenn eine Portable Lösung gesucht ist - Arm und 
vielleicht Filter oder so was gen fpga?

Icke, kann Dir nur zustimmen, wenn Power keine Rolle spielt und die 
Kosten ebenfalls nicht so sehr (also kein Serienprodukt), würde ich die 
Bildverarbeitung auch auf dem PC, allenfalls Embedded PC machen.
Ansonsten sind die Blackfins gut dafür geeignet und für Serienprodukte 
bzw. spezielle Anforderungen lohnt sich dann auch der Einstieg und die 
Einarbeit in diese andere Welt.
Und ja, wenn ein PC oder Blackfin nicht ausreicht, dann bleibt wohl nur 
noch die Bildverarbeitung in FPGA's.

Wenn man aus dem Japanischen ins Englische übersetzte Datenbücher magst, 
dann solltest Du Dir mal die SH-2 und Konsorten von Renesas angucken.

Super-H SH7211F mit interleaved Flash bei 160 MHz z.B. 384 MIPS.

Für Bildverarbeitung?
Dann nehm doch wie Vorgeschlagen einen Standart-PC und für I/O Aufgaben 
einen 8Bit-µC mit serieller Verbindung an den PC

Leider scheidet PC aus, muss embedded sein