Hey,
hat wer von euch bereits einen USB 3.1 Gen 2 Chip gefunden bzw. im
Einsatz oder kann mir sagen, wann es welche geben soll?
Suche eine einfache Möglichkeit große Datenmengen zu übertragen(
>1Gbyte/s).
Ethernet kenne ich mich nicht so gut aus, gibt es da einfache Lösungen
bereits auf dem Markt? Möchte mich ungern mit Protokollen etc
rumschlagen müssen.
Vielen Dank
Gruß
Phil
Phil schrieb: > Suche eine einfache Möglichkeit große Datenmengen über welche Entfernung und zwischen welchen Geräten?
Von einem Messgerät zu einem Laptop, Entfernung/Kabellänge ca. 10cm, wenn nötig kürzer. Bräuchte halt eine Chip den ich an einen FPGA hängen kann und direkt als "Converter" dient, wie es sie auch für USB 2.0 etc gibt.
Meinst SATA vom Messgerät direkt zum Motherboard des PC's? Darüber habe ich auch nachgedacht, USB wäre halt nur schöner, finde halt nur kaum Chips dafür. Ethernet wäre ggf. auch eine Alternative. Hatte nur gehofft, dass usb 3.1 gen 2 bereits erhältlich ist.
Phil schrieb: >>1Gbyte/s). Ui. Das wird nix mit SATA. Das ist ein Fall für PCIe, direkt zwischen PC und Deinem FPGA.
Das Teil gibts vllt schon/demnächst als USB3.1: http://www.cypress.com/documentation/development-kitsboards/cyusb3kit-003-ez-usb-fx3-superspeed-explorer-kit Aber vllt reicht ja schon USB 3.0 SuperSpeed? Das Ding hat hier jemand als Masterarbeit an einen FPGA gehangen zum ordentlich Daten durchpusten.
Phil schrieb: > Ethernet kenne ich mich nicht so gut aus, gibt es da einfache Lösungen > bereits auf dem Markt? Möchte mich ungern mit Protokollen etc > rumschlagen müssen. Im generellen ist Ethernet meist viel einfacher zu handhaben als USB. Nur schon, weil es keine speziellen Treiber auf dem Computer für das Endgerät braucht. Es gibt fertige Module dafür, aber ich kenne keines mit Gigabit-Ethernet (gibts aber bestimmt). z.B. bei Lantronics oder AK-Nord kannst Du Dich mal nach Ethernet-Modulen umsehen.
:
Bearbeitet durch User
Hätte auch Ethernet oder PCIe genommen, die haben sich bereits bewährt bei schnellerem Datenaustausch, somit wird es auch eher Lösungen dazu geben. Phil schrieb: > große Datenmengen zu übertragen(>1Gbyte/s). Hoffentlich meinst du aber Gigabit oder? Ansonsten wirds selbst bei 10Gbit/s Ethernet knapp
Im Gegensatz zu USB sind die Ethernet Protokolle kostenlos öffentlich zugänglich.
Operator S. schrieb: > Hoffentlich meinst du aber Gigabit oder? Ansonsten wirds selbst bei > 10Gbit/s Ethernet knapp Nein ich meine schon Gigabyte, weswegen ja auch nur USB 3.1 gen 2 in Frage käme.
Phil schrieb: > Operator S. schrieb: >> Hoffentlich meinst du aber Gigabit oder? Ansonsten wirds selbst bei >> 10Gbit/s Ethernet knapp > > Nein ich meine schon Gigabyte, weswegen ja auch nur USB 3.1 gen 2 in > Frage käme. Ja dann halt mehrere 10Gbps Ethernet Leitungen parallel (gäbe zwar schon 40Gbps und 100Gbps, aber wohl derzeit unbezahlbar). Vergiss USB, wenn es zuverlässig und ausbaufähig sein soll. Aber ich denke mal, wenn Du dauernd so eine krasse Datenrate brauchst, machst Du grundsätzlich etwas falsch. Erzähle doch mal was über Deine Anwendung.
:
Bearbeitet durch User
Das Ziel der Daten ist ein Laptop. Welcher Laptop kann 1 Gigabyte pro Sekunde verarbeiten?
Stefan U. schrieb: > Im Gegensatz zu USB sind die Ethernet Protokolle kostenlos öffentlich > zugänglich. Die USB spec ist nicht öffentlich? Das war mir nicht bewußt. Betrifft das nur USB 3.x oder auch 2 und 1? Was ist mit den Dokumenten unter http://www.usb.org/developers/docs/ Sind die unvollständig und wenn ja welche Teile fehlen da?
Ok vielen Dank für die Hilfe, ich werde mir mal Ethernet genauer angucken, bin bisher davon ausgegangen, dass es deutlich komplizierter ist als USB. Johnny B. schrieb: > Aber ich denke mal, wenn Du dauernd so eine krasse Datenrate brauchst, > machst Du grundsätzlich etwas falsch. > Erzähle doch mal was über Deine Anwendung. Naja, Messgerät halt. Wir können viel Detektieren, müssen halt die Datenmengen transferieren, was momentan der Flaschenhals ist. Danke soweit! PS: Ihr schreibt noch jemand in meinem Namen...wer auch immer das ist.
PS: Die Daten sollen direkt auf die Festplatte/SSD geschrieben werden, nicht noch weiter verarbeitet werden.
Hast Du Dir schonmal die Datenerfassungsgeräte von Tasler angesehen? http://tasler.de/de/ltt/index.html Da werden auch sehr große Datenströme generiert, aber zunächst intern auf einer SSD gepuffert. Wäre das nicht auch für Deine Anwendung eine Möglichkeit zunächst intern zu puffern?
Phil schrieb: > Die Daten sollen direkt auf die Festplatte/SSD geschrieben werden, nicht > noch weiter verarbeitet werden. Und auf welche SSD kannst Du kontinuierlich 1 GByte/s schreiben? Das geht nur mit nem dicken RAID-Array mit vielen SSDs parallel, evtl. sogar mehreren Controllern und dann ner ganzen Menge Tuning. Das ist aber definitiv nix was in ein Notebook passt. Plane nen 19"-Rack. Alternative wäre evtl. so ne PCIe-SSD-Karte. Da gibts auch welche die extrem auf Speed getrimmt sind. Aber auch nix für nen Notebook.
LTT schrieb: > Hast Du Dir schonmal die Datenerfassungsgeräte von Tasler > angesehen? > http://tasler.de/de/ltt/index.html > Da werden auch sehr große Datenströme generiert, aber zunächst intern > auf einer SSD gepuffert. > Wäre das nicht auch für Deine Anwendung eine Möglichkeit zunächst intern > zu puffern? Hi, schöner wäre natürlich eine direkte Übertragung, aber falls ich nichts finden sollte, wäre das natürlich auch möglich. Danke für den Tipp. Ansonsten meinen Dank an alle für die Hilfe, hab genug Vorschläge hier bekommen, war eine große Hilfe! Vielen Dank.
Phil schrieb: > Die Daten sollen direkt auf die Festplatte/SSD geschrieben werden Mehr als 1GB/s mal eben so auf "die Festplatte" wegschreiben ist auch ziemlich sportlich. Das werden dann wohl ein halbes Dutzend SSD in einer geeigneten Raid Konfiguration werden.
Gerd E. schrieb: > Und auf welche SSD kannst Du kontinuierlich 1 GByte/s schreiben? > > Das geht nur mit nem dicken RAID-Array mit vielen SSDs parallel, evtl. > sogar mehreren Controllern und dann ner ganzen Menge Tuning. Das ist > aber definitiv nix was in ein Notebook passt. Plane nen 19"-Rack. wir leben fast im Jahr 2017! Samsung: 960 PRO -Bis zu 3.500MB/s sequentielle Lese- und 2.100MB/s OCZ RVD400 --Schreiben 1550 MB/s http://www.golem.de/news/samsung-960-pro-im-test-sparsame-2-tbyte-ssd-mit-kupfer-aufkleber-1610-123872.html es ist also weniger eine frage der SSD als eine Frage der Software. Mit einem Thread kann man die Leistung nicht schaffen, da muss man schon etwas parallelisieren.
> Was ist mit den Dokumenten unter http://www.usb.org/developers/docs/
Ich kann jetzt schlecht einschätzen, ob das vollständig ist. Aber es ist
auf jeden Fall schon viel mehr, als was ich damals vor 15 Jahren
bekommen konnte. Offensichtlich ist der ganze USB Kram längst nicht mehr
so "geheim", wie ich dachte.
Peter II schrieb: > -Bis zu Die Formulierung "Bis zu" würde mich so lange skeptisch stimmen bis ich es mit eigenen Augen gesehen hätte, mit mehr Daten als in den Schreibcache passen und Dauerstrich bis die SSD voll ist. Vor allem bei explizit als Consumer-Produkten vermarkteten Artikeln.
Bernd K. schrieb: > Die Formulierung "Bis zu" würde mich so lange skeptisch stimmen bis ich > es mit eigenen Augen gesehen hätte, mit mehr Daten als in den > Schreibcache passen und Dauerstrich bis die SSD voll ist. Vor allem bei > explizit als Consumer-Produkten vermarkteten Artikeln. die "PRO" steht nicht für Consumer. Suche einfach ein paar Tests im Netz, da findest sich keiner wo sie weniger als 1Gbyte/s schafft. (außer bei sinnlos kleinen Blockgrößen und nur eine Thread).
Peter II schrieb: > und > nur eine Thread Was nackter IO-Durchsatz im Flaschenhals mit irgendwelchen Threads weit außerhalb der Flasche zu tun haben soll erschließt sich mir nicht.
Bernd K. schrieb: > Was nackter IO-Durchsatz im Flaschenhals mit irgendwelchen Threads weit > außerhalb der Flasche zu tun haben soll erschließt sich mir nicht. aktuelle Festplatten arbeiten mehre Warteschlangen parallel ab. Wenn man nur eine Warteschlange nutzt, wirken sich Latenzen negativ auf den Gesamtdurchsatz aus.
Peter II schrieb: > die "PRO" steht nicht für Consumer.
1 | http://www.samsung.com/semiconductor/minisite/ssd/product/consumer/960pro.html |
2 | ^^^^^^^^ ^^^ |
Wahrscheinlich für die Pro-Sumer (Power-User) LOL
Peter II schrieb: > aktuelle Festplatten arbeiten mehre Warteschlangen parallel ab. Wenn man > nur eine Warteschlange nutzt Hört sich nicht so an als ob man dafür mehrere Threads bräuchte.
Bernd K. schrieb: > http://www.samsung.com/semiconductor/minisite/ssd/product/consumer/960pro.html > ^^^^^^^^ > ^^^ > > Wahrscheinlich für die Pro-Sumer (Power-User) LOL sind wir nicht alle consumer...
Bernd K. schrieb: > Hört sich nicht so an als ob man dafür mehrere Threads bräuchte. ein Zeiten von multicore CPUs sind es bei solchen Projekt auf jeden Fall sinnvoll mehr als ein Kern auszulasten.
Festplatten so rasch mal mit Messdaten vollschreiben, das braucht doch höchstens das CERN, wenn sie wieder mal Teilchen kollidieren lassen... Aber auch die werden die Daten erst mal zwischenpuffern müssen und erst dann rel. langsam wegschreiben können. Allenfalls lässt sich mit einer sehr einfachen Kompression der Umfang der zu übertragenen Daten noch wesentlich vermindern, so dass es dann nicht mehr so krasse Anfordernugen an die Übertragung und das Wegschreiben benötigt.
Hier noch eine Präsentation vom CERN, wo sie Ende 2011 ein SAN evaluiert haben. Das sieht sehr aufwändig aus und bringt aber dennoch "nur" 700MB/s weg. Die schreiben mit diesem Durchsatz in eine Oracle Datenbank. https://canali.web.cern.ch/canali/docs/Storage_testing_RAC11g_UKOUG_LC_DW.pptx
:
Bearbeitet durch User
Johnny B. schrieb: > Hier noch eine Präsentation vom CERN, wo sie Ende 2011 ein SAN evaluiert > haben. Das sieht sehr aufwändig aus und bringt aber dennoch "nur" > 700MB/s weg. Die schreiben mit diesem Durchsatz in eine Oracle > Datenbank. > > https://canali.web.cern.ch/canali/docs/Storage_testing_RAC11g_UKOUG_LC_DW.pptx das Dokument ist von 2009 - das gab es keine SSD und auch keine NVME Protokoll sowie die M2 Schnittstelle.
External PCIe existiert. PCIe sollte für ein FPGA kein Problem sein, und es ist die direktestmögliche Verbindung zu einem Rechner. Das hier sind die standardisierten Kabel und Stecker. http://www.molex.com/molex/products/family?key=external_pci_express_pcie Darüber gehen 4 PCIe Lanes. Das hier ist eine Adapterkarte, die an einem PC einen externen PCIe x4 herausführt: http://www.ioi.com.tw/products/proddetail.aspx?CatID=106&HostID=2046&ProdID=1060150 Für Notebooks gibt es Thunderbolt. Das sind im Prinzip auch 4 PCIe Lanes, aber Du brauchst einen speziellen Intel-Chip, der aus Thunderbolt wieder PCIe macht. Keine Ahnung, ob es den auf dem freien Markt gibt. Apple bekommt den natürlich - in den TB-GBit Ethernet Adaptern sind die zB verbaut (und zwar IM TB-Stecker selber!). Wenn es unbedingt ein Notebook sein soll, wirst Du wohl um Thunderbolt und einen der neuen Apple Macbook Pro mit 4 TB3 nicht drumrum kommen. Diese Kisten sind zwar teuer, haben aber auch die erforderliche schnelle SSD eingebaut. fchk
Thread beobachten
Seitenaufteilung abschaltenBitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.