Also erstmal fällt mir auf, das Du kein Snubber parallel zur
Primärwicklung hast, die an Pin 1 (SW) geht.
Mein Tip wäre Dir mal die App.-Note 1630 anzuschauen und dort mal Deinen
Schaltplan mit dem auf der ersten Seite zu vergleichen.
Den Snubber den ich meinte besteht dort aus den Bauteilen R6, C7 und D2.
Weiterhin ist dort auch gezeigt, daß VIN (Pin 2) über eine zusätzliche
RC-Kombination abgeblockt ist. Dies ist übrigens auch im Datenblatt zum
LM5001 'recommended'(!), um Transienten zu ünterdrücken. Diesbezüglich
hat es auch seinen Sinn, warum z.B. in der AN-1630 nicht ein ELKO mit
4,7µF (an VIN) eingezeichnet ist sondern zwei mit je 2,2µF - dies dient
der Reduzierung des ESR-Wertes der ELKOs, der bei Schaltnetzteilen einen
sehr wichtigen Stellenwert hat.
Allgemein kann man sagen: Lieber mehrere kleine ELKOs parallel, als nur
einen Großen.
Der Übertrager selbst könnte ebenfalls noch eine potentielle
Fehlerquelle sein, u.a. wenn er nicht richtig gewickelt wurde, d.h. wenn
z.B. die Streuinduktivität zu hoch ist.
Parallel zu R2 hätte ich einen (kleinen) Kondensator eingebaut, der ein
bißchen für'n Softstart des ICs intern sorgt - dies hätte aber nichts
mit der von Dir beobachteten Schwingneigung zu tun.