Bedenke dass der LM317 anders aufgebaut ist als viele andere Linearregler:
Bei den meisten anderen Spannungsreglern hast Du die Referenz fest über GND auf der einen Seite des integrierten Opamps und auf der anderen Seite den Feedback-Eingang den Du außen über Spannungsteiler vom Ausgang abgreifst. Die Feedback-Schleife wird also extern über den Feedback-Eingang geschlossen.
Beim LM317 vergleicht der integrierte Opamp auf der einen Seite direkt den Out-Pin mit der Spannungsreferenz die in Reihe mit dem Adj-Pin sitzt. Die Feedback-Schleife ist also intern innerhalb des LM317 schon geschlossen.
Jetzt kommst Du mit Deinem externen Opamp und baust eine 2. Feedback-Schleife dazu. Wenn Du da nicht aufpasst, arbeiten die genau gegeneinander. Das siehst Du dann als Schwingen.
Die externe Feedback-Schleife sollte deutlich langsamer laufen als die interne um das zu verhindern. Also mit Kondensatoren ausbremsen.
Teste dass es auch mit verschiedenen Lasten funktioniert, nicht nur einfache Widerstände. Also auch z.B. das Ein- und Ausschaltverhalten, Last- und Eingangsspannungssprünge, Kondensatoren, Induktivitäten, eine elektronische Last etc.