Forum: Compiler & IDEs vscode Github Copilot soll code "wie bei uns üblich" generieren


von Nemopuk (nemopuk)


Lesenswert?

Da ich es noch nicht mit echten Quellcode Projekten der Firma 
ausprobieren darf, habe ich es mit meiner eigenen Homepage getestet. Ich 
möchte mich wenigstens ein bisschen auf die Lawine vorbereiten, die 
gerade auf mich zu rollt.

Offenbar kann der Copilot nur auf wenige Files pro Chat zugreifen, die 
ich einzeln zum Kontext hinzufügen muss. Ein entsprechender Prompt 
lautet dann "Erstelle eine neue HTML Datei mit Namen ..., mit einer 
ähnlichen Struktur wie die bereits vorhandene Datei .... Das klappt 
soweit.

Viel weiter bin aber ich nicht gekommen. Denn wenn ich danach 
schrittweise weitere Inhalte einfüge, löst er sich nach einer Weile von 
der Vorlage und wendet von da an einen völlig anderen Stil an. In echten 
Projekten möchte ich z.B. Datensätze lesen, konvertieren, mit 
Informationen anreichern, und dann ausgeben. Aber nicht nach einer 
primitiven Vorlage von Stackoverflow, sondern in dem einheitlichen Stil, 
der für alle Programme des Geschäftsbereiches gilt.

Wie man firmeneigenes Know-How und best practises aus anderen Projekten 
und Dokumentationen einbezieht, habe ich noch gar nicht herausgefunden. 
Mich beschleicht das Gefühl, dass man dazu ein eigenes selbst 
trainiertes Modell bräuchte. Stimmt das?

Falls ja: Gibt es andere KI Code-Assistenten als Dienst, wo das ohne den 
Betrieb eines eigenen Modells geht?

: Bearbeitet durch User
von Alexander (alecxs)


Lesenswert?

Nemopuk schrieb:
> In echten Projekten möchte ich z.B. Datensätze lesen, konvertieren, mit
> Informationen anreichern auf die der aktuelle Zugriff hat, und dann
> ausgeben.

Und warum machst Du das nicht? Wozu Copilot?

von Nemopuk (nemopuk)


Lesenswert?

Alexander schrieb:
> Und warum machst Du das nicht? Wozu Copilot?

Weil der Geschäftsführer das so will. Er ist davon überzeugt, dass die 
Firma mit KI effizienter programmieren kann (weil: steht offenbar so im 
Manager-Magazin). Ich denke, dass die Anfänger davon mehr profitieren 
als ich alter Hase. Aber wirklich wissen kann ich das erst, wenn ich es 
getestet habe. Ich bin mit der Vielfalt der Angebote überfordert.

Der Punkt ist: Wenn ich ihm sage "geht nicht" oder "kostet 200.000€", 
dann muss das schon etwas fundierter sein, als ein Schuss aus dem Bauch 
heraus.

Falls jemand dazu Lesestoff oder weitere testbare Dienste empfehlen kann 
(die das können), wäre echt super.

: Bearbeitet durch User
von Harald K. (kirnbichler)


Lesenswert?

Nemopuk schrieb:
> Weil der Geschäftsführer das so will. Er ist davon überzeugt, dass die
> Firma mit KI effizienter programmieren kann (weil: steht offenbar so im
> Manager-Magazin).

Ok. Das Peterprinzip ist auf jeden Fall erfüllt.

Und was den Rest angeht: Auf Englisch heißt das "when the shit hits the 
fan".

Mein Beileid. Hängst Du arg an Deinem Job? Hast Du den Eindruck, daß Du 
da bislang für was produktives beschäftigt wurdest?

von Nemopuk (nemopuk)


Lesenswert?

Harald K. schrieb:
> Mein Beileid. Hängst Du arg an Deinem Job?

Sagen wir es so: Mit 50 ist das Risiko hoch, keinen Job mehr zu 
bekommen.

> Hast Du den Eindruck, daß Du
> da bislang für was produktives
> beschäftigt wurdest?

Bisher ja. Copy-Pasta geben wir (noch) den junioren. Dort will er 
sparen.

von Ein T. (ein_typ)


Lesenswert?

Nemopuk schrieb:
> Weil der Geschäftsführer das so will. Er ist davon überzeugt, dass die
> Firma mit KI effizienter programmieren kann (weil: steht offenbar so im
> Manager-Magazin).
> [...]
> Der Punkt ist: Wenn ich ihm sage "geht nicht" oder "kostet 200.000€",
> dann muss das schon etwas fundierter sein, als ein Schuss aus dem Bauch
> heraus.

Wenn Du ihm sagst "entspricht nicht unserem Codingstyle" wird das 
womöglich auch nicht viel nutzen. Leute, die so etwas im MM lesen, haben 
häufig wenig Zugang zu derartigen Qualitätsthemen.

von Harald K. (kirnbichler)


Lesenswert?

Nemopuk schrieb:
> Sagen wir es so: Mit 50 ist das Risiko hoch, keinen Job mehr zu
> bekommen.

Oh fuck. Wenn da so eine komplett inkompetente Managerdrohne auch noch 
das letzte Krüstchen Resthirn abgegeben hat, und auf "Managermagazine" 
reinfällt, dann gute Nacht.

Denn was bezwecken die mit "KI"? Nicht, daß den Programmierern das 
Programmieren leichter und flotter von der Hand geht, sondern daß die 
Programmierer überflüssig werden.

Ich hoffe für Dich, daß Du da in einer Position mit mehr Verantwortung 
sitzt, als dort, wo die unerfahrenen Anfänger frisch von der Schule 
angestellt sind, und daß Du mit Erfahrung kontern kannst.

von Nemopuk (nemopuk)


Lesenswert?

Ein T. schrieb:
> Wenn Du ihm sagst "entspricht nicht unserem Codingstyle" wird das
> womöglich auch nicht viel nutzen.

Gut erkannt!

von Philipp K. (philipp_k59)


Lesenswert?

Beim Github Co-Pilot darf man nicht vergessen, das er nur aus Github 
angelernt wird.

Das finde ich in vielen Fällen sehr Vorteilhaft.

Wenn man jetzt mit einer "Closed Source" Aufgabe kommt, die öffentlich 
in Github anders gelöst wurde, dann weicht der auch ab. Dann muss man 
dem eher die Syntax und den Codestyle erklären.

von Nemopuk (nemopuk)


Lesenswert?

Harald K. schrieb:
> Wenn da so eine komplett inkompetente Managerdrohne auch noch das letzte
> Krüstchen Resthirn abgegeben hat, und auf "Managermagazine" reinfällt,
> dann gute Nacht.

Ganz ruhig, noch ist nichts entschieden. Er will meine Meinung dazu 
hören.

> daß Du mit Erfahrung kontern kannst.

Da ist der Knackpunkt. Mangels Erfahrung fühle ich mich mit dem Thema 
überfordert. Mein aktueller Arbeitsvertrag verbietet, es einfach mal mit 
einem echten Projekt auszuprobieren. Und meine Hobbyprojekte sind für 
einen Test zu primitiv.

Danke für eure Meinungen. Die Fragen aus dem Eröffnungsbeitrag sind noch 
unbeantwortet.

: Bearbeitet durch User
von Nemopuk (nemopuk)


Lesenswert?

Philipp K. schrieb:
> Dann muss man dem eher die Syntax und den Codestyle erklären.

Wie macht man das, ohne es in jedem Chat wiederholen zu müssen?

von Harald K. (kirnbichler)


Lesenswert?

Nemopuk schrieb:
> Da ist der Knackpunkt. Mangels Erfahrung fühle ich mich mit dem Thema
> überfordert.

Ich meine Erfahrung mit Deiner Arbeit, nicht Erfahrung mit KI-Slop.

Und wenn Du kotzen willst:
https://www.heise.de/news/Microsoft-Das-sind-die-Jobs-bei-denen-KI-am-staerksten-zum-Einsatz-kommt-10507937.html

von Thomas V. (tomv)


Lesenswert?

Nemopuk schrieb:
> Weil der Geschäftsführer das so will. Er ist davon überzeugt, dass die
> Firma mit KI effizienter programmieren kann (weil: steht offenbar so im
> Manager-Magazin).

Dann zeig ihm das hier:

https://www.golem.de/news/fast-jede-zweite-zeile-fehlerhaft-ki-code-voller-sicherheitsluecken-2507-198664.html

von Helmut H. (helmuth)


Lesenswert?

Nemopuk schrieb:
> Der Punkt ist: Wenn ich ihm sage "geht nicht" oder "kostet 200.000€",
> dann muss das schon etwas fundierter sein, als ein Schuss aus dem Bauch
> heraus.

Wird dann peinlich, wenn Chef Gemini fragt:
Github Copilot soll code "wie bei uns üblich" generieren

und die Antwort erhält:
Ja, es ist möglich, GitHub Copilot mit dem eigenen firmeneigenen Code zu 
trainieren. Dies ist ein Feature, das als Fine-Tuning bezeichnet wird...

von Martin S. (strubi)


Lesenswert?

Nemopuk schrieb:
> Wie man firmeneigenes Know-How und best practises aus anderen Projekten
> und Dokumentationen einbezieht, habe ich noch gar nicht herausgefunden.
> Mich beschleicht das Gefühl, dass man dazu ein eigenes selbst
> trainiertes Modell bräuchte. Stimmt das?

Ja, Kostenabschaetzung schwierig, Rentabilitaet fragwuerdig. 
Programmierer, die schlecht/viele Fehler tippen, werden damit 
vordergruendig vielleicht 'effektiver', aber muessen auch mehr Tests 
entwickeln. Meist muessen das dann aber die erfahrenen Programmierer 
abfedern.

Irgend einen fake-it-before-you-make-it-Kram mit eine Menge 
Management-Bullshit gemischt kriegt die KI durchaus hin. Robuste und 
elegante Software halt eher nicht so.

von Niklas G. (erlkoenig) Benutzerseite


Lesenswert?

Nemopuk schrieb:
> Weil der Geschäftsführer das so will. Er ist davon überzeugt, dass die
> Firma mit KI effizienter programmieren kan

Gibt's denn dann keine Schulungen? Da kann man doch den Experten fragen 
wie man es macht. Und sich natürlich live bei echt auftauchenden 
Problemen helfen lassen.

von Ove M. (Firma: ;-) gibt es auch) (hasenstall)


Lesenswert?

Mal im Ernst, aber CoPilot ist Spielzeug!
Stell dir ne Aufgabe, probier es aus, ws es damit braucht, um zu einer 
Lösung zu kommen. Dann machst du das Selbe mit ChatGPT, und dann mit 
Claude.
Danach weist du, CoPilot bringt es nicht!
Und ja, MS-Rotz ist in vielen Firmen die Vorgabe.
Aber egal, sie wollen es ja so! Bleibt halt der imaginäre Vorteil 
woanders hängen! Also, ganz ruhig bleiben 😉.

von Richard W. (richardw)


Lesenswert?

So weit ich weiß funktionieren LLM alle nach dem Prinzip “Prompt rein, 
Antwort raus”. Die Historie wird oft Teil des nächsten Prompts bis die 
Größe des Context Windows erreicht ist. Mehr kann das LLM bei der 
Antwort nicht berücksichtigen. Das mit der Historie merkst du nicht denn 
das macht z.B. ChatGPT implizit für dich.

Deine Codebasis kann sich kein Modell so anschauen wie du das als Mensch 
machen würdest sondern sie muss Teil des Prompts werden. Das kann man 
wohl mit Tools wie Repomix veranstalten die irgendein XML Format oder so 
ausspucken.

Ob dein ganzes Repo allerdings in das Context Window passt? Muss es aber 
vielleicht auch nicht.

Keine Ahnung was Copilot da genau im Hintergrund macht, aber es wird 
wohl auch so oder so ähnlich ablaufen.

: Bearbeitet durch User
von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

> Falls ja: Gibt es andere KI Code-Assistenten als Dienst, wo das ohne den
> Betrieb eines eigenen Modells geht?

Da hab ich mal nen Vortrag über "Generative AI agents " development 
gehört.
Da hat man die Gesamtentwicklung auf die üblichen Prozessanschnitte wie 
Requirements" lib programming custom code programming testeing ... 
zergliedert und für jede Phase eigens antrainierte "LLM" verwendet.

Zumindest auf dem Papier. Das agent bezog sich dann auf "rewuirement 
agent" "custom coding agen"", ... und was "Eigenes LLM" hiess war auf 
Nachfrage dann doch "nur" ChatGPT oder "Claude sonnet"

* https://www.embeddedrelated.com/showarticle/1731.php

Vielleicht sollte man erst üben in dem man die AI nur beim testing 
(erzeugen von Testunits, umgebungen) einsetzt?

von Oliver S. (oliverso)


Lesenswert?


von N. M. (mani)


Lesenswert?


von Alexander (alecxs)


Lesenswert?

Kannste Dir nich ausdenken

von Ob S. (Firma: 1984now) (observer)


Lesenswert?

Nemopuk schrieb:

> Mich beschleicht das Gefühl, dass man dazu ein eigenes selbst
> trainiertes Modell bräuchte. Stimmt das?

Nein. Man kann, wie bisher üblich, auch NI verwenden.

von Nemopuk (nemopuk)


Lesenswert?

Niklas G. schrieb:
> Gibt's denn dann keine Schulungen? Da kann man doch den Experten fragen
> wie man es macht. Und sich natürlich live bei echt auftauchenden
> Problemen helfen lassen

Erstmal war die Frage, ob wir den Aufwand überhaupt machen wollen.

Ich habe das ganze Wochenende mit Copilot herum getüftelt und eine Menge 
über Datenschutz, Kosten und Beschränkungen (nicht nur bezüglich 
Copilot) gelesen. Nach meinem Feedback heute hat der Chef die Idee erst 
mal auf Eis gelegt, wie es scheint. Mein Feedback sei keine Überraschung 
gewesen, andere hatten ihm wohl vor zwei Wochen bereits ähnlich 
geantwortet.

Richard W. schrieb:
> Deine Codebasis kann sich kein Modell so anschauen wie du das als Mensch
> machen würdest sondern sie muss Teil des Prompts werden.

Was in ernsthaften Projekten am Kontext-Fenster scheitert. Mistral 
bietet dazu offenbar eine Lösung an.

: Bearbeitet durch User
von Harald K. (kirnbichler)


Lesenswert?

Nemopuk schrieb:
> Nach meinem Feedback heute hat der Chef die Idee erst
> mal auf Eis gelegt, wie es scheint. Mein Feedback sei keine Überraschung
> gewesen, andere hatten ihm wohl vor zwei Wochen bereits ähnlich
> geantwortet.

Das lässt leichte Hoffnung aufkommen.

von Nemopuk (nemopuk)


Lesenswert?

Harald K. schrieb:
> Das lässt leichte Hoffnung aufkommen.

Da siehst du: nicht alle Chefs sind blöd.

von Harald K. (kirnbichler)


Lesenswert?

Nemopuk schrieb:
> Da siehst du: nicht alle Chefs sind blöd.

Naja, Deiner gehört aber mit der Aktion schon zur Risikogruppe ...

von Nemopuk (nemopuk)


Lesenswert?

Harald K. schrieb:
> Deiner gehört aber mit der Aktion schon zur Risikogruppe ...

Welche Aktion? War es ein Fehler, die besten Entwickler der Firma zu 
fragen, was sie von KI als Arbeitsmittel halten?

Ich meine: Es wäre schlecht gewesen, so etwas ohne fachkundigen Rat 
einzuführen oder zu verbieten.

von Ob S. (Firma: 1984now) (observer)


Lesenswert?

Nemopuk schrieb:

> Welche Aktion? War es ein Fehler, die besten Entwickler der Firma zu
> fragen, was sie von KI als Arbeitsmittel halten?

Nunja: Wurden wirklich die besten Entwickler befragt? Und wie gut sind 
die wirklich?

Du bist, zumindest nach allem, was du bisher an Eigenleistungen 
veröffentlicht hast, kein guter Entwickler.

Aber klar: Nach allem, was ich bisher veröffentlicht habe, bin ich auch 
kein guter Entwickler.

Man kann halt nicht einfach alles veröffentlichen, was man tut. Schon 
deshalb nicht, weil Weil das Meiste halt den jeweiligen Brötchengebern 
gehört.

von Philipp K. (philipp_k59)


Lesenswert?

Nemopuk schrieb:
> Wie macht man das, ohne es in jedem Chat wiederholen zu müssen?

keine Ahnung, versuchs mit unveränderter "codebasis" und "coding 
style"..

Vielleicht so etwas?

https://docs.github.com/en/copilot/how-tos/use-copilot-agents/request-a-code-review/configure-coding-guidelines

von Frank O. (frank_o)


Lesenswert?

Ich warte noch auf den ersten µC, dem du erzählen kannst, was er tun 
soll.😆

von Philipp K. (philipp_k59)


Lesenswert?

Frank O. schrieb:
> Ich warte noch auf den ersten µC, dem du erzählen kannst, was er tun
> soll.😆

geht doch mit arduino und Spracheingabe.. DigitalIn, Digitalout, 
getanalog, setanalog.. das ist ja schon "Sprech" ;)

von Frank O. (frank_o)


Lesenswert?

Habe ich noch nicht gesehen. Schaue ich mir an.

Aber so sehr das als Quatsch gemeint war, ich kann mir schon vorstellen, 
dass es bald solche Entwicklungssysteme gibt und zwar hochproffesionell.

von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Angehängte Dateien:

Lesenswert?

> dass es bald solche Entwicklungssysteme gibt

hab mal zwei Folien aus dem besagten Vortrag ( 
Beitrag "Re: vscode Github Copilot soll code "wie bei uns üblich" generieren" ) 
angehangen, damit besser illustriert ist wie man eine Entwicklung mit AI 
aufziehen könnte.

Und das "Copilot" dafür eher ungeeignet ist, jedenfalls im Profibereich, 
zur Freizeit-Bespassung mag Co-Pilot geeignet sein.

: Bearbeitet durch User
von Niklas G. (erlkoenig) Benutzerseite


Lesenswert?

Gestern habe ich mal versucht Claude Sonnet eine Funktion implementieren 
zu lassen, die grundsätzlich ziemlich simpel ist, aber mit einer 
gewissen Einschränkung. Es hat dann recht beeindruckend die Fähigkeiten 
der Agentic AI demonstriert:

- Liefert die dümmstmögliche Implementation ab
- Merkt dass diese die Einschränkung nicht erfüllt
- Produziert eine etwas bessere Implementation
- Merkt dass diese die Einschränkung immer noch nicht erfüllt
- Produziert eine weitere Implementation welche die Einschränkung 
tatsächlich erfüllt

Auf den ersten Blick sieht das Ergebnis gut aus, ist aber sehr 
ineffizient. Daher gebe ich an, dass die Funktion in O(n) statt O(n²) 
implementiert werden soll. Dann passiert:

- Liefert die dümmstmögliche Implementation von ganz am Anfang ab
- Merkt dass diese die Einschränkung nicht erfüllt
- Produziert eine etwas bessere Implementation
- Merkt dass diese die Einschränkung immer noch nicht erfüllt
- Produziert eine weitere Implementation welche die Einschränkung 
tatsächlich erfüllt
- Merkt dass die Implementation mit O(n²) zu ineffizient ist
- Möchte von vorn anfangen und möchte die Quelltext-Datei löschen
- Ich bestätige das Löschen der Datei
- Liefert die dümmstmögliche Implementation von ganz am Anfang ab
- Merkt dass diese die Einschränkung nicht erfüllt
- Produziert eine etwas bessere Implementation
...

Es hat sich dann noch 5x im Kreis gedreht mit den immer gleichen 
Ausgaben und einen unendlichen Wust an Text produziert. In der Zeit hab 
ich die Funktion natürlich einfach selbst umgesetzt, inkl. Einschränkung 
und in O(n). So ganz klar ist mir noch nicht, wie die Agentic AI das 
Leben umkrempeln soll. Aber hey, es war fast vollständig automatisch - 
jetzt müssen wir nur noch diese paranoide Lösch-Bestätigung deaktivieren 
sodass es völlig autonom rotieren kann.

von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

> Gestern habe ich mal versucht Claude Sonnet eine Funktion implementieren
> zu lassen, die grundsätzlich ziemlich simpel ist, aber mit einer
> gewissen Einschränkung. Es hat dann recht beeindruckend die Fähigkeiten
> der Agentic AI demonstriert:

Vielen Dank für das Teilen Deiner Erfahrung mit diesem Forum.
Das Geschilderte bestätigt meine Einschätzung bezüglich des Nutzens der 
genanntenn Tools in den Händen eines Profis.

von Joe J. (j_955)


Lesenswert?

Nemopuk schrieb:
> Ich habe das ganze Wochenende mit Copilot herum getüftelt und eine Menge
> über Datenschutz, Kosten und Beschränkungen (nicht nur bezüglich
> Copilot) gelesen.
Erster Fehler->WE - Freizeit.

> Nach meinem Feedback heute hat der Chef die Idee erst
> mal auf Eis gelegt, wie es scheint. Mein Feedback sei keine Überraschung
> gewesen, andere hatten ihm wohl vor zwei Wochen bereits ähnlich
> geantwortet.
Natürlich Cheffe hat schon vorher alles gewusst. Macht Eindruck - nicht.

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.