{"id":248,"date":"2025-03-29T11:48:27","date_gmt":"2025-03-29T11:48:27","guid":{"rendered":"https:\/\/philosophy-and-ai.cs.rptu.de\/?page_id=248"},"modified":"2025-07-09T13:49:05","modified_gmt":"2025-07-09T13:49:05","slug":"underspecification-presents-challenges-for-credibility-in-modern-machine-learning","status":"publish","type":"page","link":"https:\/\/philosophie-und-ki.cs.rptu.de\/index.php\/underspecification-presents-challenges-for-credibility-in-modern-machine-learning\/","title":{"rendered":"&#8222;Underspecification Presents Challenges for Credibility in Modern Machine Learning&#8220;"},"content":{"rendered":"\n<p><strong>A. D&#8217;Amour, K. Heller, D. Moldovan, et al. &#8211; 2022<\/strong><br>Maschinelle Lernsysteme (ML) zeigen oft unerwartet schlechtes Verhalten, wenn sie in realen Anwendungsbereichen eingesetzt werden. Wir identifizieren Unterbestimmtheit in ML-Pipelines als eine zentrale Ursache f\u00fcr diese Fehler.<br><br>Eine ML-Pipeline ist der vollst\u00e4ndige Prozess, der zur Schulung und Validierung eines Modells durchgef\u00fchrt wird. Eine Pipeline ist unterbestimmt, wenn sie viele verschiedene Modelle erzeugen kann, die zwar alle gleich gute Testergebnisse liefern, aber dennoch sehr unterschiedlich funktionieren k\u00f6nnen. Unterbestimmtheit ist ein h\u00e4ufiges Problem in modernen ML-Pipelines, die ihre Modelle haupts\u00e4chlich mit zur\u00fcckgehaltenen Testdaten validieren, die der gleichen Verteilung folgen wie die Trainingsdaten.<br><br>Die von solchen unterbestimmten Pipelines zur\u00fcckgegebenen Modelle werden oft als gleichwertig betrachtet, da sie im Trainingskontext \u00e4hnliche Leistungen zeigen. Wir zeigen jedoch, dass sich diese Modelle im praktischen Einsatz drastisch unterschiedlich verhalten k\u00f6nnen. Diese Mehrdeutigkeit kann zu Instabilit\u00e4t und schlechtem Modellverhalten f\u00fchren \u2013 und stellt eine neue Art von Fehler dar, die sich von bereits bekannten Problemen unterscheidet, die durch strukturelle Unterschiede zwischen Trainings- und Einsatzumgebung entstehen.<br><br>Wir liefern Beweise daf\u00fcr, dass Unterbestimmtheit erhebliche Auswirkungen auf praktische ML-Pipelines hat. Unsere Beispiele stammen aus Bereichen wie Computer Vision, medizinische Bildverarbeitung, Verarbeitung nat\u00fcrlicher Sprache, klinische Risikoprognosen basierend auf elektronischen Gesundheitsakten und medizinische Genomik. Unsere Ergebnisse zeigen, dass es notwendig ist, Unterbestimmtheit explizit in ML-Pipelines zu ber\u00fccksichtigen, die f\u00fcr den realen Einsatz in beliebigen Dom\u00e4nen entwickelt werden.<br>(Eigene \u00dcbersetzung des Abstracts von <a href=\"https:\/\/www.jmlr.org\/papers\/v23\/20-1335.html\">Journal of Machine Learning Research<\/a> &#8211; JMLR)<br><br><\/p>\n","protected":false},"excerpt":{"rendered":"<p>A. D&#8217;Amour, K. Heller, D. Moldovan, et al. &#8211; 2022Maschinelle Lernsysteme (ML) zeigen oft unerwartet schlechtes Verhalten, wenn sie in realen Anwendungsbereichen eingesetzt werden. Wir identifizieren Unterbestimmtheit in ML-Pipelines als eine zentrale Ursache f\u00fcr diese Fehler. Eine ML-Pipeline ist der vollst\u00e4ndige Prozess, der zur Schulung und Validierung eines Modells durchgef\u00fchrt wird. Eine Pipeline ist unterbestimmt, [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-248","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/philosophie-und-ki.cs.rptu.de\/index.php\/wp-json\/wp\/v2\/pages\/248","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/philosophie-und-ki.cs.rptu.de\/index.php\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/philosophie-und-ki.cs.rptu.de\/index.php\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/philosophie-und-ki.cs.rptu.de\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/philosophie-und-ki.cs.rptu.de\/index.php\/wp-json\/wp\/v2\/comments?post=248"}],"version-history":[{"count":3,"href":"https:\/\/philosophie-und-ki.cs.rptu.de\/index.php\/wp-json\/wp\/v2\/pages\/248\/revisions"}],"predecessor-version":[{"id":635,"href":"https:\/\/philosophie-und-ki.cs.rptu.de\/index.php\/wp-json\/wp\/v2\/pages\/248\/revisions\/635"}],"wp:attachment":[{"href":"https:\/\/philosophie-und-ki.cs.rptu.de\/index.php\/wp-json\/wp\/v2\/media?parent=248"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}