Das Fraunhofer-Institut f\u00fcr Intelligente Analyse- und Informationssysteme IAIS und die NLU-Gruppe von AI Sweden haben gemeinsam Rechenzeit am neuen Hochleistungsrechner MareNostrum 5 im Barcelona Supercomputing Center erhalten. Es handelt sich um eines der gr\u00f6\u00dften Kontingente, die seitens des Gemeinsamen Unternehmens f\u00fcr europ\u00e4isches Hochleistungsrechnen (GU EuroHPC) f\u00fcr die Entwicklung europ\u00e4ischer gro\u00dfer KI-Sprachmodelle (LLMs) auf der EuroHPC-Infrastruktur gew\u00e4hrt wurden. Ab Ende Mai 2024 starten die Partner damit, die ersten multilingualen Modelle zu rechnen. Laufzeit des Projekts \u00bbEuroLingua-GPT\u00ab ist ein Jahr. Damit r\u00fccken nun auch gro\u00dfe europ\u00e4ische multilinguale Open-Source-Modelle in greifbare N\u00e4he.<\/p>\n
Das \u00fcber einen EuroHPC \u00bbExtreme Scale Access\u00ab bewilligte Kontingent umfasst 8,8 Millionen GPU-Stunden auf H100-Chips und steht seit Mai bereit. \u00bbDie gewonnenen Rechenkapazit\u00e4ten sind ein Meilenstein f\u00fcr Deutschland und Europa. Die damit trainierten Modelle werden den Einsatz generativer KI in Unternehmen massiv beschleunigen und sowohl Wirtschaft als auch Wissenschaft einen Boost geben \u2013 GenAI \u201amade in Europe\u2018 wird damit konkret\u00ab, so Dr. Joachim K\u00f6hler, Abteilungsleiter NetMedia am Fraunhofer IAIS. Mit den neuen Rechenkapazit\u00e4ten k\u00f6nnen kleine Modelle im Bereich von 7 bis 34 Milliarden Parametern, und gro\u00dfe Modelle mit bis zu 180 Milliarden Parametern von Grund auf trainiert werden.<\/p>\n
Die neuen EuroLingua-Modelle bauen auf einem Trainingsdatensatz auf, der aus 45 europ\u00e4ischen Sprachen, Dialekten und Code besteht, einschlie\u00dflich der 24 europ\u00e4ischen Amtssprachen. Damit liegt eine signifikante Gewichtung auf europ\u00e4ischen Sprachen und Werten \u2013 bisher sind multilinguale KI-Sprachmodelle noch selten. Das Training startet Ende Mai 2024. Die Ver\u00f6ffentlichung erster gemeinsamer Modelle soll im Laufe der kommenden Monate erfolgen.<\/p>\n
Projektleiter Dr. Nicolas Flores-Herr, Teamleiter Conversational AI am Fraunhofer IAIS, sagt: \u00bbDas Ziel unserer Zusammenarbeit mit AI Sweden ist es, eine Familie von gro\u00dfen KI-Sprachmodellen von Grund auf zu trainieren, die Open Source ver\u00f6ffentlicht werden sollen.\u00ab Magnus Sahlgren, Head of Research NLU bei AI Sweden, erg\u00e4nzt: \u00bbSowohl der \u00f6ffentliche als auch der private Sektor in der EU verlangen nach offenen, leistungsf\u00e4higen Sprachmodellen, die f\u00fcr europ\u00e4ische Sprachen trainiert sind. EuroLingua ist eine M\u00f6glichkeit, diesen Bedarf zu adressieren.\u00ab<\/p>\n
Die Modelle, die auf der EuroHPC-Infrastruktur entwickelt werden, sollen zum einen als generalistische Basismodelle Forschung und Wissenschaft f\u00f6rdern, zum anderen \u2013 etwa in gemeinsamen Transfer-Projekten \u2013 auch auf bestimmte Branchen oder Themengebiete spezialisiert f\u00fcr den produktiven Einsatz in Unternehmen oder \u00f6ffentlichen Verwaltungen trainiert werden.<\/p>\n
Daf\u00fcr b\u00fcndeln beide Organisationen ihre Expertise: Das Fraunhofer IAIS und die NLU-Gruppe von AI Sweden sind zwei der f\u00fchrenden LLM-Labore in Europa mit ausgewiesener Expertise und jahrelanger Erfahrung in der Entwicklung von LLMs. So leitet Fraunhofer das vom Bundesministerium f\u00fcr Wirtschaft und Klimaschutz (BMWK) gef\u00f6rderte Konsortialprojekt OpenGPT-X, in der ebenfalls gro\u00dfe europ\u00e4ische, multilinguale Open-Source-Modelle entwickelt werden. Die NLU-Gruppe von AI Sweden hat das LLM GPT-SW3 f\u00fcr die skandinavischen Sprachen entwickelt. Die beiden Teams arbeiten auch gemeinsam an weiteren Open-Source-Community-Projekten. Zudem ist EuroLingua-GPT eines von drei gro\u00dfen laufenden EU-Projekten zu Sprachmodellen, an denen Fraunhofer IAIS und AI Sweden beteiligt sind. Die beiden anderen sind TrustLLM und Deploy AI.<\/p>\n","protected":false},"excerpt":{"rendered":"
Das Fraunhofer-Institut f\u00fcr Intelligente Analyse- und Informationssysteme IAIS und die NLU-Gruppe von AI Sweden haben gemeinsam Rechenzeit am neuen Hochleistungsrechner MareNostrum 5 im Barcelona Supercomputing Center erhalten. Es handelt sich um eines der gr\u00f6\u00dften Kontingente, die seitens des Gemeinsamen Unternehmens f\u00fcr europ\u00e4isches Hochleistungsrechnen (GU EuroHPC) f\u00fcr die Entwicklung europ\u00e4ischer gro\u00dfer KI-Sprachmodelle (LLMs) auf der EuroHPC-Infrastruktur […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-1048","post","type-post","status-publish","format-standard","hentry","category-allgemein"],"_links":{"self":[{"href":"https:\/\/www.lan-wan-telecom.de\/index.php\/wp-json\/wp\/v2\/posts\/1048","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.lan-wan-telecom.de\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.lan-wan-telecom.de\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.lan-wan-telecom.de\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.lan-wan-telecom.de\/index.php\/wp-json\/wp\/v2\/comments?post=1048"}],"version-history":[{"count":2,"href":"https:\/\/www.lan-wan-telecom.de\/index.php\/wp-json\/wp\/v2\/posts\/1048\/revisions"}],"predecessor-version":[{"id":1050,"href":"https:\/\/www.lan-wan-telecom.de\/index.php\/wp-json\/wp\/v2\/posts\/1048\/revisions\/1050"}],"wp:attachment":[{"href":"https:\/\/www.lan-wan-telecom.de\/index.php\/wp-json\/wp\/v2\/media?parent=1048"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.lan-wan-telecom.de\/index.php\/wp-json\/wp\/v2\/categories?post=1048"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.lan-wan-telecom.de\/index.php\/wp-json\/wp\/v2\/tags?post=1048"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}