Europa hat bisher kein eigenes großes Sprachmodell für Künstliche Intelligenz. Die Datensätze zum Trainieren der Programme stammen bisher meistens aus den USA. Das soll sich dank EuroLingua-GPT nun ändern.
EuroLingua-GPT dank Supercomputer: Europa bekommt ein eigenes KI-Sprachmodell
Große Sprachmodelle revolutionieren gegenwärtig unsere Kommunikation sowie den Umgang mit Information und Wissen. Bisher werden sie jedoch hauptsächlich für die englische und chinesische Sprache durch außereuropäische Akteure wie OpenAI mit GPT entwickelt. Auch das offene Modell BLOOM ist nicht mit Daten in deutscher Sprache trainiert worden. Dies bedeutet, dass es nicht dem europäischen Rechtsraum und Datenschutz unterliegt. Ethische Regeln werden bei außereuropäischen Diensten nach den Maßstäben der anbietenden Unternehmen umgesetzt, was sich wiederum in der Auswahl der Trainingsdaten bzw. Methoden niederschlagen kann. Es ist unklar, ob deutsche und europäische Standards berücksichtigt werden. Dies kann eine Herausforderung für die Nutzung und Anwendung solcher Modelle in Deutschland und Europa darstellen. Daher war die Forderung nach modernen, offenen multilinguale Modelle sowie Modelle für die deutsche Sprache in Deutschland und Europa da.
Als Schlüsseltechnologie der Künstlichen Intelligenz sind große Sprachmodelle der Kern vieler wichtiger Anwendungen: Sie erkennen, produzieren, übersetzen und verarbeiten Sprache. Doch sie haben auch einen Haken. Große Sprachmodelle sind häufig intransparent und ihre Ergebnisse nicht immer nachvollziehbar. Sie erstellen Texte, die falsche oder unlogische Aussagen und Zusammenhänge darstellen. Sie haben deutlich mehr Parameter und damit eine bessere Vorhersage-Leistung für zahlreiche Aufgaben, sind jedoch häufig auch nicht Open Source verfügbar.
MareNostrum 5: Der Supercomputer, der Europas KI-Zukunft gestaltet
Mare Nostrum 5 ist ein Symbol für den Fortschritt und die Innovationskraft in der europäischen und globalen Supercomputing-Landschaft. Der Supercomputer steht im Barcelona Supercomputing Center (BSC) und ist aktuell auf Platz 8 der Weltrangliste und hat Anschaffungs- und Instandhaltungskosten von 151 Millionen Euro. Dazu wird er rein mit erneuerbaren Energien betrieben. Die Leistung des Superrechners ermöglicht Simulationen und Berechnungen, die vor wenigen Jahren noch undenkbar waren. Berechnungen zur Wettervorhersage, die früher Tage in Anspruch nahmen, können damit in wenigen Minuten abgeschlossen werden. Um sich das besser vorstellen zu können: Ein moderner High-End-PC erreicht eine Rechenleistung im Teraflop-Bereich (10 hoch 12 Berechnungen pro Sekunde). MareNostrum 5 ist etwa eine Million Mal leistungsfähiger als ein solcher PC. Europa hat mit Superrechnern noch viel vor. Auch die Schweiz punktet seit neuestem mit einem System unter den Superrechnern. Die Alp-Maschine des Swiss National Supercomputing belegt aktuell den sechsten Platz auf der Weltrangliste.
Supercomputer kommen bereits in vielen wissenschaftlichen und industriellen Bereichen zum Einsatz, wie zum Beispiel bei der Klimaforschung oder in der Biomedizinischen Forschung. Jetzt haben das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS und die NLU-Gruppe von AI Schweden gemeinsame Rechenzeit am neuen Hochleistungsrechner MareNostrum 5 im Barcelona Supercomputing Center erhalten. Was diese Tatsache so besonders macht?
Es handelt sich um eines der größten Kontingente, die seitens des Gemeinsamen Unternehmens für europäisches Hochleistungsrechnen (GU EuroHPC) für die Entwicklung europäischer großer KI-Sprachmodelle (LLMs) gewährt wurden. Seit Ende Mai 2024 ist das Projekt nun am Start, um die ersten multilingualen Modelle zu rechnen. Die Laufzeit des Projekts „EuroLingua-GPT“ ist für ein Jahr angesetzt.
8,8 Millionen Rechenstunden stehen zur Verfügung. Die Wissenschaftler sehen darin einen Meilenstein für Deutschland und Europa und versprechen sich durch die trainierten Modelle einen Fortschritt in Wirtschaft und Wissenschaft. Es ist die Geburtsstunde der generativen Künstlichen Intelligenz „Made in Europe“. Ziel des gemeinsamen Projektes ist es, eine Familie von großen KI-Sprachmodellen von Grund auf zu trainieren. Die neuen EuroLingua-Modelle, so der Name, bauen auf einem Trainingsdatensatz von 45 europäischen Sprachen, Dialekten und Codes auf. Der Schwerpunkt liegt damit auf europäische Sprachen und Werte, denn bisher sind multilinguale Modelle eher selten.
Offene KI-Modelle für eine transparente und souveräne digitale Zukunft
Veröffentlicht werden sollen die KI-Sprachmodelle Open Source, das bedeutet, dass der Quellcode und die Trainingsdaten dieser Modelle frei zugänglich gemacht werden. Dadurch können später Unternehmen oder Interessierte die Modelle an ihre spezifischen Bedürfnisse anpassen und eigene Produkte und Dienstleistungen umwandeln.
EuroLingua-GPT ist nur eines von drei großen laufenden EU-Projekten zu Sprachmodellen, an denen Fraunhofer IAIS und AI Sweden beteiligt sind. Die beiden anderen sind TrustLLM und Deploy AI. Beide Projekte repräsentieren zwei wesentliche Bereiche der modernen KI-Entwicklung. Während TrustLLM darauf abzielt, das Vertrauen und die Ethik in KI-Sprachmodellen zu stärken, fokussiert sich Deploy AI auf die effiziente Implementierung und den Betrieb dieser Modelle.
Weitere EU-Initiativen, wozu der Superrechner MareNostrum 5 zum Einsatz kommen soll, heißen vielversprechend „Destination Earth“ und „European Virtual Human Twin“. Bei ersterem soll ein hochpräzises digitales Modell der Erde entstehen. Letzteres soll einen digitalen menschlichen Zwilling erschaffen, um zu einem besseren Verständnis des menschlichen Organismus zu gelangen und eine personalisierte Medizin zu ermöglichen.
Künstliche Intelligenz und maschinelles Lernen sind die Schlüsseltechnologien des 21. Jahrhunderts. Europa hat eine lange Tradition in der wissenschaftlichen Forschung. Es gilt diese Tradition fortzusetzen und zu stärken. Dafür notwendig ist der Zugang zu den besten verfügbaren Technologien. MareNostrum 5 bietet diese Ressourcen und stellt sicher, dass europäische Forschungseinrichtungen weiterhin in der Weltrangliste mit vorne dabei sein können. Nicht zuletzt sichern eigene Superrechner die digitale Souveränität und Unabhängigkeit gegenüber ausländischen Mitstreitern. Dafür stehen aktuell drei EU-Supercomputer zur Verfügung, die zu den besten der Welt gehören: LEONARDO, LUMI und MareNostrum5. Zwei weitere, noch fähigere Leistungsrechner aus Frankreich mit den Namen „Jupiter“ und „Jules Werner“ sind geplant. Die Rechenkapazität dieser beiden Rechner ist schwindelerregend. Sie können mehr als eine Trillion Berechnungen pro Sekunde durchführen.
Vielversprechend klingt auch das Vorhaben von europäischen KI-Start-Ups, einen dauerhaften Zugang zu europäischen Hochleistungsrechenkapazitäten zu ermöglichen, sodass diese ihre Modelle trainieren können. Auf diese Weise sollen KI-Innovationen gefördert werden und die Abhängigkeit bezüglich Datensätzen aus anderen Nationen verringert werden.
