Forschende Schweizer Universitäten wie den Eidgenössischen Technischen Hochschulen Zürich (ETH) und Lausanne (EPFL) haben gemeinsam mit dem Swiss National Supercomputing Centre (CSCS) ein Large Language Model (LLM) entwickelt. Das LLM soll laut Mitteilung der ETH im Spätsommer erscheinen und eine mehrsprachige Kompetenz in über 1000 Sprachen vorweisen. Künftig vollständig öffentlich unter einer Open-Source Lizenz verfügbar, soll eine breite Nutzung ermöglicht und Innovationen in Wissenschaft, Gesellschaft und Industrie gefördert werden.

Das Modell wird in zwei Grössen, mit 8 und mit 70 Milliarden Parametern, veröffentlicht werden. Die grössere Version wird laut ETH zu den weltweit leistungsstärksten, vollständig offenen Modellen gehören. Das Modell wurde auf dem Supercomputer Alps des CSCS in Lugano mit 100 Prozent klimaneutralem Strom trainiert. Durch das Training mit über 15 Milliarden qualitativ hochwertiger Trainingstoken und einem Textdatensatz von über 1500 Sprachen, erreiche das Modell eine hohe Zuverlässigkeit.

Das LLM wurde in vollständig offenen und transparenten Prozessen entwickelt. Dabei werden Quellcode und Gewichte öffentlich verfügbar, und die Trainingsdaten transparent und reproduzierbar sein. Damit soll es eine vertrauenswürdige Alternative zu kommerziellen Systemen bieten, von denen die meisten in nicht-nachvollziehbaren Prozessen entwickelt worden seien.

«Völlig offene Modelle ermöglichen Anwendungen, die ein hohes Mass an Vertrauenswürdigkeit gewährleisten, und sie sind notwendig, um die Forschung zu den Risiken und Chancen der KI voranzutreiben», so Imanol Schlag, Forscher am ETH AI Center und Co-Leiter des Projekts. «Transparente Prozesse ermöglichen auch die Einhaltung der Rechtsvorschriften.» Bei der Entwicklung wurden deshalb die schweizerischen Datenschutzgesetze, das schweizerische Urheberrecht und die Transparenzverpflichtungen der KI-Verordnung der EU berücksichtigt.

Joël Mesot, Präsident der ETH Zürich, und Anna Fontcuberta i Morral, Präsidentin der EPFL, werden an der Innovationskonferenz Open-i im November auftreten, um die Bedeutung solcher Entwicklungen einzuordnen. Mesot betont: «In unsicheren Zeiten wie diesen braucht es mehr denn je die enge Zusammenarbeit zwischen Wirtschaft und Wissenschaft in Schlüsselbereichen wie der KI, wenn wir Wohlstand und Innovationskraft sichern wollen.»

Fontcuberta i Morral ergänzt: «Die Schweiz ist ein globales Innovationszentrum und belegt Platz zwei im World Competitiveness Ranking 2024. Ihr starkes Engagement für Exzellenz in Forschung und Bildung, kombiniert mit einer erstklassigen Infrastruktur – getragen von Institutionen wie dem ETH-Bereich, einschliesslich ETH Zürich und EPFL – treibt ihren Erfolg weiter voran und gestaltet die Zukunft.» Ihre Perspektiven unterstreichen, wie essenziell die Verbindung von Forschung, Industrie und Politik für die zukünftige Innovationskraft der Schweiz ist.

(Autor ursprünglicher Artikel ce/nta)

ETH und EPFL veröffentlichen grosses Sprachmodell

Du möchtest mehr über das Thema erfahren?