Die gemeinnützige Organisation SPEC hat einen Ausschuss gebildet, der die Entwicklung eines unabhängigen Benchmarks für Algorithmen der künstlichen Intelligenz, des maschinellen Lernens und der logistischen Inferenzaufgaben überwachen soll.
Die Einrichtung wird eine praktische Methodik für das Benchmarking der Leistung von Algorithmen im Kontext realer Plattformen und Umgebungen entwickeln.
Zunächst wird sich der Ausschuss auf die Entwicklung von Benchmarks konzentrieren, um die End-to-End-Leistung des zu testenden Hardwaresystems bei der Durchführung von Aufgaben des maschinellen Lernens und der logischen Schlussfolgerung zu messen.
SPEC ist der Ansicht, dass die Schaffung eines von Drittanbietern unabhängigen Benchmarks es Systementwicklern ermöglicht, konkurrierende Plattformen und Technologien zu bewerten und bessere Kaufentscheidungen über Hardware und Tools zu treffen.
Der Ausschuss hat auch KI-Fachleute eingeladen, sich an der Entwicklung und Verwaltung der Benchmark zu beteiligen.
“Ich ermutige jeden, der sich für die Zukunft der KI-Verarbeitung interessiert, dem SPEC ML-Komitee beizutreten und diese wertvollen Benchmarks mitzugestalten”, so der Vorsitzende des Komitees, Arthur Kang.
SPEC erstellt eine Reihe von Benchmarks, die weithin zur Bewertung der Leistung von Computersystemen verwendet werden, insbesondere in der High Performance Computing (HPC)-Branche.