Zahlen ehrlich auswerten

Eine einzelne Angabe zur Beschleunigung sagt wenig aus. Sie ehrlich zu beurteilen bedeutet, zu wissen, was gemessen wurde und woher der tatsächliche Gewinn kommt. 🔍

Eine Beschleunigung ist die alte Laufzeit geteilt durch die neue Laufzeit. Wenn Python 4 Sekunden und Mojo 1 Sekunde benötigt, entspricht das einer Beschleunigung um den Faktor 4.

Bei einer winzigen Aufgabe dominiert der Startaufwand, und das Verhältnis schwankt stark. Eine enorme Beschleunigung bei einer trivialen Aufgabe beweist normalerweise nichts.

Wenn Ihre Mojo-Version Arbeit überspringt, die die Python-Version erledigt, ist der Abstand künstlich. Ehrliche Zahlen stammen aus wirklich äquivalentem Code.

Sehen Sie sich an, wie stark die Laufzeiten zwischen den Durchläufen variieren. Wenn die Ergebnisse stark schwanken, kann Ihr einzelner Durchschnitt echte Instabilität verbergen.

Geben Sie den Median oder den Durchschnitt vieler Durchläufe an, nicht Ihren zufällig besten Durchlauf. Die schnellste Zeit herauszupicken, lässt das Ergebnis besser erscheinen, als es ist.

Reines CPython ist langsam, aber NumPy ist bereits schnelles C. Vergleichen Sie mit einer fairen Baseline, sonst kann Ihre Beschleunigung deutlich kleiner ausfallen.

Ein besserer Algorithmus kann jede Sprache schlagen. Stellen Sie sicher, dass der Gewinn von Mojo stammt und nicht daher, dass Sie heimlich auf eine intelligentere Logik umgestiegen sind.

Notieren Sie immer CPU, Eingabegröße und Anzahl der Durchläufe. Eine Beschleunigung ohne diese Bedingungen ist nicht vertrauenswürdig und kann von anderen nicht reproduziert werden.

Sagen Sie: Faktor 8 bei dieser Aufgabe auf diesem Rechner – nicht: überall rasend schnell. Ehrliche Aussagen sind konkret und bleiben eng an den Daten.

Wenn jemand Ihren Test erneut ausführen und ähnliche Laufzeiten sehen kann, gewinnt Ihr Ergebnis Vertrauen. Reproduzierbarkeit ist der eigentliche Beweis für einen Benchmark.

Beurteilen Sie Beschleunigungen ehrlich: Wählen Sie eine faire Baseline, mitteln Sie viele Durchläufe, geben Sie die Bedingungen an und verzichten Sie auf Übertreibungen. Reproduzierbare Zahlen schaffen echtes Vertrauen. 🎯