Uczciwa interpretacja wyników

Sama liczba przyspieszenia niewiele znaczy. Jej uczciwa interpretacja wymaga wiedzy o tym, co zmierzono i skąd naprawdę wziął się zysk. 🔍

Przyspieszenie to czas wykonania starej wersji podzielony przez czas wykonania nowej. Jeśli Python potrzebował 4 sekund, a Mojo 1 sekundy, przyspieszenie wynosi 4x.

Przy małym zadaniu dominuje narzut uruchamiania, a iloraz silnie się zmienia. Ogromne przyspieszenie przy trywialnej pracy zwykle niczego nie dowodzi.

Jeśli wersja w Mojo pomija pracę wykonywaną przez wersję w Pythonie, różnica jest pozorna. Uczciwe wyniki pochodzą z naprawdę równoważnego kodu.

Sprawdź, jak bardzo czasy różnią się między uruchomieniami. Jeśli wyniki mocno się wahają, pojedyncza średnia może ukrywać rzeczywistą niestabilność.

Podawaj medianę lub średnią z wielu uruchomień, a nie najlepszy, szczęśliwy wynik. Wybieranie najszybszego czasu zawyża obraz sytuacji.

Czysty CPython jest wolny, ale NumPy już korzysta z szybkiego kodu C. Porównuj z uczciwym punktem odniesienia, bo inaczej przyspieszenie może znacznie się zmniejszyć.

Lepszy algorytm może pokonać dowolny język. Upewnij się, że zysk pochodzi z Mojo, a nie z potajemnej zamiany logiki na sprytniejszą.

Zawsze podawaj procesor, rozmiar danych wejściowych i liczbę uruchomień. Przyspieszeniu bez tych warunków nie można ufać ani go odtworzyć.

Powiedz: 8x dla tego zadania i na tej maszynie, a nie: błyskawicznie wszędzie. Uczciwe twierdzenia są konkretne i pozostają blisko danych.

Jeśli ktoś może ponownie uruchomić test i uzyskać podobne czasy, wynik zyskuje wiarygodność. Powtarzalność jest prawdziwym dowodem wartości benchmarku.

Interpretuj przyspieszenia uczciwie: wybierz sprawiedliwy punkt odniesienia, uśrednij wiele uruchomień, podaj warunki i pomiń przesadę. Powtarzalne wyniki budują prawdziwe zaufanie. 🎯