Analiza
Wyniki obliczeń wykonanych w mUQSA stanowią zbiór danych, prezentowanych w formie wykresów i tabel, które są istotne dla analizy niepewności i wrażliwości danego modelu. Analiza jest przeprowadzana w odniesieniu do pojedynczego lub wielu parametrów (QoI), które mogą być zmiennymi wyjściowymi modelu lub dowolnymi innymi metrykami używanymi do oceny jakości lub zachowania modelu.
Prezentacja wyników analizy
Wizualizacja konkretnych danych oraz sposób ich prezentacji zależy od wybranej metody i rodzaju analizowanego modelu. We wszystkich przypadkach szczegółowe dane są prezentowane w formie tabel, a dodatkowo mogą być eksportowane do powszechnych typów danych, takich jak CSV czy XSLT. Ponadto, dla większości prezentowanych danych mUQSA generuje interaktywne wykresy ułatwiające interpretację wyników. Poniżej podsumowano listę aktualnie dostępnych opcji:
| Typ elementu | Rola | Metody | Wykres dla skalarnej QoI | Wykres dla wektorowej QoI |
|---|---|---|---|---|
| Statystyki opisowe (Method Basic) | Prezentacja podstawowych momentów w odniesieniu do wewnętrznej zmienności modelu | Basic | - | Wykres liniowy ze znacznikami błędów pokazujący główne statystyki dla danej QoI w odniesieniu do wartości indeksu |
| Statystyki opisowe (Parametr Sweep) | Prezentacja podstawowych momentów w odniesieniu do wykonanego uruchomienia Parameter Sweep | Sweep | - | - |
| Statystyki opisowe | Prezentacja podstawowych momentów | MC, PCE, SC | - | Wykres liniowy pokazujący momenty dla danej QoI w odniesieniu do wartości indeksu |
| Wskaźniki Sobola I-go rzędu | Prezentacja wpływu wariancji parametrów wejściowych na wariancję wyjściową | MC, PCE, SC | Wykres kołowy pokazujący wpływ poszczególnych parametrów na wariancję wyjściową | Wykres liniowy pokazujący wpływ poszczególnych parametrów na wariancję wyjściową w odniesieniu do wartości indeksu |
| Wskaźniki Sobola II-go rzędu | Prezentacja wpływu wspólnych interakcji między dwoma parametrami na wariancję wyjściową | PCE | - | - |
| Całkowite indeksy Sobola | Prezentacja wpływu parametrów wejściowych, oraz wszystkich ich interakcji, na wariancję wyjściową | MC, PCE | Wykres kołowy pokazujący wpływ poszczególnych parametrów (i wszystkich ich interakcji) na wariancję wyjściową | Wykres liniowy pokazujący wpływ poszczególnych parametrów (i wszystkich ich interakcji) w wariancję wyjściową w odniesieniu do wartości indeksu |
Interpretacja
Statystyki opisowe
Statystyki opisowe pozwalają na ogólne zrozumienie zachowania modelu. Wygenerowane statystyki przedstawiają główne informacje dotyczące rozkładu QoI i w zależności od rodzaju wyników, pokazują główne momenty statystyczne dla danych skalarnych lub wektorowych. Statystyki opisowe są przydatne do oceny niepewności modelu.
Wskaźniki Sobola
Wskaźniki Sobola pozwalają odkryć znaczenie wariancji parametrów wejściowych modelu dla niepewności wyjścia. Wynikiem analizy Sobola jest lista wartości procentowych, która przedstawia wpływ pojedynczych lub połączonych wariancji parametrów wejściowych na wariancję wyjściową.
mUQSA obsługuje trzy rodzaje indeksów Sobola:
- Wskaźniki Sobola I-go rzędu
- Opisują wpływ wariancji poszczególnych parametrów na całkowitą wariancję wyjścia modelu, bez uwzględniania możliwych interakcji między parametrami. Jeśli nie ma interakcji między parametrami, indeksy I-go rzędu mają tendencję do sumowania się do wartości 1.
- Wskaźniki Sobola II-go rzędu
- Opisują znaczenie łącznej zmienności par parametrów dla całkowitej wariancji wyjścia modelu. Ponieważ indeksy II-go rzędu opisują jedynie wpływ interakcji pomiędzy parami parametrami, zwykle ich wartości są znacząco mniejsze niż wartości indesków I-go rzędu.
- Całkowite indeksy Sobola
- Zapewniają pełną informację o wpływie zmienności parametrów, obejmując zarówno efekt zmienności poszczególnych parametrów osobno, jak i wszystkich interakcji pomiędzy parametrami, na wariancję wyjścia modelu. Całkowite indeksy Sobola będą sumować się do wartości większych niż jeden gdy występują interakcje między parametrami.
Wskaźniki Sobola stanowią wydajne narzędzie do rozpoznania parametrów, na których należy się skupić przy próbie redukcji niepewności w prognozach modelu, poprawy jego dokładności, czy też efektywności obliczeniowej. Wartości i porządek indeksów Sobola pomagają kwantyfikować i wizualizować względne znaczenie parametrów wejściowych lub konfiguracyjnych. W rezultacie, na podstawie analizy indeksów Sobola model może być różnorodnie ulepszany. Przedstawmy kilka strategii:
- Jeśli obliczone względne znaczenie parametru wejściowego na wyjście modelu jest wysokie, pomiar parametru może być ulepszony (np. można zakupić dokładniejszy termometr).
- Jeśli obliczone względne znaczenie parametru wejściowego na wyjście modelu jest niskie, parametr może być ustalony na stałą wartość lub usunięty z modelu w celu zmniejszenia jego złożoności obliczeniowej.
- Jeśli wartość indeksów Sobola II-go rzędu dla pary parametrów: wejściowego i konfiguracyjnego jest wysoka, można rozważyć kalibrację parametru konfiguracyjnego.
Omówienie wykresów
Wykres liniowy statystyki opisowej (metody MC, PCE, SC)
Wykres liniowy statystyki opisowej to wykres liniowy, który ilustruje kluczowe dane statystyczne dla badanego parametru (“QoI”) w założonym obszarze domeny (np. określonej liczbie iteracji) podczas wykonywania oceny niepewności (UQ) modelu generującego wyjściowe dane w postaci wektorów.
Czytaj dalej
Oś X (Indeks/Iteracje): Oś pozioma reprezentuje indeks (często iteracje) symulacji, poczynając od indeksu początkowego do końcowego. Każdy punkt na osi X odpowiada określonej fazie symulacji, w której mierzone i analizowane były różne statystyki związane z QoI.Oś Y (Wartości): Oś pionowa reprezentuje wartości statystyk opisowych, takich jak średnia, mediana, itp. Prezentowane mogą być następujące statystyki:
Średnia: Średnia wartość QoI dla każdego indeksu. Ta statystyka obrazuje jak w trakcie symulacji zmienia się wartość średnia parametru. Na przykład, jeśli średnia stale rośnie lub maleje, sugeruje to systematyczną zmianę w zachowaniu parametru.
Odchylenie Standardowe (stdmax i stdmin): Zobrazowane w postaci dwóch linii, reprezentujących odpowiednio górne (stdmax) i dolne (stdmin) wartości odchylenia standardowego zaobserwowane w trakcie symulacji. Linie te wskazują zakres zmienności lub rozproszenia QoI.
Mediana: Mediana QoI dla każdego indeksu. Mediana reprezentuje środkową wartość, przy założeniu, że wszystkie obserwacje są uporządkowane. Wartość mediany daje dodatkowy wgląd w tendencję centralną parametru, zwłaszcza w obecności wartości odstających. Dla asymetrycznych rozkładów wartość mediany będzie różna od średniej.
Percentyle: Percentyle umożliwiają badanie rozkładu obserwacji poprzez podzielenie go na części specyficzne dla percentyli, z których każda reprezentuje pewien procent całkowitych obserwowanych danych. Na przykład percentyl 10% pozwala łatwo zobaczyć, poniżej których wartości znajduje się 10% obserwacji (tym samym powyżej których znajduje się 90% obserwacji), podczas gdy percentyl 90% pozwala łatwo zobaczyć, powyżej których wartości znajduje się 10% obserwacji (tym samym poniżej których znajduje się 90% obserwacji). W rezultacie, percentyle dostarczają dość jasny, porównawczy obraz rozkładu wyników i pomagają zidentyfikować wartości odstające w analizowanych QoI.
Wykresy liniowe Wskaźników Sobola I-rzędu i Całkowitych Wskaźników Sobola (metody MC, PCE, SC)
Wykresy liniowe Wskaźników Sobola ilustrują analizę InkdeksIn/ów Sobola I-go rzędu i Całkowitych Wskaźników Sobola dla modelu generującego zwektoryzowane dane wyjściowe. Wykresy pokazują wpływ różnych parametrów wejściowych na badaną wartość wyjściową (QoI) w symulacji (np. w ciągu wielu iteracji). Każda linia na wykresie, wyróżniona unikalnym kolorem, przedstawia wpływ określonego parametru wejściowego na całkowitą wariancję QoI. Analiza Wskaźników Sobola pozwala uzyskać wgląd we względne znaczenie parametrów wejściowych i ich wpływ na niepewność wyjściową modelu.
Czytaj więcej
Oś X (Index/Iteracja Symulacji): Oś pozioma reprezentuje index (np. iterację) symulacji. Każdy punkt na osi X odpowiada określonemu punktowi w danych wyjściowych, dla którego obliczane były Wskaźniki Sobola.
Oś Y (Wskaźnik Sobola): Oś pionowa reprezentuje wartość Wskaźnika Sobola.
Linie (Serie): Każda linia na wykresie, wyróżniona innym kolorem, jest powiązana z określonym parametrem wejściowym modelu. Każda z linii reprezentuje udział tego parametru wejściowego w wariancji wyjściowego parametru QoI: wyższa wartość wskazuje na większy udział.
Interpretacja:
Względne znaczenie parametrów: Obserwując poszczególne linie, można ocenić względne znaczenie każdego parametru wejściowego na wyjściową niepewność. Parametry, dla których powiązane linie na wykresie wykazują wyższe wartości indeksu Sobola I-go rzędu/całkowitego, mają bardziej znaczący wpływ na QoI.
Trendy wpływu: Analiza linii względem kolejnych indeksów (iteracji) może pomóc w określeniu, czy badane parametry mają stały wpływ, czy też ich wpływ zmienia się w trakcie analizy.
Relacje między parametrami: Porównanie linii może ujawnić interakcje lub zależności między parametrami wejściowymi. Na przykład, jeśli dwie linie wykazują podobne trendy, może to wskazywać, że parametry te są skorelowane pod względem wpływu na wartość QoI. Można to zbadać dogłębniej, analizując Wskaźniki Sobola II-go rzędu.
Optymalizacja modelu: Analiza wykresu może pomóc w optymalizacji modelu poprzez określenie, które parametry mają największy wpływ na wyniki. Optymalizacja kluczowych parametrów jest właściwym sposobem na poprawienie efektywności modelu.
Wykresy kołowe Wskaźników Sobola I-rzędu i Całkowitych Wskaźników Sobola (metody MC, PCE, SC)
Wykresy kołowe Wskaźników Sobola przedstawiają wizualną reprezentację analizy Wskaźników Sobola I-go rzędu i całkowitych Wskaźników Sobola dla modelu ze skalarnym QoI. Każdy segment na wykresie kołowym ma unikalny kolor i odpowiada określonemu parametrowi wejściowemu modelu. Rozmiar każdego segmentu jest proporcjonalny do Wskaźnika Sobola związanego z tym parametrem dla określonego QoI.
Czytaj więcej
Każdy segment na wykresie kołowym zaznaczony przez inny kolor odpowiada jednemu z parametrów wejściowych modelu. Rozmiar każdego segmentu jest wprost proporcjonalny do Wskaźnika Sobola I-go rzędu / całkowitego odpowiadającemu danemu parametrowi wejściowemu. Większe segmenty wskazują parametry wejściowe o większym wpływie na QoI.
Interpretacja:
Względne znaczenie parametrów: Rozmiar każdego segmentu odzwierciedla względne znaczenie odpowiedniego parametru wejściowego na niepewność QoI. Większe segmenty wskazują na bardziej istotne parametry, podczas gdy mniejsze segmenty oznaczają mniej istotne parametry.
Optymalizacja modelu: Wygenerowany wykres kołowy umożliwia ustalenie priorytetów parametrów wejściowych, w celu dalszej analizy i optymalizacji modelu. Model jest bardziej wrażliwy na parametry charakteryzującymi się wysokimi Wskaźnikami Sobola, dlatego parametry te powinny być przedmiotem większej uwagi w wysiłkach na rzecz udoskonalenia modelu.