Microsoft Excel

Herbers Excel/VBA-Archiv

Daten-Analyse Glättung

Betrifft: Daten-Analyse Glättung von: Jonas
Geschrieben am: 06.10.2020 12:45:13

Hi zusammen,


ich habe ca. 40.000 Datenpunkte in einer Spalte. Der resultierende Graph enthält ein Rauschen, dass ich entfernen möchte. Ziel ist es alle "wahren" Hoch- und Tiefpunkte zu finden.


Hier ein Zahlenbeispiel (meines ist nur wesentlich feiner). https://www.herber.de/bbs/user/140696.xlsx


Ich möchte das der grosse Hochpunkt (20, 15 und 16) gefunden wird, nicht aber der Hochpunkt bei 13 (Das wäre dann ein Rauschen des Signals das ich messe.


Kann mir einer helfen wie ich die falschen Werte herausfiltern oder sogar automatisch löschen kann? (eventuell könnten diese werte in eine andere zeile verschoben werden und die leeren zeilen dann gelöscht werden sodass alle hoch und tiefpunkte direkt in einer spalte ohne leere zellen ersichtlich sind?


Danke euch vorab!!

Betrifft: AW: Daten-Analyse Glättung
von: ralf_b
Geschrieben am: 06.10.2020 13:09:08

was ist mit der Filterfunktion von Excel?

Betrifft: AW: so noch nicht eindeutig ...
von: neopa C
Geschrieben am: 06.10.2020 13:11:52

Hallo Jonas,

... interpretiere ich Deine Angaben richtig, dass in Deinem Beispiel lediglich folgende Werte stehen bleiben sollen?
10
20
7
15
16
14

Wenn dem so ist, müsstest Du noch angeben, welche Toleranzen gelten sollen, damit die Absenkung von im Beispiel 13 auf 12,7 nicht als solche gewertet werden soll. Dies dann entweder als Absolutwert oder prozentual zum benachbarten Tief-/Hochpunkt oder prozentual zum absoluten Hoch-/Tiefpunkt?

Gruß Werner
.. , - ...

Betrifft: AW: so noch nicht eindeutig ...
von: Jonas
Geschrieben am: 06.10.2020 13:55:55

Hi Werner,

es soll nur noch

20
15
16

dastehen, nämlich die (Haupt-) Hochpunkte. Die anderen kleinen Hochpunkte sollen rausgefiltert werden. Das heisst es müsste einen absoluten oder prozentualen threshold geben der das Rauschen eliminiert und dann müssten alle Hoch und Tiefpunkte gefunden werden

Betrifft: AW: ist so mE widersprüchlich und ...
von: neopa C
Geschrieben am: 06.10.2020 14:28:32

Hallo Jonas,

... beantwortet auch meine Frage nicht. Es braucht dazu mE entsprechende Vorgabe Deinerseits.
Widersprüchlich ist es deswegen, weil Du einerseits schreibst: "dann müssten alle Hoch und Tiefpunkte gefunden werden" anderseits aber auch "es sollen nur noch (Haupt-) Hochpunkte dastehen".

Gruß Werner
.. , - ...

Betrifft: AW: ist so mE widersprüchlich und ...
von: Jonas
Geschrieben am: 06.10.2020 15:19:01

Hi Werner, sorry ja war undeutlich.

Also: Es muss zuerst ein feines Rauschen (was sich ja ebenfalls in Rauschen zeigt) eliminiert werden. Dann Müssen alle Hochpunkte und Tiefpunkte gefunden werden.

Betrifft: AW: ist so mE widersprüchlich und ...
von: Firmus
Geschrieben am: 06.10.2020 16:26:44

Hi Jonas,
es ist interessant hier mitzulesen, unter dem Aspekt "wie beschreibe ich etwas?"

Hochpunkte sind nur als Zahlen 20 15 16 angegeben.
Anhand welcher Kriterien erkenne ich, dass 15 ein Hochpunkt ist, 13 aber als Rauschen anzusehen ist?

fiktives Beispiel:
Die Darstellung soll nur die 5-er Schritte zeigen. Dann wäre 10 ein Hochpunkt, 11, 12, 13, 14 Rauschen.
15 ein Hochpunkt, 16, 17, 18, 19 Rauschen. ABER 16 ist nach deiner Aussage ein Hochpunkt.

Woran sind Hochpunkte erkennbar?
- Könnnen sie anhand eines Algorithmus erkannt werden?
- Braucht man eine Referenzliste, um Hochpunkte zu identifizieren?
- wenn Algorithmus: Die Formulierung kannst m. E. nur du liefern.

Bin gespannt, ob mein Beitrag hier deinen Fall wenigstens ein bischen vorwärts bringt.

Gruß,
Firmus


Betrifft: AW: ist so mE widersprüchlich und ...
von: Jonas
Geschrieben am: 07.10.2020 08:31:48

Hi Firmus,

ich habe 40.000 Datenpunkte (auf der X-Achse also nur durchnummeriert). Auf der Y-Achse ist das Signal aufgetragen. Ihr müsst euch vorstellen dass ich grundsätzlich SEHR deutlich zu erkennende Hoch und Tiefpunkte im Signal sehen kann wenn man ganz aus dem graph rauszommt. Jetzt kommt der Witz, wenn ich reinzoome, habe ich ein sehr feines rauschen (+- 0.1). Wenn ich nun also alle Werte mit +- 0.1 zum jeweiligen Vor- und Nachgänger rausfiltere, sollte doch eigentlich das Rauschen entfernt sein, oder?

Betrifft: AW: ist so mE widersprüchlich und ...
von: Daniel
Geschrieben am: 07.10.2020 09:03:34

Hi
wenn es ein sehr feines Rauschen ist im vergleich zu den Restlichen Größen, dann versuche doch mal die Kurve mit dem gleitenden Mittelwert zu glätten und in diesen Daten die Hoch- und Tiefpunkte zu suchen.

beim gleitenden Mittelwert bildest du zu jedem Datenpunkt den Mittelwert aus den umliegenden Werten (also den 5 davor und 5 danach liegenden Werten, Anzahl der Werte musst per Versuch ermitteln, was sinnvoll ist)
das glättet diese Mini-Schwankungen, aber der Grundcharakter der Kurve bleibt erhalten.

"gleitenden Mittelwert" kannst du dir auch von Excel im Diagramm anzeigen lassen.

Gruß Daniel

Betrifft: AW: ist so mE widersprüchlich / Ansatz
von: Firmus
Geschrieben am: 07.10.2020 17:29:36

Hi Jonas,

ich habe hier mal knapp 9000 Messwerte genommen, und versucht Rauschen zu filtern und Peaks anzuzeigen.
In Spalte "B" sind die Originalwerte.
In Spalte "C" wurde zu jedem Wert ein nächstliegender Peakwert errechnet.
Die Formulierung eines für dich passenden Algorithmus konnte ich natürlich nicht leisten.
In Spalte "D" werden nur Peakwerte angezeigt, deren Originalwerte innerhalb der Toleranz der Abweichung vom jeweiligen Peak liegen.
Im Chart wird Spalte "D" über alle Werte (ca. 9000) angewandt.
Über Anpassen der Toleranzgrenzen (Zellen D2+D3) werden entsprechend Orignalwerte ausgefiltert.
(Das bezeichnest du als "Rauschunterdrückung?)

Durch Filtern auf Spalte "D" (Leerzellen ausfiltern), wird das Chart entsprechend ausgedünnt.

Musterdatei: https://www.herber.de/bbs/user/140719.xlsx

Hilft das zur Lösung?
Gruß,
Firmus