Christmas is just around the corner. The days are short, the nights are even longer. And with a bit of luck, there will even be snow. The crystals that slowly trickle from the sky and cover everything with a white dress only look the same at first glance.
The US-American Wilson Bentley was already fascinated by the white ice formations as a child, and not only to build snowmen or go sledding on them. He was fascinated by the uniqueness and the different shapes that the snowflakes only reveal under the microscope. When he was just 20 years old, in 1885, he achieved something sensational: photographing a snowflake in its purest form. At that time, black-and-white photography was just experiencing its first heyday. There were no high-resolution SLR cameras yet and the exposure time was between eight and one hundred seconds.
Figure 1: Bentley W. (1902), Studies among the snow crystals during the winter of 1901-02. Monthly Weather Review
It took years of technical difficulties and numerous failures before the first snowflake was photographed. During his lifetime, Bentley photographed another 5,000 snow crystals, among which not even two were identical.
But snowflakes have one thing in common with us humans: We look more or less similar. But what is „similar“?
For this, statistics has developed a whole series of concepts known as „cluster analysis“. To roughly summarise, the idea is that individuals – people, animals, plants, or even snowflakes – shall be more similar to each other within a single cluster than between two different clusters. Similarity is defined as the distance between different characteristics. For example, two children are more similar regarding their age than father and son, but not necessarily regarding their hair colour.
However, such clustering problems can quickly become very complex. Especially if you have no idea how many clusters there are, which features are relevant for the clustering and to what extent, and whether the clusters are very sharply separated or have rather smooth transitions.
This is where an AI algorithm comes into play, the so-called „self-organising maps“ or SOMs. With a combination of a SOM and classical statistical methods, the hidden patterns in the snow crystals become visible. Such a map of the snow landscape can be generated amazingly fast with Viscovery, a very intuitively usable software from the Viennese AI company of the same name.
Figure 2: Self-organizing map from Viscovery Software GmbH, https://www.viscovery.net/demos/snow-crystals-classification
As a tribute to the „Snowflake Man“ and his breathtaking photographs, Viscovery has compiled a selection of 974 photographs by Wilson Bentley and coded them in such a way that they have become machine-readable data sets. They consist of the rotation-variant image moments up to the third order and the mean amplitudes of 7 different frequency bands. In the SOM, the snowflakes are then grouped into 18 clusters. Clicking on any point in the map shows the snow crystal that represents that point the best. When clicking on another point, the map shows the snow crystal that is visually most similar to the one clicked on before.
Figure 3: Photo of a snow crystal under the microscope, https://www.viscovery.net/demos/snow-crystals-classification
We spent quite a bit of time with the snowflake map and realised: There’s a bit of Wilson Bentley in all of us. We now see snow with different eyes: the smallest and most ephemeral things on our planet can hide the greatest miracles.
Have a peaceful Christmas and a happy and healthy New Year 2023!
Click below for the Viscovery Showcase:
Snow crystal image classification | viscovery.net
This demo shows how photographic images can be ordered in a map with respect to their visual characteristics. In this example, images of snow crystals are ordered based on previous image preprocessing to determine similarity.
Literatur:
Magische Weihnachts-Karten
Weihnachten steht vor der Tür. Die Tage sind kurz, die Nächte umso länger. Und mit ein bisschen Glück gibt es sogar Schnee. Die Kristalle, die langsam vom Himmel rieseln und alles mit einem weißen Kleid bedecken, sehen nur auf den ersten Blick alle gleich aus.
Der US-Amerikaner Wilson Bentley begeisterte sich schon als Kind für die weißen Eisgebilde, und zwar nicht nur, um damit Schneemänner zu bauen oder darauf Schlitten zu fahren. Ihn faszinierten die Einzigartigkeit und die verschiedenen Formen, die die Schneeflocken erst unter dem Mikroskop freigeben. Mit gerade einmal 20 Jahren, im Jahr 1885, gelang ihm die Sensation: eine Schneeflocke in ihrer reinsten Form zu fotografieren. Damals erlebte die Schwarz-Weiß Fotografie gerade ihre erste Blüte. Es gab noch keine hochauflösenden System- oder Spiegelreflex-Kameras und die Belichtungszeit betrug zwischen acht und hundert Sekunden.
Abbildung 1: Bentley W. (1902), Studies among the snow crystals during the winter of 1901-02. Monthly Weather Review
Es dauerte Jahre mit etlichen technischen Schwierigkeiten und zahlreichen Misserfolgen, bis die erste Schneeflocke abgelichtet war. Im Lauf seines Lebens fotografierte Bentley weitere 5000 Schneekristalle, unter denen keine zwei identischen waren.
Aber mit Schneeflocken ist es wie mit uns Menschen: Wir sehen uns mehr oder weniger ähnlich. Nur, was ist „ähnlich“?
Dafür hat die Statistik eine ganze Reihe von Konzepten entwickelt, die unter dem Begriff der „Clusteranalyse“ bekannt sind. Grob gesagt ist die Idee, dass Individuen – Menschen, Tiere, Pflanzen oder eben Schneeflocken – innerhalb eines Clusters einander ähnlicher sein sollen als zwischen zwei verschiedenen Clustern. Ähnlichkeit ist dabei definiert als die Distanz zwischen verschiedenen Merkmalen. So sind sich zwei Kinder hinsichtlich des Alters ähnlicher als Vater und Sohn, aber nicht unbedingt hinsichtlich der Haarfarbe.
Solche Clustering-Probleme können allerdings sehr schnell sehr komplex werden. Insbesondere wenn man keine Ahnung hat, wie viele Cluster es gibt, welche Merkmale für die Clusterung in welchem Ausmaß relevant sind und ob die Cluster sehr scharf getrennt sind oder eher fließende Übergänge besitzen.
An dieser Stelle kommt ein KI-Algorithmus ins Spiel, die so genannten „Self-Organizing Maps“, selbstorganisierende Karten oder SOMs. Mit einer Kombination aus einer SOM und klassischen statistischen Methoden werden die verborgenen Muster in den Schneekristallen sichtbar. Eine solche Landkarte der Schneelandschaft kann man erstaunlich schnell mit Viscovery erzeugen, einer sehr intuitiv nutzbaren Software des gleichnamigen Wiener KI-Unternehmens.
Abbildung 2: Selbstorganisierende Karte von Viscovery Software GmbH, https://www.viscovery.net/demos/snow-crystals-classification
Als Hommage an den „Snowflake Man“ und seine atemberaubenden Aufnahmen hat Viscovery eine Auswahl von 974 Fotografien von Wilson Bentley zusammengestellt und so codiert, dass aus den Fotografien maschinenlesbare Datensätze wurden. Sie bestehen aus den drehungsinvarianten Bildmomenten bis zur dritten Ordnung und den mittleren Amplituden von 7 verschiedenen Frequenzbändern.
In einer SOM gruppieren sich dann die Schneeflocken in 18 Cluster. Klickt man auf einen beliebigen Punkt in der Karte, sieht man den Schneekristall, der diesen Punkt am besten repräsentiert. Beim Klick auf einen weiteren Punkt zeigt die Karte den Schneekristall, der dem zuvor angeklickten visuell am ähnlichsten ist.
Abbildung 2: Foto eines Schneekristalls unter dem Mikroskop, https://www.viscovery.net/demos/snow-crystals-classification
Wir haben ziemlich viel Zeit mit der Schneeflocken-Karte verbracht und festgestellt: In jedem von uns steckt ein bisschen von Wilson Bentley. Jedenfalls sehen wir Schnee jetzt mit anderen Augen: In den kleinsten und vergänglichsten Dingen unseres Planeten stecken die größten Wunder.
Friedliche Weihnachten und ein glückliches und gesundes neues Jahr 2023!
Hier geht es zum Viscovery-Showcase:
Snow crystal image classification | viscovery.net
This demo shows how photographic images can be ordered in a map with respect to their visual characteristics. In this example, images of snow crystals are ordered based on previous image preprocessing to determine similarity.
Literatur: