PVPublic!

Photovoltaik | Energie 4.0 | Elektromoblität

Deep Learning: Der Kern, womit Maschinen Menschen ersetzen könnten

Deep Learning ist jetzt ein Begriff, der mit Industrie 4.0 bekannter geworden ist. Für viele ist er jedoch nur ein unklares Bild. Ich kenne Deep Learning aus einem Streit in 2015, dass einige Sprachwissenschaftler der Meinung waren, Übersetzer könnten nie von Maschinen ersetzt werden, und ich war fest davon überzeugt, dass es Übersetzer irgendwann nicht mehr geben wird.

Als Sprachwissenschaftlerin mit Computer Linguistik als Schwerpunkt und E-Learning Plattform Betreiberin fühlte ich mich verpfllichtet, ihnen beweisen, dass die AI (Artificial Intelligence) alles erreichen kann, solange es um einen Prozess geht, der das menschliche Denken „nur“ nachbildet.

Da war ich selbst mitten in der Gründung von CHI-NESISCH, einem online Chinesisch Sprachkurs. Das Verhalten, was beim Lernen passiert, war enorm wichtig für uns, da der Online Kurs dahin führen musste, Menschen möglichst zu motivieren, um dabei zu bleiben. Gleichzeitig war es mir auch wichtig zu verstehen, wie ein „einfacher“ Computer, der theoretisch eigentlich eine kleinere Kapazität hatte, als ein menschliches Gehirn, Sachen lernen kann.

Da machte ich mich auf der Suche und seitdem verfolge ich Deep Learning. Ach ja, den Streit habe ich nicht gewonnen, niemand konnte die anderen überzeugen. Ich war seit dem selbst überrascht, wieviel wir in unserem Alltag mit Deep Learning zu tun haben, ohne, dass wir davon etwas erfahren. Dank diesem Streit habe ich erst da erfahren, wie Menschen lernen, was die Grundlage für Deep Learning bildet.

Auf einen Blick

Wie immer zuerst eine Zusammenfassung, damit Du weißt, mit welchen Themen Du zu tun hast.

  • Was ist Deep Learning?
  • Was ist „Lernen“? Wie lernt ein Mensch?
  • Was ist Maschine Learning?
  • Wie funktioniert Deep Learning?
  • Ist reCAPTURE Deep Learning?
  • Was ist der Unterschied zwischen Künstlichen Intelligenz, Machine Learning und Deep Learning?
  • Wird Deep Learning auch in der PV Industrie eingesetzt? Wenn ja, wie?
  • DeepSolar: Eine riesige Datenbank für Solarwirtschaft, erstellt von Standford Universität.
  • Deep Photovoltaic Nowcasting: Ein Beispiel für Vorhersage, wie viel Leistung der PV Modulen in kurzer Zeit liefern können. Cornell University

Was ist „Lernen“? Wie lernt ein Mensch?

Der bekannte Wissenschaftler, Nobel Wirtschaftswissenschaft Preisträger, Herbert Alexander Simon, hat „Lernen“ so definiert:

Wenn ein System seine Leistung durch Ausführen eines Prozesses verbessern kann, heißt der Prozess lernen.

Herbert Alexander Simon ( „What we know about learning?“ )

Damit trifft er direkt ins Schwarze: Der Kern vom Lernen ist es, Leistung zu verbessern. Und das gilt sowohl für Menschen, als auch Maschinen. Diese Definition des Lernens ist mehr oder weniger der Kern von Deep Learning: Das Lernen mit dem klaren Ziel, Leistung zu verbessern.

Und Lernen bedeutet damit 3 Kernfaktoren: Ein System, Daten und ein Prozess. Bei Menschen funktioniert Lernen wie folgt:
Daten (Informationen, z.B. Bücher) werden von einem System (das Gehirn) verarbeitet. Das System funktioniert jedoch nicht willkürlich, sondern, es gibt einen Prozess, wie das System (das menschliche Gehirn) diese Daten verarbeitet. Das Schwierige an dem ganzen ist daher, den Prozess zu verstehen, wie diese Daten vom menschlichen Gehirn systematisch erfasst werden.

Das Bilden von diesem Prozess nennt man Machine Learning.

Was ist Machine Learning?

Bei Computersystemen gilt das gleiche Prinzip: Wenn eine Maschine Daten und eine bestimmte Methode verwendet, damit die Leistung ihres Systems verbessern können, ist das Lernen für diese Maschine, Machine Learning.

Die Aufgabe ist nun somit klar: Ein System, das das menschliche Gehirn ähnelt, gibt es bereits: Computer. Informationen sind Daten, die ebenfalls vorhanden sind – alles, was gelernt werden muss. Der Kern bei dieser Aufgabe ist daher die Frage: Wie funktioniert der Prozess, von, dass Daten erfasst werden, bis hinzu, dass diese Daten zur Verbesserung der Leistung führt, in diesem System (Computer)?

Wie die 3 Kernfaktoren, die den Prozess des Lernens definieren, kann man den Prozess der Verarbeitung dieser Daten ebenfalls herunterbrechen. Der Prozess fängt damit an, dass das System (unser Gehirn) gewisse Daten (Ein Buch wird gelesen, oder ein Arbeitsprozess wird gezeigt) erfasst, danach passiert etwas im Gehirn, dass diese Daten zum Schluss zum bestimmten Zweck dienen können – nach dem Lernen kann der Mensch etwas machen, was er vorher nicht konnte. Damit verbessert er seine Leistung. Das, was dazwischen passiert, von Daten erfassen bis zum Zweck dienen, kann man wieder wie folgt herunterbrechen:

  • Aufgabe
  • Performance
  • Erfahrung

Und das Ziel ist immer noch: Leistung zu verbessern, nur dieses Mal, mit der konkreten Aufgabe kann man ganz einfach die Leistung messen.

Was passiert innerhalb des Prozesses beim Lernen, wenn eine Maschine lernt?

Bei den Schulen kann man diese Formel – Aufgabe, Performance, Erfahrung, leicht erkennen: Aufgabe kann z.B. heißen: Hausaufgaben machen, Performance wird mit Prüfung gemessen, dabei verwendet Deutschland den Standard 1 – 6 als Bemessungsstandard. Mit diesen Noten sammeln SchülerInnen Erfahrungen, um die Leistung zu steigern – das nächste Mal bessere Noten zu bekommen.

Bei Machine Learning geht es ähnlich. Zuerst soll der Computer eine Aufgabe verstehen, danach versucht er, diese Aufgabe zu erfüllen. Dabei wird die Performance gemessen, wie gut der Computer das gemacht hat, damit bildet der Computer eine gewisse Erfahrung. Beim Wiederholen „lernt“ er dabei, Fehler zu vermeiden, um höhere Leistung zu erzielen. Je häufiger er versucht, desto besser wird das Ergebnis sein. Damit lernt er.

Ein Beispiel ist das bekannte AlphaGo, der Computer, der gegen den Weltmeister gewonnen hat. AlphaGo kann mit sich selbst Go spielen. Die Aufgabe lautet also „Go spielen“. Seine Performance, wie gut er gespielt hat, kann man damit messen, wie oft er gegen sich selbst gewonnen hat. Dieses Ergebnis kann man mit Prozent messen: xy% von allen Versuchen hat er gewonnen. Mit jedem gewonnenen Spiel steigt dieser Prozent. Damit hat er seine Leistung gemessen.

So lernt AlphaGo. Das ist Machine Learning.

Die drei Kernfaktoren von Machine Learning

Damit ist jetzt auch klar, was Machine Learning ausmacht. Wieder 3 Faktoren, nur dieses Mal präziser, damit wir Menschen dieses Modell für alle Aufgaben standardisieren und auf möglichst viele Gebiete erweitern können.

  • Aufgabe: Art der Aufgabe
  • Performance: Ein Standard, womit man die Verbesserung der Performance messen kann (z.B. Prozent oder Noten)
  • Erfahrung: Quelle der Erfahrung

Dabei ist einer der größten Herausforderungen, diese 3 Faktoren zu digitalisieren. D.h., man muss schaffen, diese 3 Werte in Form von Daten auszudrücken.

Die Entwicklung von Machine Learning ist mühsam und noch viel komplizierter, als ich hier dargestellt habe. Ich will aber hier möglichst einfach die Begriffe darstellen, sodass Du einen schnellen Eindruck bekommen kannst. Darum habe ich einiges weggelassen und gehe nun gleich zum Deep Learning. Wenn Du Interesse hast, um über Machine Learning zu erfahren, schreib bitte in den Kommentar, dann werde ich auch einen Beitrag zu diesem Thema erfassen.

Deep Learning ist die Weiterentwicklung und Vertiefung des Machine Learnings. Jetzt kann ich in Deep Learning einsteigen.

https://zhuanlan.zhihu.com/p/27517735

Was ist Deep Learning?

Nach diesem Prinzip (3 Faktoren: Aufgabe, Performance, Erfahrung) kann man Deep Learning in einem Satz fassen: Der Computer erfasst eine Aufgabe, verwandelt sie ins digitale Format, und versucht immer wieder, diese Aufgabe zu erfüllen. Mit den Versuchen verbessert sich die Performance, weil er dabei Erfahrungen sammelt. Dieser Prozess nennt man Deep Learning.

Damit ist es zwar gesagt, was Deep Learning ist, und es ist halbwegs verständlich. Aber damit kann man eigentlich immer noch nicht verstehen, was da stattfindet. Darum will ich hier noch tiefer, dennoch weiterhin in einfacher Sprache in das Thema eintauchen.

Man sagt oft den Begriff „End-to-End“, wenn man von Deep Learning spricht. „End-to-End“ bedeutet, dass die „Daten“ roh sind, wenn man sie in das System eingibt und später wieder als Ergebnis bekommt. „Roh“ bedeutet, dass Menschen sie verstehen können. Die „rohen“ Daten werden innerhalb des Computers erfasst, analysiert, verarbeitet, und wenn der Computer das Ergebnis rausspuckt, sind sie wieder „roh“, d.h., Menschen können sie wieder lesen und verstehen.

Ein Beispiel ist das Erkennen einer Katze. Das ist das klassische Beispiel für Deep Learning, das immer wieder verwendet wird. Denn ein Mensch erkennt eine Katze, ohne, dass er wahrnimmt, welcher „Rechenprozess“ dafür stattfinden muss. Selbst ein Baby, das noch nicht sprechen kann, kann eine Katze erkennen. Aber das ist ein schwieriger Prozess für den Computer, weil die Daten schwer zu erfassen sind und die Logik zwischen den Daten kaum zu erkennen sind. Denn Computer verwenden bekannterweise den Befehl „if/then“ (wenn/dann). Das bedeutet, eine Logik muss vorhanden sein, damit Computer mit den Daten arbeiten kann, um die Schlussfolgerung zu ziehen, dass es eine Katze ist.

Wie funktioniert Deep Learning?

Die Daten einer Katze ist in diesem Fall noch leicht zu erfassen: Ein digitales Foto machen. Das Foto verwandelt das Bild in Pixeldaten, damit entstehen Daten, die der Computer verarbeiten kann. Und wenn man eine Kamera in einen Computer einbaut, ist der Prozess das Gleiche. Damit kann ein Computer „sehen“. Beim Sehen verwandelt sie einfach das gefangene (captured) Bild in das digitale Format.

Das Kompliziertere kommt jetzt: Wie findet man Zusammenhänge innerhalb dieser Daten, die dahin führen, dass der Computer erkennt, ob es sich um eine Katze handelt?

Dafür gibt es ein Bilderkennungssystem, das auf Deep Learning basiert funktioniert. In diesem System findet der Computer stets Zusammenhänge, um festzustellen, ob die Zusammenhänge dahin deuten können, dass das Bild eine Katze zeigt. Der Computers baut dafür ein Netzwerk auf, mit Knoten, die man Node nennt, die die Zusammenhänge verbinden. Diese Knoten sind Kreuzung der Verbindungen und bilden zusammen das neuronales Netzwerk (neural network) des menschlichen Gehirns nach.

(Hier will ich betonen: Es ist unmöglich, den Prozess absolut korrekt zu erklären, wenn man ihn so drastisch vereinfacht. Daher bitte versuche, ein Bild davon zu machen, ohne, zu sehr ins Detail zu gehen. Wie Deep Learning unser Gehirn nachbildet, kannst Du beim A Beginner’s Guide to Neural Networks and Deep Learning genauer lesen (mit Codes als Beispiele). Wenn Du erstmal einen Eindruck bekommen willst, wie das funktioniert, kannst Du hier weiterlesen.)

Neuronales Netzwerk: Damit lernt man

Deep Learning bildet das menschliche Gehirn nach
Deep Learning funktioniert ähnlich wie das menschliche Gehirn: Verbindungen werde verknüpft, wenn man / Maschine was lernt

Mit dem Bilden von neuronalen Netzwerk kann auch ein Mensch selbst besser nachvollziehen, was beim Lernen in unserem Gehirn passiert. Jedes Mal, wenn ein Mensch etwas neues kennenlernt, entsteht ein Zusammenhang. Dieser Zusammenhang ist eine Verbindung zwei Neuronen. Neuronen speichern unsere Erinnerungen. Wissen sind auch Erinnerungen. Und wenn neue Begriffe auftauchen, oder neues Wissen auftauchen, werden Zusammenhänge zwischen den Neuronen gesucht und verbunden.

Wenn absolut kein Wissen vorhanden ist, entsteht zuerst ein neues Neuron, um diese Informationen zu speichern. Und wenn kein Zusammenhang gefunden wird, entsteht eine neue Verbindung zwischen den Neuronen. Wenn kein Wissen vorher vorhanden war und keine Verbindung zu finden ist, dann muss noch zuerst ein neues Neuron gebildet werden und gleich danach noch eine Verbindung entstehen. Das erklärt auch, warum wir bekannte Gebiete leichter vertiefen und besser lernen können, als völlig neue Sachen. Ich selbst merke immer wieder, wenn ich überfordert bin von neuen Begriffen, habe ich ein leichtes Schwindel Gefühl. Da weiß ich, dass mein Kopf gerade nach Verbindungen sucht, die nicht da sind. Es versucht gleichzeitig, Neuronen zu bilden und Verbindungen zu bauen. Mit dieser Vorstellung bin ich dann auch entspannter, neue Begriffe zu lernen.

Deep Learning: Das Nachbilden des neuronalen Netzwerks

Ich komme wieder zurück zu der Katze. Der Computer muss also ein Netzwerk nachbilden, das wie das menschliche neuronale Netzwerk aussieht. Es durchsucht Informationen innerhalb seines Speichers und findet Zusammenhänge. Wenn er was findet, dann entsteht ein neuer Zusammenhang. Wenn nicht, dann muss ein neues „Neuron“ entstehen, diese Informationen speichern, und danach Zusammenhang bilden.

Und nun kommen wir zum 3. Punkt der 3 Faktoren: Die Quelle der Daten. Um diese Verbindungen zu suchen, braucht der Computer schon Informationen davor, also Daten, die ihm helfen können, um zu erkennen, ob etwas eine Katze ist. Diese Daten muss er mit Hilfe vom Internet finden.

Um festzustellen, welche Informationen auf Zusammenhänge und Logik hinweisen können, muss der Computer mehr Bilder von Katzen finden. Je unterschiedlicher die Katzen, desto mehr Zusammenhängen werden sie finden. Darum ist Deep Learning erst im Zeitalter von Internet möglich, weil diese Menge von Daten nicht von einzelnen Menschen zur Verfügung gestellt werden können.

Captcha: Ein Beispiel, woher die Daten zum lernen kommen.

Viele von uns haben schon mal das erlebt: Bei einer Webseite einloggen klappt erst dann, wenn man einen Roboter Test bestanden hat. Dieser Test verwendet meistens die Technik „Captcha“. Davon gibt es viele Varianten. Unten siehst Du ein Image basiertes Captcha. Daran kann man erkennen, dass so ein Test nicht nur Angriffe vor Computer schützt, sondern auch noch Lern Material liefert für Computer, um „Deep Learning“ zu ermöglichen.

Captcha: Deep Learning sammelt Bilder mit Bestätigungen, welche Katzen sind
Quelle: https://me.me/i/security-check-please-select-all-the-photos-which-show-a-1302236
Captcha: Deep Learning sammelt Bilder mit Bestätigungen, welche Katzen sind

Je mehr Menschen die Bilder aussuchen, die zu einer Katze passen, desto mehr lernt der Computer, welche Pixeldaten untereinander Zusammenhänge bilden, um zu definieren, was eine Katze ist. Darum ist es so besonders, dass nun neuerlich die iOS 13 Katzen erkennen können soll, ein großer Durchbruch für das Machine Learning und Deep Learning. Denn damit können die Computer eine riesige Daten von Menschen sammeln, die ihnen genügend Übungsmaterial geben, um zu lernen. (Was der Unterschied zwischen Machine Learning und Deep Learning ist, erzähle ich im nächsten Abschnitt.)

Natürlich ist Deep Learning noch viel mehr als das, was ich hier aufgestellt habe. Es sind viel kompliziertere Sachen, als eine Katze zu erkennen. Aber ich denke, damit kannst Du zumindest eine Vorstellung bekommen, was beim Deep Learning passiert: Computer sammelt eine große Menge von Daten und findet Lösungen, um eine Aufgabe zu erledigen. Der Computer bildet dabei so viel Erfahrungen, sodass er immer besser wird. Dieser Prozess ist Deep Learning.

Was ist der Unterschied zwischen Künstlichen Intelligenz, Machine Learning und Deep Learning?

Unterschied: Deep Learning, Machine Learning und Künstliche Intelligenz
Unterschied: Künstliche Intelligenz, Machine Learning und Deep Learning

Der Unterschied zwischen Künstlicher Intelligenz (AI – Artifical Intelligence), Machine Learning und Deep Learning taucht auf, wenn man sich ein bisschen mit diesem Thema auseinander gesetzt hat. Die Antwort ist relativ einfach, besonders, weil Du jetzt auch etwas mehr über Machine Learning und Deep Learning erfahren hast:

Künstliche Intelligenz (Artificial Ingelligence) bildet der Oberbegriff für alle Aktivitäten von Maschinen, die versuchen, selbständig zu denken. Dabei ist es egal, wie diese Denkvermögen konstruiert ist. Es kann sich um ein einfaches Algorithmus handel, das nur einen Befehl hat. Ein Algorithmus ist im Grunde genommen nichts anders, als eine Formel, wie der Computer mit Daten umgehen soll. Eine Reihe von „if/then“, wenn man will.

Machine Learning ist der spezifische Gebiet unter künstlicher Intelligenz, das versucht, das menschliche Denken nach zu bilden. Hier gibt es viele Versuche, um gewisse Muster zu finden, wie der Mensch denkt. Das Nachbilden vom neuronalen Netzwerk z.B. ist eine Möglichkeit von vielen. Machine Learning ist auch der Oberbegriff für Deep Learning. Alles, was unter Deep Learning fällt, ist Machine Learning, aber Machine Learning ist nicht unbedingt Deep Learning.

Deep Learning ist die kleinste Einheit hier. Es ist eine Untergruppe von Machine Learning.

Ein kleiner „Fun Fact“, der auch hilft, um Deep Learning besser zu verstehen.

Deep Learning ist entstanden, nachdem Machine Learning nicht weiterkommen konnte, als die Wissenschaftler versucht hatten, gewisse Muster innerhalb des menschlichen Denkens zu finden. Man hat versucht, alle Wissen nach gewisse Kategorien und Eigenschaften zu sortieren. Die Schwierigkeit der Aufgabe lag darin, die besten, passendesten Eigenschaften eines Objektes oder Themas zu finden und sortieren. Darum heißt traditionelles Machine Learning „Feature Engineering“.

Der Durchbruch fand erst dann statt, als die Wissenschaftler sich von der Überzeugung losgelöst hatten, Features von Menschen selbst zu definieren. Sie haben sich entschieden, dass Maschinen selbst nach Features suchen dürfen, die für sie geeignet waren, um zu lernen. Das war der Anfang von “ feature representation learning“. Damit bildet der Computer praktisch ein Black Box. Und das war der Anfang vom sogenannten „End-to-End“ Modell. D.h., ein Computer findet selbst Informationen, die ein Mensch versteht. Diese gibt der Computer bei sich selbst ein, was danach innerhalb des Computers und seines Netzwerkes passiert, sowohl offline als auch online, weiß der Mensch nicht wirklich. Dann spuckt der Computer Informationen raus, die der Mensch wieder verstehen kann. Aber wie der Vorgang passiert, verstehen Menschen nicht wirklich.

Darum ist Big Data so ein fundamentaler Bereich für Deep Learning, aber auch gleichzeitig so ein gefährliches Element, weil sie sich nicht kontrollieren lassen und weil Menschen sie schwer überwachen und überprüfen können. Über Big Data habe ich einen Artikel geschrieben, der erklärt mehr, wie Daten verarbeitet werden, mit Schwerpunkt auf die Daten, nicht der Computer. Wenn Du Lust hast, kannst Du hier weiterlesen:

Big Data: Was das ist und warum sie der neue Rohstoff ist.

Wird Deep Learning in der PV Industrie eingesetzt? Wenn ja, wie?

Stanford University hat ein Projekt im Jahr 2018 geliefert, das ein typischer Fall für Deep Learning der PV Industrie bietet. Das Projekt heißt DeepSolar. DeepSolar sucht, wie alle Deep Learning Projekte, Zusammenhänge.

In der Solarwirtschaft will jede/r wissen, wo es sich am meisten lohnt, Solar Module zu installieren. Das hängt mit vielen Faktoren zusammen. Sonnenintensität ist nur eines davon. Haushaltseinkommen z.B. ist entscheidend wichtig, ob es sich lohnt für die Familie, einen Solarpanel aufzusetzen. Stanford University erfasste 11 verschiedene Faktoren zusammen, sie sind:

Deep Learning: PV Installation
  • Solarinstallation
  • Sonnenstrahlung
  • Durchschnittliches Haushaltseinkommen
  • Durchschnittliches Ausbildungsjahre
  • Gini Index
  • Bevölkerungsdichte
  • Verhältnis der Verwendung von Kohle / Koks / Holz als Heizstoff
  • Verhältnis der leer stehenden Wohnheihtein
  • Wie viele Stunden täglich sind Besitzer in der Wohneinheit?
  • Verhältnis von Haushalt mit Kindern
  • Medianwert der Wohneinheit

http://web.stanford.edu/group/deepsolar/home

Man kann auch Werte vergleichen. So kann man noch besser die Zusammenhänge erkennen. Kalifornien z.B. hat die teuersten Wohneinheiten, hat auch am meisten Solar Modulen installiert. Auch die Bevölkerungsdichte spielt eine Rolle. Je mehr Menschen an einem Ort wohnen, desto mehr Solaranlagen werden installiert. Man kann mit der Karte hin und her spielen und die Zusammenhänge vergleichen.

Cornell University: Deep Photovotaic Nowcasting

Noch ein Beispiel ist ein Projekt von Cornell University mit dem Namen „Deep Photovoltaic Nowcasting“. Es geht um Vorhersage der Leistungen der PV Modulen. „Nowcasting“ bedeutet, dass die Vorhersage in Minutentakt passiert. Die Aufgabe lautet, eine möglichst präzise Vorhersag zu treffen, um die kurzfristige Leistung eines Photovoltaikmoduls zu beschreiben. Die Vorhersage hilft es, Smart Grids effizienter zu managen.

Die Problematik an dieser Aufgabe ist, dass man sie mit konventionellen Monitoring-Systemen nicht lösen kann. Weil normale Kameras keine ausreichende Daten liefern können. Sie nehmen zwar Himmelsbilder über die Photovoltaikmodulen auf, aber sie liefern keine Daten über die Sonnenintensität, Wolkenerscheinung und -bewegung. Kurz gesagt: Die Daten, die man mit Kameras erfasst, reichen nicht, um genaue Kurzzeitvorhersage zu treffen.

Das Team von Cornell University sucht woanders die Daten. Sie suchen nach Beziehungen zwischen den Himmelsbildern und historischen Photovoltaik-Leistungswerten. Die Werte werden in der Vergangenheit erfasst und liegen vor. Mit Deep Learning testen sie immer wieder, bis die Werte stimmen. Und damit können sie eine Vorhersage der kurzfristigen Leistung eines Photovoltaikmoduls präziser treffen.

Quellen:

https://www.analyticsvidhya.com/blog/2017/04/comparison-between-deep-learning-machine-learning/
http://158.132.155.107/posh97/private/learning/learning-simon.htm
https://blog-wings.de/blog-lexikon/captcha/

Chi Zhang

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert