Zurück zur Skill-Übersicht

Skill-Wissen und Projektmarkt

Apache Spark

Freelancer, Projekte, Experten und Wissen rund um Apache Spark.

Kategorie

BigData

Quelle

Apache Spark

Apache Spark Freelancer und Projekte finden

Auf jobtic.com vernetzen sich IT-Freelancer direkt mit Recruitern, Fachbereichsleitern und Projektanbietern. Egal ob du Expertise im Bereich Apache Spark suchst oder anbietest, unser intelligenter Algorithmus bringt dich direkt mit den passenden Spezialisten und Projekten zusammen.

Aktuelle Freelancer-Konditionen

Derzeit keine verfügbaren Statistiken

Skill-Umfeld

AWS Azure CI/CD Data Engineering Data Warehouse GCP Java Kubernetes Linux Python Snowflake Spark

Jetzt Top-Freelancer mit fundierter Apache Spark-Erfahrung finden

Mehr anzeigen

Auf jobtic.com präsentieren Freelancer Ihr Apache Spark-Profil mit CV, Skills, Stundensatz, Projekthistorie und Remote-Präferenzen übersichtlich für Recruiter und Projektanbieter. Auftraggeber finden über die gezielte Freelancer-Suche schnell passende Experten, sowohl für Apache Spark-Projekte als auch für andere IT-Bereiche und Skills.

Alles Wissenswerte zum Thema Apache Spark

Wikipedia

Apache Spark

Artikel öffnen

Apache Spark ist ein Framework für Cluster Computing, das im Rahmen eines Forschungsprojekts am AMPLab der University of California in Berkeley entstand und seit 2010 unter einer Open-Source-Lizenz öffentlich verfügbar ist. Seit 2013 wird das Projekt von der Apache Software Foundation weitergeführt[3] und ist dort seit 2014 als Top Level Project eingestuft.[4]

Architektur

Spark besteht aus mehreren, teilweise voneinander abhängigen Komponenten:

Spark Core

Der Spark-Core bildet die Grundlage des gesamten Spark-Systems. Er stellt grundlegende Infrastruktur-Funktionalitäten bereit (Aufgabenverteilung, Scheduling, I/O etc.). Die grundlegende Datenstruktur für alle in Spark ausgeführten Operationen wird als Resilient Distributed Dataset (RDD, auf Deutsch etwa „robuster verteilter Datensatz“) bezeichnet – hierbei handelt es sich um einen nach logischen Kriterien gebildeten (Teil-)Bestand von Daten, der über mehrere Rechner verteilt werden kann. RDDs können aus externen Quellen (z. B. SQL, Datei, …) erzeugt werden oder als Ergebnis aus der Anwendung verschiedener Transformations-Funktionen (map, reduce, filter, join, group, …). Die RDDs und Transformationen können als gerichteter azyklischer Graph (directed acyclic graph, DAG) verstanden werden.

Spark SQL

Spark SQL bietet die Möglichkeit, RDDs in einen sogenannten Data Frame zu wandeln, auf dem SQL-Anfragen durchgeführt werden können. Dazu werden Data Frames als temporäre Tabellen mit einem benutzerdefinierten Tabellennamen registriert, welcher in der FROM-Klausel von SQL-Anfragen verwendet werden kann. Dies ermöglicht eine einfache Durchführung von Selektionen, Projektionen, Joins, Gruppierungen und mehr.

Spark Streaming

Spark Streaming ermöglicht die Verarbeitung von Datenströmen, indem diese in einzelne Pakete unterteilt werden, auf welchen dann wiederum Transformationen ausgeführt werden können.

MLlib/SparkML Machine Learning Library

MLlib und das seine Nachfolge antretende SparkML[5] sind Funktionsbibliotheken, die typische Machine-Learning-Algorithmen für verteilte Spark-Systeme verfügbar machen.

GraphX

GraphX ist ein auf Spark basierendes, verteiltes Framework für Berechnungen auf Graphen.

Weblinks

Einzelnachweise

  1. ↑ projects.apache.org. (abgerufen am 8. April 2020).
  2. ↑ Release 4.2.0. 11. Juli 2026 (abgerufen am 15. Juli 2026).
  3. ↑ History. Apache Software Foundation, abgerufen am 14. Juni 2015 (englisch).
  4. ↑ The Apache Software Foundation Announces Apache™ Spark™ as a Top-Level Project. Apache Software Foundation, abgerufen am 14. Juni 2015 (englisch).
  5. ↑ Machine learning on HDInsight. In: Microsoft Azure. 19. Januar 2018, abgerufen am 15. November 2018 (englisch): „SparkML is a newer package that provides a higher-level API built on top of DataFrames for constructing ML pipelines. SparkML does not yet support all of the features of MLlib, but is replacing MLlib as Spark's standard machine learning library.“
Wikipedia

Dieser Text basiert auf dem Artikel Apache Spark aus der freien Enzyklopädie Wikipedia und steht unter der Lizenz Creative Commons CC-BY-SA 3.0 Unported. Eine Liste der Autoren ist in der Wikipedia verfügbar.

BigData

Chancen entdecken

Präsentiere deine Erfahrung auf jobtic und erhalte direkten Zugriff auf aktuelle IT-Projekte. Dank moderner Filter findest du schnell die passenden Auftraggeber, Recruiter und neuen Aufträge für dein Business.

Kontakte aufbauen

Bau mit jobtic.com dein Netzwerk im Bereich Apache Spark und anderen Fachgebieten gezielt auf. Die Plattform bringt dich ohne Umwege mit den richtigen Geschäftskontakten zusammen, sowohl für die Projektakquise und Expertensuche als auch den Austausch mit der Freelancer-Community.

Wissen einordnen

Neben unserem Hauptfokus, der Projektbörse, liefert dir jobtic auch fundiertes Wissen zum Thema Apache Spark und allen anderen Facetten der IT. Von Grundlagen und Best Practices bis hin zu aktuellen Markttrends findest du bei uns alles auf den Punkt gebracht.

Passende Projekte zu Apache Spark

Mehr Projekte
Im Moment ist kein Apache Spark-Projekt offen. Du suchst ein Projekt in diesem Bereich? Versuch es mit anderen Stichwörtern und schau regelmäßig vorbei, hier tut sich ständig etwas! Du hast selbst ein Projekt aus dem Bereich Apache Spark? Stell es jetzt ein und sichere dir die volle Aufmerksamkeit!