Bijenkorf en garen worden geëlektrificeerd door vonk

Laten we in deze Apache Spark & ​​big data-blog zien hoe we Spark kunnen bouwen voor een specifieke Hadoop-versie. We zullen ook leren hoe u Spark voor YARN en HIVE kunt bouwen.

Laten we in deze blog zien hoe we Spark kunnen bouwen voor een specifieke Hadoop-versie.



We zullen ook leren hoe je Spark kunt bouwen met HIVE en YARN.

KM

wat is big data en hadoop

Gezien het feit dat je dat hebt gedaan Hadoop, jdk, mvn en Gaan vooraf geïnstalleerd en vooraf geconfigureerd op uw systeem.



configure-Building-Yarn-and-Hive-on-Spark

Open Mozilla-browser en downloaden Vonk met behulp van onderstaande link.

https://edureka.wistia.com/medias/k14eamzaza/



Terminal openen.

Opdracht: tar -xvf Downloads / spark-1.1.1.tgz

Commando: ls

Open de map spark-1.1.1.

Je kunt openen pom.xml het dossier. Dit bestand geeft u de informatie over alle afhankelijkheden jij hebt nodig.

Bewerk het niet om uit de problemen te blijven.

Opdracht: cd spark-1.1.1 /

Opdracht: sudo gedit sbt / sbt-launch-lib.bash

Bewerk het bestand zoals onderstaand snapshot, sla het op en sluit het.

We verminderen het geheugen om problemen met de objectheapruimte te voorkomen, zoals vermeld in de onderstaande momentopname.

Voer nu de onderstaande opdracht uit in de terminal om spark te bouwen voor Hadoop 2.2.0 met HIVE en YARN.

Opdracht: ./sbt/sbt -P garen -P bijenkorf -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests bijeenkomst

Opmerking: mijn Hadoop-versie is 2.2.0, u kunt deze aanpassen aan uw Hadoop-versie.

Voor andere Hadoop-versies

# Apache Hadoop 2.0.5-alpha

-Dhadoop.version = 2.0.5-alpha

#Cloudera CDH 4.2.0

-Dhadoop.version = 2.0.0-cdh4.2.0

# Apache Hadoop 0.23.x

-Phadoop-0.23 -Dhadoop.version = 0.23.7

# Apache Hadoop 2.3.X

-Phadoop-2.3 -Dhadoop.version = 2.3.0

# Apache Hadoop 2.4.X

-Phadoop-2.4 -Dhadoop.version = 2.4.0

Het compileren en verpakken zal even duren, wacht tot het voltooid is.

Twee potten spark-assembly-1.1.1-hadoop2.2.0.jar en spark-voorbeelden-1.1.1-hadoop2.2.0.jar wordt gemaakt.

Pad van spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar

Pad van spark-voorbeelden-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar

Gefeliciteerd, je hebt met succes Spark for Hive & Yarn gebouwd.

Heeft u een vraag voor ons? Vermeld ze in het opmerkingengedeelte en we nemen contact met u op.

Gerelateerde berichten:

Apache Spark met Hadoop - waarom is het belangrijk?