spark简单快速学习及打开UI界面---1

import org.apache.spark.{SparkContext, SparkConf}

import scala.math.random

/**

  * 利用spark进行圆周率的计算

  * Created by 汪本成 on 2016/6/10.

  */

object test {

  def main(args: Array[String]) {
    //这一行重要，连接集群测试                                             //要测试的集群路径                       //自己编译器要打的项目jar包(下面有如何打成jar包示例)

    val conf = new SparkConf().setAppName("SparkPai").setMaster("spark://192.168.1.116:7077").setJars(List("D:\\IntelliJ IDEA 15.0.2\\workplace\\test\\out\\artifacts\\test_jar\\test.jar"))

    val sc = new SparkContext(conf)

    //分片数

    val slices = if (args.length > ) args().toInt else

    //为避免溢出，n不超过int的最大值

    val n = math.min(10000L*slices, Int.MaxValue).toInt

    //计数

    val count = sc.parallelize( until n, slices).map{

      lines =>

        //小于1的随机数

        val x = random* -

        //小于1的随机数

        val y = random* -

        //点到圆心的的值，小于1计数一次，超出1就不计算

        if (x*x + y*y < )  else

    }.reduce(_+_)    //汇总累加落入的圆中的次数

    //count / n是概率，count落入圆中次的数，n是总次数；

    println("Pai is roughly " + 4.0 * count / n)

    sc.stop()

  }

}

import org.apache.spark.sql.SparkSession

import org.apache.spark.SparkConf

object T2 {

  def main(args: Array[String]) {

     //单击不用集群就不用指定集群路径                              //本地单击

    val conf=new SparkConf().setAppName("CreateDF").setMaster("local[2]")

    val spark = SparkSession

      .builder().config(conf)

      .getOrCreate()

    //

    val df = spark.read.json("file:\\C:\\Users\\Administrator\\Desktop\\spark-2.2.1\\spark-2.2.1-bin-hadoop2.7\\examples\\src\\main\\resources\\people.json")

    df.show()

  }

}

//运行
spark-submit --class SQL spark221.jar
//或
 spark-submit --class sql test.jar --master yarn