windows下怎么配置spark环境
试一下命令行启动,确保ipython从anaconda启动
第二步:安装spark(需要提前安装JDK)
到官网下载spark安装包
http://spark.apache.org/downloads.html
我下的是这个版本:
解压缩之后,不要忘记添加环境变量
配置如下系统变量
接着需要在命令行键入(spark安装目录下:如D:/spark) > sbt package 进行编译
这一步很重要 拷贝 E:/spark/python/pyspark 到 D:/anaconda/Lib/site-packages 目录下
第三步:修改spark/conf下的spark-env文件(不知道是否必要)
加入如下三行
export PYSPARK_PYTHON=/D:/anaconda
export PYSPARK_DRIVER_PYTHON=/D:/anaconda
export PYSPARK_SUBMIT_ARGS='--master local[*]'
第四步:启动pyspark
发现已启动成功,一般网页会自动打开
第五步:测试sc
成功!
应该说这个和是不是Spark项目没什么关系。 建议你使用intellij idea,在spark目录下执行"sbt/sbt gen-idea",会自动生成.idea项目,导入即可。 idea我不熟,还需要做一些其他的插件配置(python, sbt等)和环境设置。 你也可以使用Eclipse看
一.JDK的安装与环境变量的设置1.1 JDK的安装
JDK(全称是JavaTM Platform Standard Edition Development Kit)的安装,下载地址是Java SE Downloads,一般进入页面后,会默认显示一个最新版的JDK,如下图所示,当前最新版本是JDK 8,更为详细具体的地址是Java SE Development Kit 8 Downloads:
上图中两个用红色标记的地方都是可以点击的,点击进去之后可以看到这个最新版本的一些更为详细的信息,如下图所示:
首先,这里主要包含有8u101和8u102这两个版本,Java给出的官方说明是:
“Java SE 8u101 includes important security fixes. Oracle strongly recommends that all Java SE 8 users upgrade to this release. Java SE 8u102 is a patch-set update, including all of 8u101 plus additional features (described in the release notes). ”
也就是说Java推荐所有开发人员从以前的版本升级到JDK 8u101,而JDK 8u102则除了包括101的所有特性之外,还有一些其他的特性。对于版本的选择,自行选择就好了,其实对于普通开发人员来说,体现不了太大的区别,我这里就是使用的JDK 8u101版本。
选好8u101版本后,再选择你的对应开发平台,由于我的机器是64位的,所以我这里选择Windows64位的版本。记得在下载之前,必须要接受上方的许可协议,在上图中用红色圈出。
除了下载最新版本的JDK,也可以在Oracle Java Archive下载到历史版本的JDK,但官方建议只做测试用。
JDK在windows下的安装非常简单,按照正常的软件安装思路去双击下载得到的exe文件,然后设定你自己的安装目录(安装目录在设置环境变量的时候需要用到)即可。
1.2 环境变量的设置
接下来设置相应的环境变量,设置方法为:在桌面右击【计算机】--【属性】--【高级系统设置】,然后在系统属性里选择【高级】--【环境变量】,然后在系统变量中找到“Path”变量,并选择“编辑”按钮后出来一个对话框,可以在里面添加上一步中所安装的JDK目录下的bin文件夹路径名,我这里的bin文件夹路径名是:F:\Program Files\Java\jdk1.8.0_101\bin,所以将这个添加到path路径名下,注意用英文的分号“;”进行分割。这样设置好后,便可以在任意目录下打开的cmd命令行窗口下运行
java -version11
观察是否能够输出相关java的版本信息,如果能够输出,说明JDK安装这一步便全部结束了。
全部流程如下图所示(后续软件安装的系统变量设置都是这套流程):
1.3 一些题外话
这里讲两句题外话,各位看官不关心的话可以跳过这里,不影响后续的安装步骤。
在软件安装的时候,相信各位没少遇到过环境变量和系统变量,所以这里就来扒一扒令人头疼的PATH, CLASSPATH和JAVA_HOME等参数的具体含义。
1.3.1 环境变量、系统变量和用户变量
环境变量包括系统变量和用户变量
系统变量的设置针对该操作系统下的所有用户起作用;
用户变量的设置只针对当前用户起作用
如果对这些概念还不是特别熟悉的,建议先看完下面几个点之后,再回过头来看这三句话。
1.3.2 PATH
也就是上一步设置的系统变量,告诉操作系统去哪里找到Java.exe的执行路径,当你在命令行窗口冷不丁的敲上如下命令的时候,
java -version11
操作系统首先会一惊,What the hell does “java” mean? 不过吐槽归吐槽,活还是得干,于是悠悠的记起来了盖茨爸爸说过的三句话:
当你看不懂命令行窗口中的一个命令的时候,你首先去你所在的当前目录下找找,是否有这个命令的.exe程序?如果有,那就用它来启动执行;
如果没有,千万别放弃,记得要去Path系统变量下的那些目录下去找一找,如果找到了,启动并执行命令;
如果上面两个地方依然还没找到,那你就撒个娇,报个错好了。
所以我们将JDK安装目录下的bin文件夹添加到Path系统变量的目的也就在这里,告诉操作系统:如果在当前目录下找不到java.exe,就去Path系统变量里的那些路径下挨个找一找,直到找到java.exe为止。那为什么要设置bin文件夹,而不是JDK安装的根目录呢?原因就在于根目录下没有java.exe啊,只有bin文件夹下才有啊喂……
如果只是在命令行窗口下运行一下java的命令,那其实也可以不设置系统变量,只是每次在命令行窗口运行java的命令时,都必须带上一长串路径名,来直接指定java.exe的位置,如下所示。
C:\Users\weizierxu>F:\Program Files\Java\jdk1.8.0_101\bin\java.exe -version
'F:\Program' 不是内部或外部命令,也不是可运行的程序
或批处理文件。123123
注意:这里报错的原因并不是说直接指定java.exe的路径名这种方式有问题,而是命令行下无法解析带有空格的路径名,所以需要用到双引号,如下:
C:\Users\weizierxu>"F:\Program Files"\Java\jdk1.8.0_101\bin\java.exe -version
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)12341234
1.3.3 CLASSPATH
CLASSPATH是在Java执行一个已经编译好的class文件时,告诉Java去哪些目录下找到这个class文件,比如你的程序里用到某个Jar包(Jar包里的都是已经编译好的class文件),那么在执行的时候,Java需要找到这个Jar包才行,去哪找呢?从CLASSPATH指定的目录下,从左至右开始寻找(用分号区分开的那些路径名),直到找到你指定名字的class文件,如果找不到就会报错。这里做一个实验,就能明白具体是什么意思了。
首先,我在F:\Program Files\Java目录下,利用Windows自带的记事本写了一个类似于Hello World的程序,保存为testClassPath.java文件(注意后缀名得改成java),内容如下:
public class testClassPath{
public static void main(String[] args){
System.out.println("Hello, this is a test on CLASSPATH!");
}
}1234512345
然后,我将cmd的当前目录切换到(通过cd命令)F:\Program Files\Java目录下,然后用javac命令来对这个.java文件进行编译,如下图所示:
从上图中可以看到,javac命令可以正常使用(没有任何输出的就表明正确编译了),这是因为执行该命令的javac.exe同样存在于JDK安装路径下的bin目录中,而这个目录我们已经添加到Path系统变量中去了,所以cmd能够认识这个命令。这个时候可以看到F:\Program Files\Java目录下多了一个testClassPath.class文件。不过运行这个class文件的时候,报错了。这个时候,CLASSPATH就派上用场了,和1.2节中对Path系统变量设置的方法一样,这里在CLASSPATH(如果系统变量的列表中没有CLASSPATH这个选项,那么点击新建,然后添加路径即可)中最后面添加上;.,英文的分号表示和前面已有的路径分割开,后面的小点.表示当前目录的意思。
这个时候记得要另起一个新的cmd窗口,然后利用cd命令切换到testClassPath.class所在目录,然后再去执行,便可以成功得到结果了。
F:\Program Files\Java>java testClassPath
Hello, this is a test on CLASSPATH!1212
因此,和Path变量不同的是,Java在执行某个class文件的时候,并不会有默认的先从当前目录找这个文件,而是只去CLASSPATH指定的目录下找这个class文件,如果CLASSPATH指定的目录下有这个class文件,则开始执行,如果没有则报错(这里有去当前目录下找这个class文件,是因为当前路径通过.的方式,已经添加到了CLASSPATH系统变量中)。
上面讲的指定CLASSPATH系统变量的方法,都是直接写死在系统变量中的,为了避免造成干扰(比如多个同名class文件存在于多个路径中,这些路径都有添加到CLASSPATH系统变量中,由于在找class文件的时候,是从左往右扫描CLASSPATH系统变量中的路径的,所以在利用java testClassPath方法执行的时候,运行的便是位置在CLASSPATH系统变量中最左边的那个路径中,对应的class文件,而这显然不是我们想要的结果),因此在诸如Eclipse等等这些IDE中,并不需要人为手动设定CLASSPATH系统变量,而是只设定当前程序的特定的CLASSPATH系统变量,这样便不会影响到其他程序的运行了。
1.3.4 JAVA_HOME
JAVA_HOME并不是Java本身所需要的参数,而是其他的一些第三方工具需要这个参数来配置它们自己的参数,它存在的意义无非是告诉那些软件,我的JDK安装在这个目录下,你如果要用到我的Java程序的话,直接来我这个目录下找就好了,而JAVA_HOME就是JDK的安装路径名。比如我的JDK安装在F:\Program Files\Java\jdk1.8.0_101目录下(注意该目录下的bin目录,就是在1.3.2节里Path系统变量中要添加的值),那么JAVA_HOME里要添加的值便是F:\Program Files\Java\jdk1.8.0_101,以后碰到类似HOME的系统变量,都是软件的安装目录。
二. Scala的安装
首先从DOWNLOAD PREVIOUS VERSIONS下载到对应的版本,在这里需要注意的是,Spark的各个版本需要跟相应的Scala版本对应,比如我这里使用的Spark 1.6.2就只能使用Scala 2.10的各个版本,目前最新的Spark 2.0就只能使用Scala 2.11的各个版本,所以下载的时候,需要注意到这种Scala版本与Spark版本相互对应的关系。我这里现在用的是Scala 2.10.6,适配Spark从1.3.0到Spark 1.6.2之间的各个版本。在版本页面DOWNLOAD PREVIOUS VERSIONS选择一个适合自己需要的版本后,会进入到该版本的具体下载页面,如下图所示,记得下载二进制版本的Scala,点击图中箭头所指,下载即可:
下载得到Scala的msi文件后,可以双击执行安装。安装成功后,默认会将Scala的bin目录添加到PATH系统变量中去(如果没有,和JDK安装步骤中类似,将Scala安装目录下的bin目录路径,添加到系统变量PATH中),为了验证是否安装成功,开启一个新的cmd窗口,输入scala然后回车,如果能够正常进入到Scala的交互命令环境则表明安装成功。如下图所示:
如果不能显示版本信息,并且未能进入Scala的交互命令行,通常有两种可能性:
- Path系统变量中未能正确添加Scala安装目录下的bin文件夹路径名,按照JDK安装中介绍的方法添加即可。
- Scala未能够正确安装,重复上面的步骤即可。
三. Spark的安装
Spark的安装非常简单,直接去Download Apache Spark。有两个步骤:
选择好对应Hadoop版本的Spark版本,如下图中所示;
然后点击下图中箭头所指的spark-1.6.2-bin-hadoop2.6.tgz,等待下载结束即可。
这里使用的是Pre-built的版本,意思就是已经编译了好了,下载来直接用就好,Spark也有源码可以下载,但是得自己去手动编译之后才能使用。下载完成后将文件进行解压(可能需要解压两次),最好解压到一个盘的根目录下,并重命名为Spark,简单不易出错。并且需要注意的是,在Spark的文件目录路径名中,不要出现空格,类似于“Program Files”这样的文件夹名是不被允许的。
解压后基本上就差不多可以到cmd命令行下运行了。但这个时候每次运行spark-shell(spark的命令行交互窗口)的时候,都需要先cd到Spark的安装目录下,比较麻烦,因此可以将Spark的bin目录添加到系统变量PATH中。例如我这里的Spark的bin目录路径为D:\Spark\bin,那么就把这个路径名添加到系统变量的PATH中即可,方法和JDK安装过程中的环境变量设置一致,设置完系统变量后,在任意目录下的cmd命令行中,直接执行spark-shell命令,即可开启Spark的交互式命令行模式。
四.HADOOP下载
系统变量设置后,就可以在任意当前目录下的cmd中运行spark-shell,但这个时候很有可能会碰到各种错误,这里主要是因为Spark是基于Hadoop的,所以这里也有必要配置一个Hadoop的运行环境。在Hadoop Releases里可以看到Hadoop的各个历史版本,这里由于下载的Spark是基于Hadoop 2.6的(在Spark安装的第一个步骤中,我们选择的是Pre-built for Hadoop 2.6),我这里选择2.6.4版本,选择好相应版本并点击后,进入详细的下载页面,如下图所示,选择图中红色标记进行下载,这里上面的src版本就是源码,需要对Hadoop进行更改或者想自己进行编译的可以下载对应src文件,我这里下载的就是已经编译好的版本,即图中的’hadoop-2.6.4.tar.gz’文件。
下载并解压到指定目录,然后到环境变量部分设置HADOOP_HOME为Hadoop的解压目录,我这里是F:\Program Files\hadoop,然后再设置该目录下的bin目录到系统变量的PATH下,我这里也就是F:\Program Files\hadoop\bin,如果已经添加了HADOOP_HOME系统变量,也可以用%HADOOP_HOME%\bin来指定bin文件夹路径名。这两个系统变量设置好后,开启一个新的cmd,然后直接输入spark-shell命令。
正常情况下是可以运行成功并进入到Spark的命令行环境下的,但是对于有些用户可能会遇到空指针的错误。这个时候,主要是因为Hadoop的bin目录下没有winutils.exe文件的原因造成的。这里的解决办法是:
- 去 https://github.com/steveloughran/winutils 选择你安装的Hadoop版本号,然后进入到bin目录下,找到winutils.exe文件,下载方法是点击winutils.exe文件,进入之后在页面的右上方部分有一个Download按钮,点击下载即可。
- 下载好winutils.exe后,将这个文件放入到Hadoop的bin目录下,我这里是F:\Program Files\hadoop\bin。
- 在打开的cmd中输入
F:\Program Files\hadoop\bin\winutils.exe chmod 777 /tmp/Hive
这个操作是用来修改权限的。注意前面的F:\Program Files\hadoop\bin部分要对应的替换成实际你所安装的bin目录所在位置。
经过这几个步骤之后,然后再次开启一个新的cmd窗口,如果正常的话,应该就可以通过直接输入spark-shell来运行Spark了。
正常的运行界面应该如下图所示:
从图中可以看到,在直接输入spark-shell命令后,Spark开始启动,并且输出了一些日志信息,大多数都可以忽略,需要注意的是两句话:
Spark context available as sc.
SQL context available as sqlContext.1212
Spark context和SQL context分别是什么,后续再讲,现在只需要记住,只有看到这两个语句了,才说明Spark真正的成功启动了。
五. Python下的PySpark
针对Python下的Spark,和Scala下的spark-shell类似,也有一个PySpark,它同样也是一个交互式的命令行工具,可以对Spark进行一些简单的调试和测试,和spark-shell的作用类似。对于需要安装Python的来说,这里建议使用Python(x,y),它的优点就是集合了大多数的工具包,不需要自己再单独去下载而可以直接import来使用,并且还省去了繁琐的环境变量配置,下载地址是Python(x,y) - Downloads,下载完成后,双击运行安装即可。因为本教程主要以Scala为主,关于Python的不做过多讲解。
六. 小结
至此,基本的Spark本地调试环境便拥有了,对于初步的Spark学习也是足够的。但是这种模式在实际的Spark开发的时候,依然是不够用的,需要借助于一个比较好用的IDE来辅助开发过程。下一讲就主要讲解ItelliJ IDEA以及Maven的配置过程。
windows10系统下怎么查看我们的本地连接网络
在Windows 10系统下,可以通过“设置”或“控制面板”查看本地连接网络。一、通过“设置”查看本地连接网络 1. 点击屏幕左下角的“开始”按钮,选择“设置”。2. 在“设置”窗口中,选择“网络和Internet”。3. 在左侧菜单中,选择“状态”,右侧将显示当前的网络连接状态。在这里,你可以看到你的网...
windows系统如何查看服务状态?
windows系统均可按以下方法查看服务的状态:1、同时按“Windows徽标键+R键”,打开运行框;2、输入“services.msc”按回车,快速调出“服务”,如下图示:3、点击“确定”后能看到各项“服务”的名称、描述、状态、启动类型等。由于系统不同,界面和描述略有差异,这里分两种界面介绍:(1)Windows7\/8\/8...
正版Windows系统怎么下载?
1. 打开任意浏览器,并访问微软官方网站:https:\/\/www.microsoft.com\/zh-cn\/software-download\/windows10 2. 确保您正在访问的页面是微软官方网站,以防止下载非法或未经授权的副本。3. 在页面上,您会看到“Windows 10 更新助手”的下载选项。点击“立即下载工具”,该工具将帮助您下载最新版本的Windows...
怎么windows10下设置始终以管理员身份运行
右键-“属性”打开“属性”对话框-点击“兼容性”选项卡 在“兼容性”选项卡下选中“以管理员身份运行此程序”点击“属性”对话框的“确定”这样就始终以“管理员身份运行此程序”如何通过快捷方式图标找到原图标 这次我拿“cmd.exe”这个快捷方式为例 找到此程序的快捷方式图标,右键-“属性”在“属性...
在windows中怎么运行脚本文件
在Windows系统下,可以通过安装Git Bash或Windows Subsystem for Linux (WSL)来运行.sh脚本文件。Git Bash是一个基于Windows平台的Git命令行工具,它提供了Unix风格的shell环境,可以运行.sh脚本文件。安装Git Bash后,可以在任意文件夹下右键点击.sh文件,选择“Git Bash Here”,即可在Git ...
windows下的日志信息在哪里,怎么查看
想要查看他或者保存日志信息怎么办呢,这里提供两个办法,第一种是利用系统自带的事件查看器来查看,也很简单,点击左下角的开始-》运行,输入Eventvwr.msc 点击确定,直接进入的就是事件查看器打开的日志信息的界面了,在XP和Windows2003当中都是这一个文件SecEvent.Evt包含了四种不同的信息,所以直接就能...
windows10系统下怎么安装win7吗作为双系统
windows10怎么装win7双系统 安装方法如下: 1、首先开启你的win10系统并且准备好你的win7安装包,然后再win10系统中的系统目录下(也就是你的C盘)根据:本地磁碟C→wwindows→Boot→EFI→找到bootmgr.efi档案后复制。 2、随后在你的win7安装包中根据:efi→microsoft→boot如下图所示。资料夹中无bootmgr.efi档案。
win10怎么下载?
下面详细介绍如何在官网上下载Windows 10系统:第一步:打开Microsoft Windows 10官网 首先,在浏览器中输入“https:\/\/www.microsoft.com\/zh-cn\/software-download\/windows10” 进入Microsoft官网下载页面,或者在搜索引擎中输入“Windows 10官网下载”,点击第一个链接进入下载页面。第二步:选择下载工具 在...
在windows10下怎么知道自己目前所在的是第几个虚拟桌面
1、在Win10系统的任务栏上可以看到下图所示的图标,将鼠标放上会显示Task View,点击Task View。2、点击后,会在Win10系统任务栏上方出现提示添加桌面的对话框,点击+图标添加多个虚拟桌面。3、点击后可以在任务栏上方看到有两个桌面在显示了,然后分别在每个虚拟桌面上打开不同的应该程序 4、点击第一...
Windows 10系统下怎么进行压缩卷
windows 10操作系统中可通过以下方式进行磁盘分区:1.鼠标点击桌面左下角,或者按WIN+C,出现下图弹窗:2.按K键或者用鼠标点选磁盘管理(K),出现下图窗口:3.右击C盘选择压缩卷:4.耐心等待片刻:5.出现可用压缩空间大小 6.如果把可用空间大小全部压缩则C盘就太小了,现在我们准备压缩300GB为D盘,...
符阁小儿: 在Windows上安装与配置Spark 本节介绍在Windows系统上安装Spark的过程.在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark. (1)安装JDK 相对于Linux、Windows的JDK安装更加自动化,用户可以下载安装Oracle JDK或者OpenJDK.
龙南县17299965068: 如何在windows下安装配置pyspark notebook - ?
符阁小儿: 试一下命令行启动,确保ipython从anaconda启动 第二步:安装spark(需要提前安装JDK) 下载spark安装包 我下的是这个版本:解压缩之后,不要忘记添加环境变量 配置如下系统变量 接着需要在命令行键入(spark安装目录下:如D:/spark) ...
龙南县17299965068: 如何在本地安装运行Spark? - ?
符阁小儿: 2.1.2 在Windows上安装与配置Spark本节介绍在Windows系统上安装Spark的过程.在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark.(1)安装JDK相对于Linux、Windows的JDK安装更加自动化,用户可以下载安装...
龙南县17299965068: 如何设置Spark - ?
符阁小儿: 之前一直纠结怎么在Eclipse下调试用Java编写的spark程序,这里给大家讲一下步骤.实际上,没有几步,但是在网络上面不好找,几乎没有这样的文章或者技术贴.在Eclipse下调试spark程序时,通常会用两种错误,第一种是hadoop的winUtils...
龙南县17299965068: 如何安装nvm - windows - master - ?
符阁小儿: 本节介绍在Windows系统上安装Spark的过程.在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark.(1)安装JDK 相对于Linux、Windows的JDK安装更加自动化,用户可以下载安装Oracle JDK或者OpenJDK.只安装JRE是不...
龙南县17299965068: windows 上能跑spark吗 - ?
符阁小儿: 2.1.2在Windows上安装与配置Spark 本节介绍在Windows系统上安装Spark的过程.在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark. (1)安装JDK 相对于Linux、Windows的JDK安装...
龙南县17299965068: 怎么在win7上安装spark2.0 - ?
符阁小儿: 1、下载spark解压到D盘,现在的版本是1.2.12、下载scala安装到d:\ProgramFiles(x86)\scala\ 安装好scala后需要配置环境变量 修改path这个变量,把Scala的bin目录也放进去D:\ProgramFiles(x86)\scala\bin(现在版本的scala会自动修改系统的环境变量,提示的时候选择不阻止)测试是否配置成功,在命令行中输入scala-version!
龙南县17299965068: 如何在Windows中使用Intellij idea搭建远程Hadoop开发环境 - ?
符阁小儿: 点击左上角 + ,Type选择SFTP,然后配置服务器ip和部署路径,用户名密码等选项 之后选择自动部署,这样每次修改都会自动部署到服务器,也可以右键
龙南县17299965068: windows单机部署spark怎么配置核心数 - ?
符阁小儿: val spark = new SparkContext("local[4]", "Count") local[4] 表示用4个核心
龙南县17299965068: stm8l051f3p6用什么开发 - ?
符阁小儿: 1\ 可以用 STVD + COSMIC2、可以使用 IAR FOR STM83\ 调试工具可以使用STLINK