当前位置 主页 > 服务器问题 > win服务器问题汇总 >

    Linux下远程连接Jupyter+pyspark部署教程

    栏目:win服务器问题汇总 时间:2019-11-20 20:09

    博主最近试在服务器上进行spark编程,因此,在开始编程作业之前,要先搭建一个便利的编程环境,这样才能做到舒心地开发。本文主要有以下内容:

    1、python多版本管理利器-pythonbrew
    2、Jupyter notebooks 安装与使用以及远程连接方法
    3、Jupyter连接pyspark,实现web端sprak开发

    一、python多版本管理利器-pythonbrew

    在利用python进行编程开发的时候,很多时候我们需要多个Python版本进行测试,博主之前一直在Python2.x和3.x之间徘徊挣扎,两者纠缠不清的关系真是令博主心累了一万年。直至遇到了pythonbrew,它在博主心中泛起的涟漪,久久不能逝去。说到pythonbrew,它是一个python的多版本管理器,可以在多个 Python之间迅速切换,也可以在指定的 Python 版本下测试python程序,更重要的是它还整合了 Virtualenv。所以,当你的电脑里装了多个python版本,并需要经常切换测试时,pythonbrew就非常适合你。

    1.安装配置pythonbrew

    sudo easy_install pythonbrew(easy_install安装)
    pip install pythonbrew(pip安装)

    2.添加配置环境到~/.bashrc(或~/.bash_profile)

    [[ -s "$HOME/.pythonbrew/etc/bashrc" ]] && source"$HOME/.pythonbrew/etc/bashrc"

    然后执行:source ~/.bashrc(或~/.bash_profile)

    3.查看系统可以安装的python版本

    [ray@hadoop01 ~]$ pythonbrew list -k
    # Pythons
    Python-1.5.2
    Python-1.6.1
    Python-2.0.1
    Python-2.1.3
    Python-2.2.3
    Python-2.3.7
    Python-2.4.6
    Python-2.5.6
    Python-2.6.9
    Python-2.7.10
    Python-3.0.1
    Python-3.1.5
    Python-3.2.5
    Python-3.3.5
    Python-3.4.3

    4.安装python

    (ps:需要使用curl安装python,所以需要先安装curl)

    [ray@hadoop01 ~]$ pythonbrew install 3.2.3(版本号)

    5.清理安装后的版本的源码和安装包

    [ray@hadoop01 ~]$ pythonbrew cleanup

    6.选择一个python版本使用,ps:只在当前终端有效

    [ray@hadoop01 ~]$ pythonbrew use 2.7.10(版本号)

    7.查看当前pythonbrew下的python版本有哪些(后面有*号表示正在使用)

    [ray@hadoop01 ~]$pythonbrew list
    Python-2.6.7 (*)
    Python-3.2.3

    8.选择python3.4.3版本作为系统默认版本使用,会把该版本的路径添加到PATH中

    [ray@hadoop01 ~]$ pythonbrew switch 3.4.3

    9.取消pythonbrew选择的版本

    [ray@hadoop01 ~]$ pythonbrew off

    二、Jupyter notebooks 安装与使用以及远程连接方法

    作为一只数据分析狮,利用python进行数据分析编程要的就是优雅和细致。如果还能随时随地利用任何终端进行数据分析,那不仅是高逼格,更是乐翻天了。而Jupyter notebook便是能帮助我们在web端做开发编程的利器。本节将介绍如果安装使用jupyter,以及如何远程连接到服务器端的Jupyter notebook。

    1.安装Jupyter

    [ray@hadoop01 ~]$ pip install jupyter

    2.Jupyter Notebook远程服务器配置

    1)首先要生成密码,打开python终端。

    In [1]: from IPython.lib import passwd
    
    In [2]: passwd()
    Enter password:
    Verify password:
    Out[2]: 'sha1:0e422dfccef2:84cfbcb
    b3ef95872fb8e23be3999c123f862d856'

    2)接下来生成秘钥:

    [ray@hadoop01 ~]$ openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem