当前位置 博文首页 > 玉树芝兰:如何用iPad运行Python代码?

    玉树芝兰:如何用iPad运行Python代码?

    作者:[db:作者] 时间:2021-08-19 18:39

    其实,不只是iPad,手机也可以。

    640?wx_fmt=jpeg

    (由于微信公众号外部链接的限制,文中的部分链接可能无法正确打开。如有需要,请点击文末的“阅读原文”按钮,访问可以正常显示外链的版本。)

    痛点

    我组织过几次线下编程工作坊,带着同学们用Python处理数据科学问题。

    其中最让人头疼的,就是运行环境的安装。

    640?wx_fmt=png

    实事求是地讲,参加工作坊之前,我已经做了认真准备。

    例如集成环境,选用了对用户很友好的Anaconda。

    代码在我的Macbook电脑上跑,没有问题。还拿到学生的Windows 7上跑,也没有问题。这才上传到了Github。

    在发布的教程文章里,我也已经把安装软件包的说明写得非常详细。

    640?wx_fmt=png

    还针对 Anaconda 这一 Python 运行环境的安装和运行,专门录制了视频。

    640?wx_fmt=png

    但是,工作坊现场遇见的问题,依然五花八门。

    有的是操作系统。例如你可能用Windows 10。实话实说,我确实没用过。拿着Surface端详,连安装后的Anaconda文件夹都找不到在哪儿。

    有的是编码。不同操作系统,有的默认中文编码是UTF-8,有的是GBK。同样一段中文文本,我这里显示一切正常,你那里就是乱码。

    有的是套件路径。来参加工作坊前,你可能看过我一些教程,并安装了 Python 2.7 版本 Anaconda。来到现场,一看需要 Python 3.6 版本,你就又安装了一份新的。结果执行起来,你根本分不清运行的 Python, pip 命令来自哪一个套件,更搞不清楚软件包究竟安装到哪里去了。再加上虚拟环境配置,你就要抓狂了。

    还有的,甚至是网络拥塞问题。因为有时需要现场安装调用体积庞大的软件包,几十台电脑“预备——齐”一起争抢有限的Wifi带宽,后果可想而知。

    痛定思痛,我决定改变一下现状。

    目前的教程只提供基础源代码。对于许多新手同学来说,是不够的。

    许多同学,就倒在了安装依赖软件包的路上,继而干脆放弃了。

    变通的办法有许多。例如干脆录制代码执行视频给你看。

    但是正如我在《MOOC教学,什么最重要?》一文中说过的,学习过程里,反馈最重要。

    你需要能运行代码,并且第一时间获得结果反馈。

    在此基础上,你还得能修改代码,对比前后执行结果的差别。

    我得给你提供一个直接可以运行的环境。

    零安装,自然也就没了上述烦恼。

    这个事儿可能吗?

    我研究了一下,没问题。

    只要你的设备上有个现代化浏览器(包括但不限于Google Chrome, Firefox, Safari和Microsoft Edge等)就行。

    IE 8.0?

    那个不行,赶紧升级吧!

    读到这里,你应该想明白了。因为只挑浏览器,不挑操作系统,所以别说你用Windows 10,你就是用iPad,都能运行代码。

    尝试

    请你打开浏览器,输入这个链接(http://t.cn/R35fElv)。

    看看会发生什么?

    我这里用iPad给你演示。

    一开始会有个启动界面出来。请你稍等10几秒钟。

    640?wx_fmt=jpeg

    然后,你就能看到熟悉的Python代码运行界面了。

    640?wx_fmt=jpeg

    这个界面来自 Jupyter Lab。

    你可以将它理解为 Jupyter Notebook 的增强版,它具备以下特征:

    • 代码单元直接鼠标拖动;

    • 一个浏览器标签,可打开多个Notebook,而且分别使用不同的Kernel;

    • 提供实时渲染的Markdown编辑器;

    • 完整的文件浏览器;

    • CSV数据文件快速浏览

    • ……

    图中左侧分栏,是工作目录下的全部文件。

    右侧打开的,是咱们要使用的ipynb文件。

    为了证明这不是逗你玩儿,请你点击右侧代码上方工具栏的运行按钮。

    点击一下,就会运行出当前所在代码单元的结果。

    不断点击下来,你可以看见,结果都被正常渲染。

    640?wx_fmt=jpeg

    连图像也能正常显示。

    640?wx_fmt=jpeg

    甚至连下面这种需要一定运算量的可视化结果,都没问题。

    640?wx_fmt=jpeg

    为了证明这不是变魔术,你可以在新的单元格,写一行输出语句。

    就让Python输出你的名字吧。

    假如你叫 Chuck,就这样写:

    print("Hello, Chuck!")

    把它替换成你自己的姓名,看看输出结果是否正确?

    640?wx_fmt=jpeg

    其实,又何止是iPad而已?

    你如果足够勇(sang) 于(xin) 尝(bing) 试(kuang),手机其实也是可以的。

    就像这样。

    640?wx_fmt=jpeg

    流程

    下面我给你讲讲,这种效果是怎么做出来的。

    我们需要用到一款工具,叫做 mybinder 。它可以帮助我们,把 github 上的某个代码仓库(repo),快速转换成为一个可运行的环境。

    注意 mybinder 为我们提供了云设施,也就是计算资源和存储资源。因此即便许许多多的用户同时在线使用同一份代码转换出来的环境,也不会互相冲突。

    我们先来看看,怎么准备一个可供 mybinder 顺利转换的代码仓库。

    我为你提供的样例在这里(http://t.cn/R35MEqk):

    640?wx_fmt=png

    顺便说一句,这个样例来自于我的数据科学系列教程之《如何用Python处理自然语言?(Spacy与Word Embedding)》。感兴趣的同学可以点击链接,查看原文。

    在该 GitHub 页面展示的文件列表中,你需要注意以下3个文件:

    • demo.ipynb

    • environment.yml

    • postBuild

    其中demo.ipynb就是你在上一节看到的包含源代码的Jupyter Notebook文件。你需要首先在本地安装相关软件包,并且运行测试通过。

    如果在你本地运行都有错误,放到云上去,想必也难以正常运行。

    environment.yml文件非常重要,它来告诉 mybinder ,需要如何为你的代码运行准备环境。

    我们打开看看该文件的内容:

    dependencies:
    ?- python=3
    ?- pip:
    ? ?- spacy
    ? ?- ipykernel
    ? ?- scipy
    ? ?- numpy
    ? ?- scikit-learn
    ? ?- matplotlib
    ? ?- pandas
    ? ?- thinc

    这个文件首先告诉 mybinder ,你的 Python 版本。我们采用的是 3.6 版。所以只需要指定 python=3 即可。mybinder 会自动为你下载安装最新的。

    然后这个文件说明需要使用 pip 工具安装哪些软件包。我们需要把所有依赖的安装包都罗列出来。

    这就是之前,我总在教程里给你说明的那些准备步骤。

    但是这还没有完,因为 mybinder 只是为你安装好了一些软件依赖。

    这里还有两个步骤需要处理:

    • 为了分析语义,我们需要调用预训练的Word2vec模型,这需要 mybinder 为我们提前下载好。

    • Jupyter Notebook 打开后,应当使用的 kernel 名称为 wangshuyi ,这个 kernel 目前还没有在 Jupyter 里面注册。我们需要 mybinder 代劳。

    为了完成上述两个步骤,你就需要准备最后一个postBuild文件。

    它的内容如下:

    python -m spacy download en
    python -m spacy download en_core_web_lg
    python -m ipykernel install --user --name=wangshuyi

    跟它的名字一样。它是在 mybinder 依据 environment.yml 安装了依赖组建后,依次执行的命令。如果你的代码需要其他的命令提供环境支持,也可以放在这里。

    至此,你的准备工作就算结束了。

    魔法表演正式开始。

    请打开 mybinder 的网址(https://mybinder.org/)。

    640?wx_fmt=png

    在 “GitHub repo or URL” 一栏,填写我们的 github 代码仓库链接,即:

    https://github.com/wshuyi/demo-spacy-text-processing

    我们希望一进入界面,就自动打开 demo.ipynb ,因此需要在“Path to a notebook file (optional)”一栏填写demo.ipynb

    这时,你会发现“Copy the URL below and share your Binder with others:”一栏中,出现了你的代码运行环境网址。

    https://mybinder.org/v2/gh/wshuyi/demo-spacy-text-processing/master?filepath=demo.ipynb

    点击右侧的“复制”按钮保存到你的记事本里面。将来找到你转换好的运行环境,就全靠它了。

    妥善保存地址后,点击“Launch”按钮。

    640?wx_fmt=png

    根据你的依赖安装包数量等因素,你需要等待的时间长短不一。但是只有第一次构建的时候,需要花一些时间。

    以后每一次调用执行,就都会非常快了。

    构建完毕后, mybinder 会自动为我们开启对应的运行环境。

    640?wx_fmt=png

    很有成就感吧!

    测试一下,能够正常运行代码,就证明我们成功了。

    但是你会发现,不对啊!

    老师你刚才用 iPad 展示的,不是高级版的 Jupyter Lab 吗?怎么又变成了 Jupyter Notebook 了?

    我也想要高级版!

    别着急。

    看看你目前的链接地址:

    https://mybinder.org/v2/gh/wshuyi/demo-spacy-text-processing/master?filepath=demo.ipynb

    你只需要做个小小的调整,将其中的:

    ?filepath=

    替换为:

    ?urlpath=lab/tree/

    替换后的链接为:

    https://mybinder.org/v2/gh/wshuyi/demo-spacy-text-processing/master?urlpath=lab/tree/demo.ipynb

    把它输入到浏览器,看看出来的结果:

    640?wx_fmt=png

    这下没问题了吧?

    原理

    你是不是觉得,mybinder 很黑科技?

    其实,也不算。

    它只是把已有的几项技术,链接了起来。

    这大概也算是“积木式创新”的一个实例吧。

    我们看看 mybinder 的说明:

    640?wx_fmt=png

    可以看到,其中最为关键的技术,是用了 docker 。

    Docker 是个什么东西呢?

    简单来说,Docker 就是为了不同平台上,都能够顺利执行同一份代码的保障工具。

    你有些犹疑,这说的不是 Java 吗?

    没错,Java 的宣传口号,就是一次编码,各处运行。

    它利用虚拟机,来保障这种能力。

    640?wx_fmt=png

    但是,如果你经常使用 Java 开发出来的工具,就应该了解痛点有哪些了。

    至少,你应该对 Java 程序的运行速度,有一些体会。

    640?wx_fmt=png

    上图中,左侧是虚拟机,右侧是Docker。

    Docker 不但效率上要强过 Java 虚拟机,而且它支持的编程语言也不仅仅是一种。

    至于其他好处,咱们就不展开了。否则听起来像广告。

    其实,把 github 代码仓库转换为 docker 镜像(image)的工作,也不是 mybinder 自己来做的。

    它调用的,是另外的一个工具,叫做 repo2docker(https://github.com/jupyter/repo2docker) 。

    640?wx_fmt=png

    而你的浏览器能够执行 Python 代码,是因为 Jupyter Notebook (或者Lab)本来就是建立在“浏览器/服务器”(Browser / Server, B/S)结构上。

    如果你已经在本地计算机安装过 Anaconda ,那不妨看看本地执行这个语句:

    jupyter lab

    会出现什么?

    640?wx_fmt=png

    对,它开启了一个服务器,然后打开你的浏览器,跟这个服务器通讯。

    Jupyter 的这种设计,本身就让它的扩展极为方便。

    无论 Jupyter 服务器是运行在你的本地笔记本上,还是摆在另一个大洲的机房,对你执行 Python 代码来说,都是没有本质区别的。

    另外,如果你以为 mybinder 只能让你在浏览器上跑 Python 代码,那就太小瞧它了。

    学过 R 的同学,请点击这个链接(http://t.cn/R3JLY2S),看看有什么惊喜。

    小结

    总结一下,本文为你讲述了以下内容:

    • 如何利用 mybinder ,把一个 github repo 一键转换成 Jupyter Lab 运行环境;

    • 如何在各种不同操作系统的浏览器上,运行该环境,编写、执行与修改代码;

    • mybinder 转换 github repo 的幕后英雄 docker 简介。

    我希望你能想到的,不仅仅是这点儿简单的用途。

    提几个问题给你,作为思考题:

    • 如果代码执行都在云端完成,教学实验室机房还有没有必要预装一大堆软件,且不定期更新维护?

    • 学校的编程练习、作业和考试有没有可能通过这种方式,直接远程进行,并且自动化评分?

    • 既然应用的技术都是开源的,你有没有可能利用这些开源工具搞个创业项目。例如提供深度学习环境,租赁给科研机构与创业公司?

    期待你举一反三,做出有趣又有意义的创新来。

    讨论

    在 iPad 上运行 Python 代码的感觉怎么样?你用过类似的产品吗?你觉得有了这种技术,在日常工作和学习中,还可以有哪些有趣的应用场景?欢迎留言,把你的经验和思考分享给大家,我们一起交流讨论。

    如果你对我的文章感兴趣,欢迎点赞,并且微信关注和置顶我的公众号“玉树芝兰”(nkwangshuyi)。

    如果本文可能对你身边的亲友有帮助,也欢迎你把本文通过微博或朋友圈分享给他们。让他们一起参与到我们的讨论中来。

    延伸阅读

    如何高效入门数据科学?


    创作不易,感谢打赏!

    640?wx_fmt=png

    如果喜欢我的文章,请微信扫描下方二维码,关注并置顶我的公众号“玉树芝兰”。

    640?wx_fmt=jpeg

    欢迎微信扫码加入我的“知识星球”第二季。第一时间分享我的发现和思考,优先解答你的疑问。

    640?wx_fmt=jpeg

    或者,你也可以使用下面的小程序向我提问。

    640?wx_fmt=png


    cs