当前位置 博文首页 > 利用python爬取有道词典的方法

    利用python爬取有道词典的方法

    作者:孤胤 时间:2021-01-30 21:07

    前言

    大家好

    ​ 最近python爬虫有点火啊,啥python爬取马保国视频……我也来凑个热闹,今天我们来试着做个翻译软件……不是不是,说错了,今天我们来试着提交翻译内容并爬取翻译结果

    主要内容

     材料

    1.Python 3.8.4

    2.电脑一台(应该不至于有”穷苦人家“连一台电脑都没有吧)

    3.Google浏览器(其他的也行,但我是用的Google)

    写程序前准备

    打开Google浏览器,找的有道词典的翻译网页(http://fanyi.youdao.com/)

    打开后摁F12打开开发者模式,找Network选项卡,点击Network选项卡,然后刷新一下网页

    然后翻译一段文字,随便啥都行(我用的程序员的传统:hello world),然后点击翻译

    在选项卡中找到以translate开头的post文件

    箭头的地方才是真正的提交地址

    记住他,写代码时要用

    在这里插入图片描述

    这个是提交电脑的基本信息,记住他,等会儿要用,等会儿伪装成电脑时可以用,因为电脑会有基本信息,而如果是python的话会显示成python3.8.4(因为我的版本是3.8.4),从而容易被服务器禁入

    在这里插入图片描述

    等会儿还要用

    好,准备工作做完了,接下来开始干正事了

    开始编写爬虫代码

    下面是我写的代码,具体我就不细说了

    #导入urllib库
    import urllib.request
    import urllib.parse
    import json
    
    while True: #无限循环
     content = input("请输入您要翻译的内容(输入 !!! 退出程序): ")
     #设置退出条件
     if content == '!!!':
      break
    
     url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule' #选择要爬取的网页,上面找过了
     #加上一个帽子,减少被发现的概率(下面head列表的内容就是上面找的)
     head = {}
     head['User - Agent'] = '请替换'
    
     #伪装计算机提交翻译申请(下面的内容也在在上面有过,最好根据自己的进行修改)
     data = {}
     data['type'] = 'AUTO'
     data['i'] = content
     data['doctype'] = 'json'
     data['version'] = '2.1'
     data['keyfrom:'] = 'fanyi.web'
     data['ue'] = 'UTF-8'
     data['typoResult'] = 'true'
     data = urllib.parse.urlencode(data).encode('utf-8')
    
     response = urllib.request.urlopen(url, data)
     #解码
     html = response.read().decode('utf-8')
    
     paper = json.loads(html)
    
     #打印翻译结果
     print("翻译结果: %s" % (paper['translateResult'][0][0]['tgt']))

    运行结果

    在这里插入图片描述

    js
    下一篇:没有了