当前位置 博文首页 > 高远的博客:Csdn开源爬虫项目

    高远的博客:Csdn开源爬虫项目

    作者:[db:作者] 时间:2021-09-06 22:40

    简介

    • 本项目基于WebMagic爬虫框架,灵活运用爬虫技术实现对CSDN信息的爬取,在移动端进行数据的展示,服务于广大开发人员。
    • 本项目包括三大模块

      • 爬虫模块(CsdnSpider)
      • 服务器接口模块(CsdnService)
      • 客户端模块(CsdnAndroid、CsdnIos)
    • 爬虫模块主要负责CSDN各种信息的爬取、更新、过滤;定时任务的执行等。服务器接口模块主要负责为客户端提供所需各种API数据接口、模拟登陆、分词等。客户端模块主要负责数据的展示等。

    说明

    • 本项目提供所需要的图标资源
    • 本项目提供接口文档
    • 本项目目前提供最新版Android CSDN+.apk下载
    • UI设计需要完善,如果想要完善UI设计可以联系
    • 提供测试接口:139.199.19.59(将接口文档中的localhost替换即可,不保证一直可用)

    爬虫模块

    已开发,暂不提供

    服务器接口模块

    https://github.com/scsfwgy/CsdnService

    Android端

    https://github.com/scsfwgy/CsdnAndroid

    Ios端

    待开发,欢迎加入

    支持

    • 所有赞赏都将用于测试服务器和正式服务器的购买

    这里写图片描述

    这里写图片描述

    声明

    • 本项目仅用于学习交流使用,禁止进行商业目的的开发、发布、运营等。数据所有权归http://www.csdn.net/所有。
    cs
    下一篇:没有了