社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

数据分析:中国高校更名历史 Pythonhttp://www.wmzy.com/api/rank/schList

数据挖掘入门与实战 • 9 年前 • 1330 次点击  



数据挖掘入门与实战  公众号: datadw



上周领了新任务,做国内高校改名历史的统计,这个挺有意思,以下是我任务完成过程,和大家分享。


一. 数据收集

  数据需求:目前已有高校校名,各高校改名历史记录

  高校校名数据来源:尝试从高校排名网站(iPIN)http://www.wmzy.com/api/rank/schList ,中国教育和科研计算机网 http://gkcx.eol.cn/等抓取,但高校名不全,前者709,后者1394,最后从教育部找到一份名单:“2015年全国高等学校名单”,http://www.moe.gov.cn/srcsite/A03/moe_634/201505/t20150521_189479.html


基于教育部的信息比较权威可靠,本人想法是抓取教育部发布的教发函来收集高校改名信息。


  高校改名数据来源:教育部信息综合搜索,

http://www.moe.gov.cn/jyb_xxgk/moe_xxgk/xxgk_left/nfo_search/


鉴于教育部发布的信息众多,且教发函格式不一,本人分成几个类别抓取:合并,更名,建立,在xx基础上建立,转设。然后根据搜索跳转的URL,抓取不同类别,大概情况如图:


  

从截图可以观察到跳转的URL,所以更换掉关键词部分,重新查询便能获得新的结果,再根据页数跳转抓取所有有关通知。具体实现细节比较繁琐,有兴趣同学可以看源代码:

在datadw 公众号里回复:高校 获取。


最后数据结果如下:


  1. 高校校名:普通高等学校2553所

  2. 更名历史:教育部1995-2015发布的教发函,约665份,教育部公示1990-2006年5月高校合并情况,431条记录。


二. 数据分析

  接下来就是对数据进行清洗,规则处理的过程,虽然没用到什么算法,但满满都是泪啊~~基本大家都能看懂。大概流程如下:


 

三. 分析结果

  标记结果:原文件学校2554个,增加至2690个,总共标记828个学校。很多专科学校也添加进去了~基本上完成任务。估计做成列表也是挺壮观的,下面是部分结果:



  

数据挖掘入门与实战

搜索添加微信公众号:datadw


教你机器学习,教你数据挖掘


长按图片,识别二维码,点关注



  公众号: weic2c   
据分析入门与实战

长按图片,识别二维码,点关注




今天看啥 - 高品质阅读平台
本文地址:http://www.jintiankansha.me/weixin/ZWktGsUFhe
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/1979