爬虫技术的就业信息管理平台设计

前言：想要写出一篇引人入胜的文章？我们特意为您整理了爬虫技术的就业信息管理平台设计范文，希望能给你带来灵感和参考，敬请阅读。

1平台功能及架构

1.1平台功能

按照不同用户和流程的需求，该平台需要具备多种功能，具体包括基础信息管理、撰写简历的功能、基础参数设置、招聘方管理、权限管理、互联网招聘和求职等等。

1.2平台功能架构

校方、企业等有关方面的联系是通过该信息平台联系起来的，因此，信息即时传输、共享以及分类是其应具备的基本功能，以不同方面的实际需求作为切入点，对求职、推荐符合需求的人才等功能需求予以充分满足，按照使用群体，可以更进一步的划分该平台。对招聘需求予以充分满足，是该平台企业子系统的主要作用，其涵盖的功能有注册、信息、在线招聘（审核人员是否满足相关要求、在线笔试和面试）、反馈聘用结果等。对求职要求予以满足是学生子系统的主要作用，相对于企业子系统其具有更加丰富的功能，具体有维护个人信息、撰写和修改求职简历、登记求职信息等。求职意向是其中比较重要的功能，学生对于工作行业、职务、薪酬等方面的要求均通过该功能进行设置，除此之外，该功能还可以充分融合学生具有的工作和学习经历，并以此为基础生成相应的特征参数；该子系统众多功能中最关键的就是职位推荐，其在相应特征参数的基础上展开推荐算法，相似度计算的数据来自于招聘信息，在向特定学生推荐职位时是以位于该计算所得结果为依据的，如此，就业推荐等工作的精准性可以得到可靠保证。对于就业招聘的各个相关方面而言，其联系是通过学校实现的，基于此，审核企业等方面的资质是该子系统必须具备的功能，同时可以提供合理的就业指导等，及时传达和正确解释国家有关部门下发的通知等，调查就业状况、统计和分析就业局势、管理相关信息的功能等。在上述众多功能中最核心的就是数据管理，招聘职位的数据量会直接影响到就业成功率，招聘数据的来源主要包括两方面，其一是注册企业；其二，则是智联招聘等既有的比较具有代表性的人才招聘平台，校方会定期从中对招聘信息进行挖掘，通过筛选和整理相关数据可以促使相应的大数据得以形成。

2平台的关键信息及技术

2.1学生求职意向特征模型的设计

本研究创建的平台模型也是由多个不同维度构成的，为了给预测和挖掘数据创造有利条件，本文对不同维度在取值上进行了严格的规范，不同维度的意义和对应取值为：构成特征模型的维度共计8项，具体涵盖了受教育程度、经验等。不同维度的意义和取值是：受教育程度：该维度被划分为7个不同等级，具体按照学历由高到低排列，博士位居首位，而初中或无要求则位居第七。工作经验：n。n的值表示工作经验年限；对此没有特殊要求的表示为0，反之，则规定具体的n值。期望单位性质:1事业；2国企；3民营；4上市；5外资。期望工作地点:省/市;省;直辖市;直辖市/区，如果只是写上了省或直辖市，那么则可以直接等同于这一整个省的人群渴望从事这一项行业:相关行业的各项操作也必须要予以规范化处理。期望岗位:根据国家相关职位的分类标准来进行详细划分，并做出妥善化处置。期望月薪:这里主要是用n来予以表示，[n-500,n+500，不管在什么时候，其的浮动空间都在500元左右，一切都是由系统直接进行设置。期望福利:这里主要囊括了“五险一金、周末双休……”等在内的多种表达类型。

2.2基于特征标识的爬虫技术的职位信息抓取

当开始对于“行业”这一层次进行划分，某服务平台还是会将其直接划分成为11个一级大类，而在另外一个平台当中则会与前者保持着一定的差异，其包含的是13个一级大类，甚至于在一些特殊情况之下，还会将招聘岗位的名称、招聘人数等全部都包含其中。事实上，将上述要素刨除之外，我们还应该要充分的了解到企业人力资源对求职者的反馈时间等，只有如此，企业的效率才会真正展现出来。基于此，对于某一种服务平台，我们除了需要对其平台内容进行了解外，还必须要充分的了解到职位信息页面的相关源代码，做出妥善化判断。并通过Python语言来编写出一系列完善的爬虫程序，相关数据也会被清晰的记录到位。

2.3基于大数据技术的数据职位信息的清洗与归整

举例而言，在“工作经验”方面主要有以下几类措辞，具体如下：“5-7年经验、1年经验”等，具体的描写还是由社会企业而定。在“招聘人数”方面主要有以下几类措辞，具体如下：“招2人、招若干人”等;。所以，想要了解这一系列爬取的原生数据，就必须要对其进行透彻化的分析与处理，每一项数据都需要被定时的清洗并全部都归整到一起，文本信息数值也会达到最大化状态。这一平台还是会基于数据来做出约定处理，相关“工作经验”也会直接被规整为“n或n-m”，“招聘人数”的数据也会被直接确定为整数。

2.4基于用户需求特征的职位推荐算法

在进行职位推荐的时候，我们都应该要充分的了解到每一位学生的个性求职需求，结合当下的实际情况来将这一招聘岗位的特点全部都揭示出来，学生也能够从中了解到适合自己的职位。现如今，在运用推荐算法的时候，我们还是应该要充分地将人口统计学的推荐、基于内容的推荐等三种方式充分的利用起来，在具体的情况之下来做出最优的选择。之所以会选择人口统计学的推荐方式，主要还是因为为了能够充分的了解到学生的求职期望，只有如此，个体与其它学生的相似度也能够全部都揭示出来，一些与学生相似度较高的职位也会被推荐出来，然而在这种情况之下，这一算法仅仅只是了解了当下学生求职期望的相似度，但是却没有充分的考虑到学生与职位的匹配程度。关于内容的推荐这一方式，其实与人口统计学的推荐存在极大的类似情况，究其核心，还是需要考虑到内容数据的实际建模情况，在这种情况之下，学生在了解了一系列招聘职位的相似度之后，还会直接影响到算法的实际精度。基于当前的这一协同过滤推荐算法，其发展核心还是需要根据用户交互行为的实际化数据来推进建模工作的完成，更加具体而言，其主要囊括了用户的推荐(User-basedRecommendationUF)、项目的推荐(Item-basedRecommendationOF)等三种方式，每一项都必须要予以切实的了解。事实上，基于用户的推荐与基于人口统计学的推荐方式本身就存在极大的类似性，在一定程度之上，我们必须要清楚的了解到每一位学生对招聘职位历史的偏好数据，并将“k邻近”算法予以充分的利用，这能够很好的完成用户的实际化相似度，学生们必须要充分的了解招聘职位的历史偏好数据，并对其做出准确化的分析，运用“k邻近”的这一种算法能够很好的将招聘职位的相似度计算出来，并构建起一个完善的推荐模型。

3爬虫技术实现

在了解了当前这一类典型人才招聘服务平台所的招聘职位数据情况之后，我们必须要承认一点，只有依靠爬虫程序才能够确保整个平台的运行更加深入、持续，在完成了一系列的初步清洗工作之后，其已经获得了87000条数据。在进行数据整理的时候，其还是应该要针对于单位性质、学历等多个部分予以切实的调整，从而将其做出归纳与升级。

4结束语

本文主要是基于当前就业管理工作目标的实际情况，在充分的完成了一系列就业指导、管理等工作之后，我们能够更好地满足每一个学生的工作需求，针对于目前就业工作当中所存在的招聘职位数量和质量需求难的这一问题予以详细化分析，并采取专业化的措施来将其解决。基于学生自身的工作需求，在了解了人口统计学之后，采用合适的算法为学生推荐个性化工作，促进学生能够顺利就业。大量实践的结果可以证明，这一系统能够很好的让学生实现就业，找寻到自身心仪的工作，企业也能够更好的选择优秀的人才，学校的就业工作质量也明显提升，因此，可以进一步推广。

参考文献

[1]林佳一.基于Web服务的高校就业信息服务平台研究[J].计算机时代,2015(05).

[2]李晖,牛犇,李维皓.移动互联网服务的隐私保护机制[J].中兴通讯技术,2015(03).

[3]李广杰.高职院校导向型学籍管理网络平台的设计[J].信息与电脑(论版),2015(08).

[4]田建勇.基于云计算的Web数据挖掘研究[J].信息安全与术,2015(04).

作者：曹素娥 单位：山西大同大学计算机与网络工程学院