数学建模大数据处理方法精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的数学建模大数据处理方法主题范文，仅供参考，欢迎阅读并收藏。

第1篇：数学建模大数据处理方法范文

有这样一种人，他们既具备统计建模的能力，又对某一业务领域的知识十分熟悉；

有这样一种人，他们在数据分析型项目中必不可少……

这就是大数据时代稀缺的数据科学家。

被《哈佛商业评论》喻为21世纪最性感职业的数据科学家背后到底有哪些不为人知的故事呢？

让我们一起走近数据科学家。

有人给予了大数据专家许多美好的称号，比如“数据开采者”、“数据建筑师”等，但其中最时髦的当属“数据科学家”。当记者在互联网上搜索“数据科学家”这个关键词时，看到的都是“21世纪最性感的职业”、“大数据行业最时髦的职业”等溢美之词。埃森哲大中华区技术咨询董事总经理何悠毅（Jouni Hakanen）表示，目前对数据科学家需求极大。

“性感”的数据科学家

记者采访人人游戏高级数据科学家陈弢时，他提到了当年在香港科技大学计算机系读博士的时候曾听教授这样调侃：“只有那些不能严格被算为科学而又想挤进科学的学科，才会在命名的时候加上‘科学’二字作为后缀，比如计算机科学。”如果这样类比，数据科学家就是一群很难算得上是科学家的人。那么事实到底是不是这样呢？

在《大数据研究的科学价值》一文中，中国工程院李国杰院士相信数据界存在普适的共性问题，比如电网数据分析的算法也可应用于供水和交通管理上。李国杰给出的结论是肯定的：数据科学就是关于数据的科学。

“数据科学家”这个新称谓近两年才被叫响。大数据与数据科学家有着千丝万缕的联系，因此容易让人产生一种错觉，数据科学家是大数据时代特有的一类专才。但其实在传统的结构化数据处理过程中，数据科学家的身影就已经出现。记者最近采访了一些中国的大数据企业，其中很多企业并没有设立数据科学家这一职位，但数据分析师、数据工程师等都在做着数据科学家的工作。

《哈佛商业评论》曾指出，数据科学家是21世纪最性感的职业。所谓性感，既说明数据科学家这一新职业颇具诱惑力，但同时也说明大家对此工作的内涵还不了解。陈弢认为，数据科学目前还处在“白盒研究”的阶段，也就是说数据科学家至少在未来5～10年内还需要先协助其他领域的学者解决大数据带来的技术挑战问题，等到知识的积累达到一定程度，才可能在数据界抽象出通用性较强的“黑盒模型”和普适规律。不过在现阶段，数据科学家的工作也是很务实的。LinkedIn首席数据科学家Manu Sharma曾表示，数据科学家的工作主要包括采集数据、整理数据和建立正确的数学模型、测试模型，他们还需要具有一定的编程能力。数据科学家加工处理的数据不仅有助于数据产品的开发，而且可以有助于发现新的商机，推动企业业务的发展。

随着数据量的迅猛增长，今天企业搜集的数据比以往任何时候都要多，不仅在企业内部，在外部的组织网络和更广泛的消费领域亦是如此。企业文化的转变对组织运营产生了巨大影响。

在新数字化企业及其周围的环境里，数据成为了组织的基石。从创新到所有决策，数据推动着企业的发展，并使得各级组织的运营更为高效。可以这样说，数据将成为每个企业获取下一个核心竞争力的要素。

何悠毅认为，数据科学家的核心作用在于发掘数据的最佳商业价值，而并非简单地使大数据项目落地。尽管大数据项目的实施在没有数据科学家的情况下也能够成功地完成，但有鉴于数据科学家将成为大数据项目的工具、系统和输出的最终用户，数据科学家在大数据项目的计划阶段至关重要。

重“实”不重“名”

关于数据科学家的内涵，不同的企业或从业者也有不同的理解。

陈弢认为，数据科学家有广义和狭义两种：从广义的角度说，以数据为处理对象的从业者都可称为数据科学家，比如原来的数据库管理人员、数据库工程师和数据统计分析师都可以被称为数据科学家；从狭义的角度说，只有那些能够利用数据作为资源，推动公司业务增长、创造附加价值的才是真正的数据科学家。

百度大数据首席架构师林仕鼎也认为：如果从广义的角度讲，从事数据处理、加工、分析等工作的数据科学家、数据架构师和数据工程师都可以笼统地称为数据科学家；而从狭义的角度讲，那些具有数据分析能力，精通各类算法，直接处理数据的人员才可以称为数据科学家。

记者采访到的大多数人都认为，数据科学家的工作比较纯粹，就是对数据进行加工和分析，因此数据科学家只要具备数据建模和分析能力即可，不一定要具有编程能力。而品友互动CTO沈学华则表示：“如果数据科学家没有一定的编程能力，很难在我们公司立足。”

记者曾经看到过一幅描述数据科学家基本技能的图，那里面提及的数据科学家应具备的技能达上百种。数据科学家到底应该具备哪些基本素质和技能呢？在Cloud Connect大会上，VMware公司全球高级副总裁范承工接受记者采访时表示，数据科学家通常应具备三种能力：数据分析的能力（数学方面的知识）、计算机方面的能力，以及对某行业的应用深入理解的能力，前两种能力是必需的，而第三种能力是可选的。

“数据科学家是一个新兴职位。在高等教育上不存在这一专门学科。目前，在北美地区有多种针对数据科学家的认证。”中桥调研咨询首席分析师王丛（Kim Wang）告诉记者，“数据科学家不仅要懂IT，能够深入了解数据的构成，进行分析建模，实现分析结果的呈现，而且要遵守数据隐私权的规定，同时还要懂得如何将数据变成商业价值。现有的IT架构很可能成为数据分析的障碍。未来IT可能提供更强大的大数据分析能力。”

谈到数据科学家应具备的能力，何悠毅表示，数据科学家所需的基本技能和能力与其他发挥信息数据最大用途的工作相同，即深度分析的能力、扎实的数据挖掘技能以及对统计分析方法和工具的了解。同时，数据科学家还需引导有价值和有意义的见解，这要求其能够深刻理解行业动态和发展趋势、客户的需求与行为以及企业内部的业务流程等。数据科学家必须掌握所有形式的数据，并不断地利用这些资源推动业务实现创新与突破。

何悠毅特别指出：“最优秀的数据科学家还需具备企业家的心态以及关乎创造力的好奇心。毕竟，最高价值的发现往往源自于对某些非常重大的和创新性的事物的探索，而这些正是其他人不能做到的。”

“数据科学家可以被看作是传统意义上的项目管理者与应用开发者的结合体。他们一方面在涉众管理层面发挥作用，另一方面，在业务应用的开发和数据服务交付方面也能提供指导。”Forrester Research首席分析师及企业架构专家Charlie Dai表示，“其实具体的职务并不重要，真正重要的是以前瞻务实的眼光看待数据管理的架构实践，帮助企业业务务实发展。”

Kaggle总裁兼首席科学家Jeremy Howard认为，一个伟大的数据科学家应具备创新、坚韧、好奇、技术功底深厚这四项素质。如果从字面意思来理解，一方面数据科学家要具有科学家的基本素质，比如客观、诚实、严谨；另一方面，数据科学家主要是用数据说话，应具备数据收集、数据改写、可视化、机器学习、计算机编程等能力，并能使数据驱动决策并主导产品的开发。

其实在企业中，数据科学家并不是孤立的个体，而应该是一个团队。数据科学家之间的交流与协作是必需的，这样才更有利于数据处理工作的开展和数据产品的开发。文思海辉金融事业群商业智能事业部解决方案高级经理马宁认为，一个人难以精通与数据业务相关的方方面面的问题，因此企业应该成立一个数据科学团队，团队中的每个人都可以专注于自身擅长的领域。

最需要动脑筋的人

范承工表示，数据科学家在大数据项目中扮演着非常重要的角色。他将大数据架构分为四层：最下面一层是基础架构，其上是大数据管理层（包括数据库、Hadoop等），再上面是数据分析层（也就是数据科学家的主要工作范围），最上层则是应用场景的实现（即大数据应用的实现）。数据科学家的工作需要业务端的配合，也需要底层基础架构为其提供必要的支撑。数据科学家处于基础架构和业务层之间，必须精通数学模型与算法。范承工认为：“数据科学家是最需要动脑筋的人。”在现有的高等教育体系中，还没有数据科学家产生的土壤，因为他们需要在真实的大数据环境中实践和磨炼。那么，现在企业中的数据科学家是从哪里来的？数据科学家与传统的从事数据处理工作的数据库分析师、数据分析师有何区别呢？

“数据库工程师有很多种，有些人的工作与数据科学家相关。‘数据科学家’虽然是一个新名词，但是从事数据分析工作的人一直存在。过去，数据挖掘主要是在结构化数据的基础上完成的，而现在非结构化数据的重要性更高，将结构化数据和非结构化数据相结合进行处理是必需的。”范承工表示，“虽然数据的结构变了，数据模型改变了，数据处理的要求提高了，但数据科学家的本质和工作的最终目标并没改变，那就是提取智能信息，使企业具有更强的竞争力。”

企业级的数据库工程师，处理的往往是以表结构为主的数据库架构。但在大数据时代，数据科学家面对的是像Hadoop、MapReduce这类的数据分析架构。王丛认为，数据科学家需要承担起数据分析各个环节的不同责任，而数据库工程师或数据分析师只须承担数据科学家部分的责任，而不是全部。

何悠毅分析说，数据科学家更侧重于数据的战略方面，即引导、捕捉、发现创新方式，并利用数据提高商业价值。数据科学家往往与企业密切合作，能够协助实现产品的创新与服务的创新。而数据库工程师则更专注于维护数据库的数据，包括硬件和软件的一些技能。数据分析师则更专注于运营方面，他们可以利用现有的系统、工具和方法，每天对数据进行数据挖掘和统计分析。

马宁认为，在实际工作中，数据科学家与数据分析师的界限其实并不清晰。在某些语境里，数据分析师指仅从事统计建模的人员，他们只负责构建精确的数学模型，不需要掌握业务领域的知识，而数据科学家则需要对数学模型进行业务解释，并利用该模型指导业务流程优化，辅助企业决策。但在某些语境中，数据分析师与数据科学家是指同一类人。

数据科学家阶层正在崛起

McKinsey预测在未来6年，仅美国本土就可能缺少14万～19万具备深入分析数据能力的专业人才，能够通过分析大数据支撑企业做出有效决策的数据管理人员和分析师也有150万人的缺口。从这个角度说，数据科学家是大数据时代最紧缺的人才并不为过。

但是目前还没有专门针对数据科学家的教育。高水平的数据科学家最有可能来自于数据分析领域具有长期经验和过硬本领的人。何悠毅告诉记者：“想要成为一个优秀的数据科学家，就必须对业务有极大的激情，再加上拥有好奇心、可视化的技能和创新的力量。”

中桥调研咨询曾经在2013年7月针对中国市场做过一次调研，结果显示：中国目前实现近实时和实时分析的企业不到5%，远远落后于欧美市场53%的比例；在大数据处理中，中国用户目前还主要局限在结构化数据方面，其大数据工作的主要目标是通过批量分析控制成本，提高资金回流和原材料的周转效率，而尚未进入通过对半结构化和非结构化数据进行分析，捕捉新的市场空间的阶段；中国的大多数企业正在评估如何部署大数据分析系统。

第2篇：数学建模大数据处理方法范文

 

著名未来学家阿尔文托夫勒(1980)^很早就在其经典著作《第三次浪潮》中，将大数据热情地赞誉为“第三次浪潮的华彩乐章”，但是大数据成为高频词是最近一两年的事情。随着社交网络、物联网、云计算的兴起，数据规模越来越大，2011年5月，全球知名咨询公司麦肯锡(MckinseyandCompany)了《大数据：创新、竞争和生产力的下一个前沿领域》2报告，标志着‘‘大数据”时代的到来，指出‘‘数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”。2012年世界经济论坛了《大数据、大影响》3的报告，从金融服务、健康、教育、农业、医疗等多个领域阐述了大数据给世界经济社会发展带来的机会。2012年3月，奥巴马政府《大数据研究和发展倡议》4,投资2.5亿美元，正式启动大数据发展计划，计划在科学研究、环境、生物医学等领域寻求突破。据Gartner公司2012年8月的技术发展生命周期5趋势图(图1),大数据不到两年时间内成为新技术发展的热点。一时间大数据蜂拥袭来，那么什么是

 

大数据?大数据对传统经济学会带来哪些冲击?传统经济学应该如何面对大数据带来的挑战?

 

对于什么是大数据，目前业界并没有公认的说法。Dumbill(2012)6采用IBM公司的观点,认为大数据具有“3V”特点，即规模性(Volume)、多样性(Variety)、实时性(Velocity)。以IDC为代表的业界认为大数据具备“4V”特点，即在3V的基础上增加价值性(Value)。NetApp公司7认为大数据应包括A、B、C三大要素，即分析(Analytic)、带宽(Bandwidth)和内容(Content)。所谓大分析(BigAnalytics),指通过对大数据进行实时分析后带来新的业务模式，帮助用户获得洞见，从而更好地进行客户服务;高带宽(BigBandwidth)指快速有效地消化和处理大数据;大内容(BigContent)—方面指大数据包括结构化、半结构化数据与非机构化数据，另一方面则是指对数据的存储扩展要求极高，能轻松实现数据的恢复、备份、复制与安全管理。Gartner认为，大数据需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力，满足海量、高增长和多样化信息资产的需要。

 

大数据是工业传感器、互联网、移动数码等固定和移动设备产生的结构化数据、半结构化数据与非结构化数据的总和，大数据重在实时的处理与应用，以获得所需要的信息和知识，从而实现商业价值以及为公共管理服务。数据挖掘和人工智能等应用工具在大数据处理中发挥着重要作用，现代信息技术是大数据赖以存在和发展的重要支撑力量。

 

二、大数据给经济学带来的影响

 

Victor(2012)8在其最新著作《大数据时代—生活、工作与思维的大变革》中指出，大数据时代，思维方式要发生3个变革：第_，要分析与事物相关的所有数据，而不是依靠分析少量数据样本;要总体，不要样本。第二，要乐于接受数据的纷繁复杂，而不再追求精确性。第三,不再探求难以捉摸的因果关系，应该更加注重相关关系。杨华磊(2013)9分析了高频数据对传统经济学研究范式的冲击，出现了‘‘非主流经济学就是致力研究异常现象的经济学”，当然高频数据与大数据不是一回事，两者之间存在交集。那么，大数据给经济学带来了哪些影响昵?

 

(一)大数据研究对象变成了总体

 

传统经济学研究中，由于搜集数据的条件所限，人们往往对数据进行抽样，用少量样本来进行研究，这一传统一直延续至今，并且成为经济学研究的主流做法，但是抽样的质量对研究结果影响很大，比如公众对政府统计部门公布的物价指数和基尼系数引发的怀疑。在大数据时代，很多场合下已经无需进行针对样本的研究，直接将总体作为研究对象，从而很大程度上改变了数据来源方式，对数据的处理也产生了深远的影响。

 

(二)大数据不需要基于假设检验的研究

 

传统的经济学研究，往往根据研究内容提出数个假设，然后再采用数学模型基于统计检验来验证假设。但在大数据时代，由于有足够的变量、足够的数据，可以采用人工智能来进行数据挖掘和知识发现，得到的结论是成百上千的，和传统经济学研究需要验证假设的数量永远不是一个数量级。在大数据时代，如果继续采用传统的假设检验方法进行研究，永远是不充分的、不完备的、无法满足需要的。大数据时代重在对数据处理的多样化结果进行分析，可以是基于经济学的，也可以是基于应用的，从而辅助人们决策。

 

此外，由于变量的完备性要求使得传统的基于假设验证的研究有时变得十分尴尬。比如，研究研发投入对企业绩效的影响，需要考虑的不仅仅是研发投入，还要考虑企业资本结构、竞争水平、人员素质、行业特点、管理能力等诸多因素，研究者重点关注的是研发投入的弹性系数，但却得到了其它所有数十个变量的弹性系数，从而使研究重心不容易掌握。

 

(三)大数据使得因果关系变得不太重要

 

传统经济学是一门解释科学，重在对经济现象进行解释，了解他们的因果关系，但在大数据时代，这样做是远远不够的，大数据甚至可以发现事物发展潜在的规律，以供经济学家解释，具有_定的“智能性”，某种程度上超越了经济学研究的因果关系。

 

大数据并没有改变因果关系，但是使传统经济学的因果关系变得不太重要。比如经济学家在预测房价时，无非是根据住房价格变化的影响因素来进行分析，比如经济发展水平、人均收入、土地价格、宏观房产政策、地点等因素。但谷歌预测房价时，根据住房搜索查询量变化进行预测，结果比不动产经济学家的预测更为准确及时。IBM日本公司，通过检索关键词“新订单”“雇员“生产”等来预测采购经理人指数，仅用6小时就得出结果，并且和专业的采购人指数分析师们计算的结果基本一致。大数据并没有改变因果关系，但使因果关系变得意义不大，很多时候因果关系成为‘‘正确的废话”。

 

(四)传统的因果关系有时无法验证

 

弄清事物之间的内在联系和作用机制，一直是传统经济学研究的核心。但有时因果关系是没有办法验证的。比如新产品上市，人们往往倾向于购买新产品，这样对旧产品的需求会下降，那么旧产品价格应该立即回落，这是其一。从另外—个角度，如果大家都认识到这一点，就会贪便宜购买旧产品，短期内会造成旧产品供不应求，反而导致旧产品涨价。究竟是涨是跌，要看这两种因素谁弱谁强，采用传统经济学研究方法是难以验证这两种效应的，只能验证两种效应作用的综合结果。

 

实际情况是，在大数据时代，西雅图Decide.comg公司分析了近400万商品的超过250亿条价格信息，发现新产品上市时，短期内旧产品价格是上涨的，过一段时间才逐步回落。采用大数据，既可以知道多少人购买旧产品，也能知道多少人购买新产品，以及旧产品价格变化的规律。在这种情况下，我们知道所有的因果关系，却难以检验，并且没有意义，知道结果更重要。

 

(五)传统经济学研究具有滞后性

 

传统经济学对于新生事物是不敏感的，必须等事情发生并且成长到_定规模以后才能搜集到足够数据进行相关研究。在大数据时代，可以通过海量数据对经济行为进行分析，一旦有新情况、新动态立即予以关注，从而实现对新生事物的早期干预和分析，因此具有前瞻性。大数据本身就具有智能，可以辅助经济学发现知识。

 

(六)大数据对基于统计检验的计量经济学冲击很大

 

建立在回归和统计检验基础上的计量经济学以其严谨的逻辑成为经济学研究的重要方法论，迄今为止，诺贝尔经济学奖获得者有近半数是计量经济学家，但大数据动摇了这_根基，比如采用普通回归研究自变量X于因变量Y的关系，对于X回归系数采用t检验，_般认为相伴概率小于0.05(特殊情况可以放大到0.1)就说明两变量相关。其实在这种情况下，犯两变量不相关错误的可能性是5%，以CNNIC的《第31次中国互联网络发展状况统计报告》M为例，2012年底我国网民数量达5.64亿人，假设我们研究网民平均受教育年限(X)与上网时长(Y)的关系，5%就是2820万人，此时我们还能漠视这5%的错误吗?同样，如果t检验的相伴概率为0.95,那么很明显说明平均受教育年限与上网时长不相关，但同样会犯错误，即有5%的可能性平均受教育年限(X)与上网时长(Y)是相关的，会涉及2820万网民，这同样是不能忽视的。

 

(七)大数据对经济学建模提出挑战

 

传统的经济学研究，往往采用1个或少数几个数学模型来进行研究，但任何模型都各有长处，也各有其局限，没有包治百病万能的数学模型。比如动态面板容易使投入变量的弹性系数估计变小，空间面板容易出现空间矩阵设置方法不当导致结果偏误，面板变系数模型难以和空间面板结合使用，面板联立方程模型对方程形式的要求极高，面板向量自回归模型难以和空间面板融合等等。在研究同一问题时，可用模型其实较多，有没有最佳模型昵?这恐怕是个无解的问题。实际情况是，迄今为止传统经济学研究得出的结论，至多只能说明采用甲模型的结论，并不具有普适性，换个乙模型结论可能立即就变了，其实研究结论是脆弱的。

 

此外，在研究同一个问题时，即使采用同一模型，由于模型的变量选择、估计的方法、参数设置、滞后期选择等不同，也会导致估计结果相差很大。

 

在大数据时代，借助云计算和分布式处理等现代信息技术，往往可以采用成百上千的模型来进行研究。Google公司在预测2009年美国甲型H1N1流感爆发时间时，把5000万条美国人常用的检索词条和美国疾控中心2003-2008年期间季节性流感传播数据进行比较，希望通过搜索记录判断这些人是否得了流感，先后共采用了4.5亿个不同的数学模型，预测结果和官方数据的一致率高达97%,但比官方节省了两周时间，从而为政府采取相关措施赢得了宝贵的时间。

 

在传统经济学研究中，由于研究对象错综复杂，直接影响与间接影响因素众多，变量的完备性被认为是不可能的事情，往往只能选取少数变量来进行研究，达到一个相对满意的结果。在大数据时代，我们可以获取越来越多的变量，从而使遗失变量的可能性降到最低，这样在研究中由原来的数个变量可能会变成数十个甚至成百上千的变量，在这样的情况下，对原有的建模技术就带来了巨大挑战，对计量经济学的发展将会产生深远影响。

 

(八)大数据给经济学研究工具和手段发生变化

 

传统经济学研究，_个团队、数台电脑、几个软件就能进行像样的研究，很少有运算需要动用大中型服务器的，但在大数据时代，经济学研究发生了巨大的变化，在人员组成上，不光要有经济学家和领域专家，还要有大数据维护专家、大数据建模专家;在计算工具上，需要广泛借助云计算，几台电脑根本解决不了问题;从合作关系上，需要广泛与政府、大数据拥有者、云计算服务商等合作，不然难以进行研究。大数据时代，经济学研究必须依靠跨学科团队，传统的少数几个学者就能进行研究的模式已经难以为继。

 

(九)大数据彻底改变了传统的统计调查方式

 

大数据彻底改变了传统的统计调查方式，比如对于经济指数、物价指数的计算，完全可以采用全新的模式，彻底摒弃传统方式。对于统计学中的异常点，以往的处理方式往往是丢弃，或者是平滑，但在大数据时代，由于样本众多，异常点成为宝贵的资源和研究对象广受重视。传统的统计数据是经过加工后的结构化的数据，在大数据时代，人们更加重视原始数据和非结构化数据，因为如果统计数据已经经过加工，那就变成了二手数据，如果_手数据加工过程出现问题必然导致后续处理出现误差。此外，大数据还使间隔时间较短的高频数据研究成为可能。

 

三、大数据经济学

 

(一)大数据经济学的定义与研究内容

 

考虑到大数据给传统经济学带来的巨大冲击和影响，迫切需要对此进行研究，斯坦福大学的教授、沃尔玛全球电子商务的高级副总裁的共同创立者发明了—个新词，指将计算机科学和信息技术应用于经济学领域，特别指应用于大数据的经济分析的意义相近，翻译成中文后更容易混淆，加上其和(生态)相近，因此并不是一个好的名词。本文提出大数据经济学,给出如下定义：

 

大数据经济学是在经济学研究和应用中采用大数据并且采用大数据思想对传统经济学进行深化的新兴交叉学科。大数据经济学不仅要研究如何建模、管理和应用大数据，而且要深入研究传统经济学如何应对大数据带来的挑战并进行改良，大数据经济学需要经济学家、领域专家和信息技术专家等密切合作，对人文社科与自然科学的跨学科研究提出了更高的要求，并且对整个经济学、社会学、公共管理等将带来革命性变革。大数据经济学的研究内容包括：

 

第一，大数据计量经济学。这是和传统计量经济学对应的一个学科，也是大数据经济学下面的子学科。在大数据背景下，经济学建模与分析方法与传统计量经济学完全不同，迫切需要采用全新的思路和方法进行研究。对信息技术专家们而言，大数据经济学仅仅是算法和建模问题，但是如果没有经济学理论指导，没有经济学家的思维，必然会导致研究方向的迷失。一些大数据领域的学者认为‘‘要相关，不要因果”，这是非常要不得的，传统经济学理论至今仍然到处闪烁着智慧的光芒，对经济现象的深入见解时刻发挥着重要的作用，所以大数据背景下的经济学分析不能主要靠信息技术的建模专家来进行，必须继续依靠大数据计量经济学家。

第3篇：数学建模大数据处理方法范文

关键词：应用统计学专业；实践教学；学科建设

中图分类号：G642.0 文献标志码：A 文章编号：1674-9324（2017）02-0126-02

一、前沿

早在清末，我国就在商科开设了统计课程。到1949年，已有近20所高等院校设立了统计学系。1949年后，受苏联的影响，统计学科逐渐被人为地割裂为“数理统计”和“经济统计”两种统计学。数理统计日益趋向于理论化，而经济统计则越来越指标化、简单化，统计的理论和应用严重分离，极大阻碍了统计学科的发展。

2011年2月，国务院学位委员会通过的新的《学位授予和人才培养学科目录》将统计学升级为理学门类中的一级学科，实现了统计学、数学和经济学的独立。2011年6月，统计学科评议组确定了统计一级学科的5个二级学科：社会经济统计学（经济学）；数理统计学（理学、经济学）；金融统计、风险管理与精算学（经济学）；应用统计学（理学、经济学）；生物卫生统计学（理学，这就为统计学未来的发展提供了广阔的空间和舞台。

如今，统计方法不仅可应用到社会、经济和管理领域，生物、医学、制药、卫生、工程、司法等领域也需要大量统计专业人才。

安徽理工大学2012年申报了应用统计学专业并获批，已于2013年开始招生，这不仅为学校增加了一个一级学科，完善了学校的学科体系，也将不断培养出一批应用统计人才，服务于社会经济。在办学过程中，加强统计实践教学，提高学生的实践操作能力，提高学生的统计分析、计算和数据挖掘等能力，是极为必要的。本文以安徽理工大学应用统计学专业为例，探讨应用统计学专业用于实践教学的配套实验室与实践基地建设、实践教学课程一体化设置，应用统计学专业和统计学学科建设一体化的实践教学体系的建设等问题。

二、学科建设

合理科学的课程内容体系的研究与设计在学科建设中极为重要的。课程体系规划指导学生形成知识框架，侧重于处理基础、时代和前沿的教学内容的关系，以及应用、方法、理论三个方面该关系问题，其核心是如何使课程内容体系适应应用统计学的创新人才培养。

1.应重视加强数学理论知识。现代统计的理论和方法是基于数学建立起来的。在目前信息发展非常迅猛的时代，大量的数据处理和分析影响着各行各业的发展，如果不采用先进的数学工具，得出正确的结论是不可靠的。统计学作为一级学科，课程的设计应该增加数理统计理论和方法的比例。统计学是处理数据，而不是指标的解释的方法。概率统计描述了最简洁和强大的社会活动，提高概率统计教学的比重，是中国统计成熟的主要标志和重要举措。然而，因为社会环境的影响，有很多具有统计学专业的学校已经或削减了大量的数学课程或大大降低数学的难度，有的甚至又回到了过去的旧的社会和经济统计，其统计的发展是极为不利的，会削弱学生的职业发展潜力。

2.注重传授统计学学科体系的基本框架和基本统计理论与方法。学科建设是一门学科培养人才的基础，引导学生的发展方向。目标应该是：为学生构建一个基础、厚统计知识的平台，使学生理解领悟最基本的专业技能和统计思想，熟悉现代统计及决策分析方法，培养学生具有使用统计分析能力解决实际问题的水平。课程应包括运筹学、经济学、多元统计分析、回归分析、统计软件、非参数估计、抽样调查、时间序列分析、测试设计和质量控制等。通过的课程学习的学生将具备基本的数据采集、处理和分析能力。此外，以建立统计模型，分析模型和测试模型是非常重要的，所以我们应该特别注意的数学建模能力的培养。

3.加强计算机技术教育。最近，从事研究统计和统计应用人已经感觉数据的巨大数量的增长的影响的统计问题的规模和复杂性也大大增加。网络和计算机技术将数据处理从剥离的具体业务内容，并升级了。它奠定了高水平的统计应用程序的统一模型和自动化的方法了坚实的基础。可见，要成为一名合格的统计人必须有计算机技术有一定的基本知识。总之，数学，统计方法和计算机技术的基本原理是学生的统计知识结构的基本组成部分。如果你要在金融工作中从事，需要学习经济学和金融统计课程；此外，还必须具备一定的领域知识，如果你想从事卫生统计工作，学习医学统计和管理方面的知识。

三、实验教学体系

1.建设应用统计学专业教学的配套实验室与实践教学基地。为了加强统计专业在实践教学中的应用，安徽理工大学在学校建设了专业实验室，与校外企业合作建成了实践教学基地，为学生实习实践提供良好的实验场所和物质保障。学校申请了教育厅的专项基金用来建设数学建模实验室、数据挖掘与数据处理实验室，给学生提供参加各种比赛的机会和条件，近几年学校在竞赛方面成果显著，多次获得全国数学建模竞赛和研究生数学建模竞赛奖项。另外，结合学校特点，我们与煤矿开采相关专业开展合作，用统计的相关知识来解决实际工程的问题，得到了很好的效果，学生也在此过程中，统计能力得到了显著的提高。

2.建设应用统计学专业的实践教学课程的一体化。安徽理工大学应用统计专业的办学宗旨是培养应用型统计人才，培养的毕业生必须要掌握基础的统计学、应该数学、经济学理论，熟练掌握主流统计软件，善于数据挖掘与分析，会灵活统计方法和统计技术分析和解决经济和社会的实际问题。学生要会使用SPSS、SAS软件和R主流的统计数据为指标，通过统计实践活动课程，培养学生扎实的数据处理、数据分析和统计推断和数据挖掘能力，这个过程中也要强化培训教师必须掌握专业的统计分析软件SPSS、SAS、R等主流统计；最后，学生们用熟练的软件技能，解决课程和实际应用中相应统计的例子，实现理论与实践相结合，既巩固了理论知识，又培养了学生在学习理论知识的前提下，熟练解决实际问题的能力。

3.建设应用统计学专业和统计学学科建设一体化的实践教学体系。安徽理工大学积极鼓励学科交叉与学科融合，以实现学科的整合。应用统计学抓住学校学科建设整改的机会和学校的几个重点建设学科合作研究，实现与煤矿开采、安全工程、地下空间、爆破等专业的学科交叉融合，优势互补的深度，扩大统计在其他领域的研究方向，增强教师的科研能力，同时对交叉学科提供了良好的数据分析和数据挖掘平台。与此同时，安徽理工大学应用统计专业的学生可以使用大量的实验和统计数据的做法的统计专业课程，服务实践的做法，及时更新，紧跟步伐时代和丰富的应用程序数据极大地提高了学生的统计实践的兴趣，特别是一些开放的数据，使学生能够更容易地参与有关教师统计研究这些领域，培养学生的科研能力。

参考文献：

[1]袁卫.机遇与挑战――写在统计学成为一级学科之际[J].统计研究，2012，（11）.

[2]罗亚非，朱远程.经济管理专业”应用统计学”教学的几点思考[J].统计教育，2005，（8）.

[3]莫生红.高校统计学课程教学改革探讨[J].新西部，2009，（2）.

[4]刘宏建，费为银，王传玉.统计学专业应用型人才培养模式的探索与实践[J].中国电力教育：上，2012，（11）.

[5]苟巧玲.《统计学》课程教学中存在的问题与建议[J].统计与咨询，2008，（1）.

[6]薛艳.应用型统计学专业实践教学系统的构建[J].中国电力教育：上，2012，（5）.

[7]闰立梅.统计学专业创新性应用型人才培养模式探索[J].职业时空，2013，（2）.

[8]王麟，苑延华，于海姝，等.应用统计学专业人才实践能力培养[J].价值工程，2013，（3）.

Research on the Discipline Construction and Practice Teaching of the Specialty of Applied Statistics

GENG Xian-ya，XU Feng

（College of Science，Anhui University of Science and Technology，Huainan，Anhui 232001，China）

第4篇：数学建模大数据处理方法范文

[关键词]信息与计算科学；案例；建模；计算；开发

[中图分类号] G420 [文献标识码] A [文章编号] 2095-3437（2016）08-0017-03

一、前言

课程建设是专业建设中的重要组成部分，专业导论课往往在第一学年开设，是学生了解专业、建立专业概念和专业认同的重要课程，对学生的专业学习和发展有着重要的引领和指导作用。[1] [2] [3]

信息与计算科学专业是信息科学、计算科学、运筹与控制、计算机及应用等学科交叉而形成的专业，往往设置为理科专业。多种学科知识的交叉渗透，加上因专业名称的望文生义，使学生容易产生简单的认识――“信息与计算科学专业是数学与计算机结合的专业”。这样笼统的认识可能会导致学生认为该专业“要么学数学，要么学计算机”，至于“怎么结合”搞不清，不重视专业的其他重要方面，甚至连信息与计算科学的专业特点和核心竞争力也模糊不清。

关于信息与计算科学专业课程体系建设的论述已有很多，然而关于该专业大导论课程的研究还不多见。针对上述存在的种种问题，本文认为信息与计算科学专业设置专业导论课程是极为必要的，而且在课程体系中应作为独立的重要一环。因为作为信息与计算科学（信计）专业的导论课程，需要回答的问题多且必要：信计专业培养什么样的人才？什么是信计专业？信计的核心竞争力是什么？如何实现？信息处理、应用开发中有哪些数学知识？信息挖掘、信息安全与算法设计的联系如何？建模能力如何铸就？计算分析能力怎样打造？就业岗位对信计的现实要求有哪些？等等。

信计专业导论课的开设需要对信计专业的发展历史，专业的研究应用进展和前沿有深入、广泛的了解，通过精选教学内容，使教学内容形成体系，以达到解决学生关切问题、培养学生专业思想、建立学生专业认同、激发学生专业学习兴趣的教学目标。教学过程中典型的教学案例对学习兴趣的提高有明显的促进作用，在专业学习中能够激发学生对专业的兴趣，促进学生对专业的理解，特别是有利于学生加深对专业的宏观认识以及对专业的一些具体方向的感性认识。本文将结合教学典型案例深入剖析信息与计算科学专业导论教学中需要解决的问题。

二、信息与计算科学的直观印象

信息与计算科学作为交叉学科，和其他一些专业的易混淆性，使得我们必须首先回答什么是信息与计算科学专业，更为紧要的是在大一阶段应该如何从直观的角度来阐述它。我们知道，随着现代信息计算科学技术的发展，上班考勤甚至上课考勤都有系列的产品可供选择，常见的考勤机为指纹考勤机器――这是一个很典型的利用信息与计算科学知识和方法进行应用开发的产品。在教学中，类似的案例可以体现信息与计算科学专业各学科之间的交叉渗透，为学生提供直观的专业认识印象，具体阐述如下。

1.利用该例阐述科技应用开发中，信息与计算科学专业知识的使用流程和涉及的课程知识。指纹考勤机首先要采集被识别人的指纹信息，并以此作为样本；预处理后把样本信息存储为向量或数据，通过建立样本的特征提取模型，进行特征提取；之后输入建立的识别模型，对待识别的指纹进行计算识别；接下来是针对硬件的编程实现和测试，最后再植入匹配的设备或者网络传入后台系统，完成系统测试，投入使用。由于建立特征提取模型和识别模型的方法很多，快速计算的方法选择有所不同，这涉及信息与计算科学中许多数学基础知识和数学建模方法等。总的来说，考勤机的工作流程可以归纳为5步：（1）信息采集和预处理；（2）特征提取和识别模型；（3）识别、计算分析；（4）编程实现；（5）植入硬件。分别讲述其中各个环节可涉及的专业课程：信息采集和预处理可涉及高等代数、概率统计等课程；特征提取和识别模型可涉及高等代数、数学分析、概率统计、运筹优化、数学建模等课程；识别、计算分析涉及高等代数、数学分析、运筹优化、数值分析等课程；编程实现可涉及程序设计语言、算法设计、软件开发测试，等等。这样结合专业课程知识与应用实例的详细讲解，易于让学生了解信息与计算科学专业知识的应用流程，使学生对信息与计算科学专业知识有直观的认识。

2.利用该例阐述科技应用开发中，信息与计算科学中各个学科的交叉渗透。如前所述，由于一个产品的开发可能涉及的知识点很多，可采取的模型方法也是多种多样，这些知识之间的应用就会有交叉。例如，特征提取、识别模型的建立有可能用到信息处理的数学基础，这时又需要考虑该模型是否能设计出快速的计算方法来满足实际计算速度的要求；识别模型的实现最后需要计算机编程来完成，这又涉及合适的模型、快速的算法和良好的程序设计之间的协调融合。当然，完整的产品设计还需要考虑到采集设备的精度、程序植入等其他学科的知识。这样讲解，学生就会对信息与计算科学知识的交叉有较为宏观的认识。

3.启发学生对信息与计算科学中的相关问题进行思考。

（1）指纹样本信息采集是很微妙的事，如果当采集一个样本的次数太多，超出了很多人的承受范围，比如一个手指的指纹采集超过了三次，这样产品的便利性、应用性和竞争力就值得怀疑了。因为通常情况下，我们很自然的认为事不过三为好。那么，如何以最少的采集次数达到要求的识别效果？这就是值得考虑的问题。

（2）如何提高产品的识别效果（正确识别率），提升产品质量，这除了与团队的专业知识相关以外，还与获取知识的能力有很大关系。例如能不能利用已有的专业知识积累从现有的国内文献中获取最新的技术信息，能不能利用国外的技术文献，等等。这些都是由典型案例所延伸出的值得思考的问题。这些问题有利于开拓思路，使学生对将来的工作和研究研发空间充满期待。

三、信息与计算科学专业的核心竞争力

信息与计算科学是由多个学科专业合并和综合而来的，其重视基础能力，培养能解决实际中信息与科学工程计算应用问题的宽口径专业人才。考虑到专业的名称与计算机、信息工程等专业有相似之处，专业导论课程需要阐明该专业与其他专业，特别是一些计算机科学专业、信息工程专业和数学与应用数学专业之间的区别。因此，信息与计算科学专业课程的核心是什么？专业人才的核心竞争力是什么？这两个问题是无法回避的。针对这些问题，除了上述案例，图像（信息）的压缩处理也是一个很直观的例子。利用图像压缩，可以给学生展示压缩编码技术、压缩的算法、软件开发等，这涉及信息编码、密码学、算法设计能力、应用开发能力等。结合这些案例，我们信息与计算科学专业并不是单纯的涉及数学基础课程、建模能力、算法设计或者计算机科学其中的某一方面，它的核心竞争力在于“数学基础与建模能力、计算分析与算法设计、程序语言与应用开发”这三者的有机融合。单单讲某个方面还不足以称之为专业的核心竞争力。因为专业人才的定位是解决信息与科学工程计算的应用问题，这些实际问题本身与这三方面多有紧密的联系，单强调某一方面或重视某一模块容易和上述一些类似名称的专业混淆。因而，与这三方面相关的数学基础课程有数学分析、高等代数、解析几何、微分方程、概率统计等；与这三方面相关的一些专业课程需要凝聚成为专业的核心课程，如数值分析、离散数学、程序语言、数学建模等。

四、信息处理、应用开发中的数学知识

信息与计算科学专业的大一新生对就读该专业充满了憧憬。他们能发现数学基础的老三样（数分、高代、解几）但看不到信息和计算的影子，看不出专业的特征和特色，这就需要专业导论课程加以引导。选取信息处理和应用开发中的相关案例来阐述数学基础知识在解决这些问题中的重要作用，可以使学生对数学基础知识与实际科学工程问题有直观的印象，这对学生下决心打好基础，投入前期课程学习有着重要的作用。如选择图像处理中的修补算法、游戏开发中愤怒的小鸟的技术含量为讲述案例，则这些应用案例就可结合数学基础知识来阐述。

1.图像处理中的修补算法。图形图像的基本处理分析方法，如傅里叶分析可选择进行更为全面的介绍，介绍其在工程领域、数字信号处理、医学领域的广泛应用。这样来看，大一开始学习的分析类课程作为专业的基础课程确实是名符其实。图像图像处理的修补涉及优化模型和优化算法、算法的复杂性等，而这些基本的模型形式――在一定约束要求的前提下，求目标函数的极小值，容易使学生对开始学的分析课程的导数与极值、矩阵等基本知识联系起来。

2.愤怒的小鸟的技术含量。应用开发形式多种多样，游戏开发是一种有趣生动的开发过程，许多游戏开发又与数学基础知识有紧密联系。因此，选取其中的典型案例进行介绍，容易激发学生的学习兴趣，促进学生对数学知识在应用开发中作用的理解。如该例涉及的物体碰撞检测和连续碰撞检测与向量及运算、旋转矩阵、线性变换等数学基础知识，可以由此进一步介绍物体的移动、壁障和寻路等游戏开发中常见的智能化算法，这些都将和许多基础知识紧密结合。

五、信息挖掘与算法设计

信息与计算科学专业人才应具有处理实际中信息与科学工程计算问题的能力。当前大数据处理涉及的信息挖掘的相关内容，与信计专业有天然的联系，特别是挖掘目标的设置、隐含信息的挖掘模型的建立和使用、模型的求解、算法性能分析等，与信息与计算科学中的计算能力、建模能力、程序设计等核心能力模块要求相连。这方面的热点案例很多，如可选阿里巴巴大数据竞赛、2012年和2015年深圳杯全国大学生数学建模夏令营B题进行展示，其中阿里巴巴大数据竞赛可联系到机器学习算法等。讲述这些典型的热点应用案例，对学生了解专业课程和专业的内涵有重要的指导作用。

综上，通过梳理信息与计算科学专业导论教学中一些需要澄清的问题，根据教学实践，从典型案例的视角对这些问题设置的必要性和解决方式进行了分析和探讨，剖析了这对于促进学生对专业内涵的总体把握、了解专业应用领域、品味专业学习价值的有益作用。

[ 参 考 文 献 ]

[1] 杨晓东，崔亚新，刘贵富.试论高等学校专业导论课的开设[J].黑龙江高教研究，2010（7）：147-149.

[2] 王晓晖.大学专业导论课开设的目标探析[J].高教论坛，2013（12）：69-71.

[3] 王利众，朱丽平.工科专业导论课教学研究――以“通信技术导论与导学”为例[J].黑龙江教育：高教研究与评估，2015（9）：29-30.

[4] 许峰，方贤文，许志才.信息与计算科学专业教学体系的实践与探索[J].高等理科教育，2007（4）：70-73.

[5] 龚日朝.“以特色取胜”建设信息与计算科学专业的新型思路与实践[J].大学数学，2004（3）：12-15.

[6] 苏丽卿，黄民海.对信息与计算科学专业的认识与思考[J].河北师范大学学报（教育科学版），2008（6）：107-109.

[7] 李学勇，王鑫，谭义红.应用型本科院校信息与计算科学专业人才培养模式[J].长沙大学学报，2009（5）：109-111.

[8] 汪富泉.信息与计算科学专业应用型人才培养模式研究与实践[J].大学教育，2013（18）：62-63.

[9] 郑金洲.案例教学：教师专业发展的新途径[J].教育理论与实践，2002（7）：36-41.

第5篇：数学建模大数据处理方法范文

大数据环境对财务分析的对象、方法与工具以及功能等产生了巨大的影响，从而对财务分析人员的知识与能力结构提出了新的挑战和需求。作为培养财务分析人才的主要载体——财务分析教材，必须加以重新构建和创新。大数据环境下的财务分析教材体系首先要强调海量数据收集、整理、处理等工具的运用能力培养，同时，应突破财务会计数据分析的局限性，从财务信息、行业信息和宏观信息方面进行更大、更复杂、更全面分析，构建一个全新视角的财务分析方法体系和内容体系，从而为决策者提供更多宝贵信息，创造更多价值与财富。

关键词：

财务分析；教材体系；大数据环境；方法；内容

根据Gartner(2012)的定义，大数据具有数量大、变化快和多样化的基本特征，是典型的信息资产，其背后隐藏着巨大价值与财富。财务数据是企业最基本、最有决策价值的数据，是大数据的重要构成内容。但大数据时代，财务所面对的数据规模越来越庞大、数据类型越来越复杂，也蕴藏着越来越多的宝贵信息，因此，大数据对传统财务会计理论与实务提出了新的要求，对会计信息质量产生更广泛而深刻的影响，这必然需要培养掌握先进的分析技术和大数据分析工具，能从海量数据中发现机遇，具备高效的沟通和协作能力的数据处理与分析的团队。财务分析教材作为财务数据处理与分析人才培养的主要载体、平台和手段，必然以大数据环境下财务数据分析人才知识和能力需求为导向，对其教学工具、教学内容和教学方式进行变革与调整。关于财务分析教材方面的研究，从文献的数量上来看并不多，而进行大数据环境下财务分析教材的研究文献基本是空白。不过，随着大数据时代的到来，目前，关于大数据下财务分析的讨论越来越多。部分学者对从理论上分析了大数据对财务会计理论的影响，进而指出大数据对财务分析内涵、对象和功能等内容的影响[1]；也有部分学者结合实际指出：大数据的到来给财务分析领域带来了巨大机遇和挑战[2]，财务分析将不再是一个静态的，个态的和封闭的内部“小分析”[3]，而是动态的、系统的、开放的、注重过程分析和非结构数据分析的综合分析[4]；当然，也有个别学者从课程建设的角度进行分析，指出数据时代的到来，高校财务分析课程急需改革，以培养创新型财务分析人才来适应市场需求[5]，等等。本文希望在借鉴前述学者的研究成果基础上，构建适应大数据环境下财务分析人才培养的全新的财务分析教材体系。

一、大数据环境对财务分析的影响

大数据时代的到来，财务分析将发生一个翻天的变革，其将突破静态的，个态的“小分析”范畴，而变成一个动态的、系统的“综合分析”。

（一）对财务分析对象的影响

大数据环境下，财务分析将更注重信息的全面性和针对性，更注重利益相关者的信息需求和信息的决策相关性。针对不同利益相关者信息需求的各种“个性化财务报告”在大数据时代强大的存储功和分析能力下将以较低成本得以产生。[1]同时，强大的分析功能使财务分析对象将打破本公司财务数据的界限，大量涉足非本公司以外的财务数据和其他非财务信息。

（二）对财务分析人员知识和能力的影响

大数据环境下的财务分析人才需要新知识、新能力、新度量和新的思维方式，实现由传统的财务数据分析，向一个大数据环境下的综合思维转变。在知识结构方面，财务分析人士除了需要厚实的财务与会计专业知识外，更需要扎实的数学、统计学和计量经济学等进行数据分析的基础知识作支撑。在能力结构方面，财务分析人士需要具有挖掘大数据价值与消除噪音数据的洞查能力、分析大数据的新技术与新工具的使用能力以及为利益相关者创造数据或提供报告的语言表达能力等。总之，大数据环境下的企业首席财务分析师既是企业首席财务技术师、企业首席财务信息师更是企业首席战略决策的咨询师。

（三）对财务分析方法与工具的影响

大数据时代的到来，财务分析突破了传统的数据基础和计算条件的限制，其分析越来越精益，与之相应的财务分析方法与技术也与时俱进。信息技术、数据库和云计算技术与统计学方法和数学方法相结合在数据存储、处理、挖掘和分析中发挥有效的作用，使得财务分析方法将由传统小样本抽样分析转向全面分析成为可能，为不同利益相关都提供全部和高质量的信息。

（四）对财务分析功能的影响

大数据环境下，分析方法和分析内容的丰富，财务分析更注意寻找事物的相关关系，而不仅仅是事物的因果关系；更注重高质量数据的挖掘和企业价值的提高。因此，大数据时代的财务分析功能不仅仅是传统的预测和控制等，而是更注重利用数据为企业利益相关者提供全方位、高相关性和高准确性的决策信息，发展企业商业价值和战略先机。

二、大数据环境下财务分析教材体系的构建

大数据对财务分析对象、功能和方法等产生了巨大的影响，从而对财务分析人才的能力和知识结构给出了新的要求。财务分析课程是财务分析人才培养的平台，大数据环境下其必须建立在统计学、计量经济学和高等数学等基本工具的先修课程的基础上；而财务分析教材则是财务分析人才培养的直接载体和手段，其教学体系直接决定着财务分析人才的知识和能力结构。（如图1所示）传统的以财务比率分析为工具，以财务报告为对象，以满足股东、债权人和经营者等相关利益者对财务数据需求为目的的教材体系必将进行重新构建和创新，以适应大数据环境下财务分析人才的成长。

（一）第一部分：财务分析绪论

本部分内容应该由以下几部分组成：大数据环境下利益相关者对财务分析的需求、大数据环境下财务分析的目标与定位、大数据环境下财务分析所需要的知识与能力支持体系、方法体系以及大数据环境下财务分析教材的内容体系与框架。

（二）第二部分：财务分析方法体系

大数据环境下，财务分析的方法尤为重要，除了传统的财务比率和比较分析等方法外，更注重利用数学、统计学和计量经济学等知识与计算机软件和硬件平台的结合使用来收集、整理、甄别和处理数据，发现数据潜在的巨大商业价值。就财务分析教材而言，必须强调学生充分利用先修改课程所学的知识，具备从各种渠道获取大数据的能力，处理数据与建模能力，因此，大数据环境下财务分析方法应包括海量数据收集方法、海量数据整理与甄别方法以及海量数据的处理方法。

（三）第三部分：财务分析内容体系

1.财务信息分析。财务会计数据是企业最基本、也是最大和丰富的一种数据，是传统财务分析的主体，也是大数据的重要组成部分，因此，财务分析首先必定是对企业大量的财务数据进行分析，包括财务报表比较分析、各种财务能力（盈利、偿债、营运、发展、创新和综合财务）分析、各种会计活动分析等，让财务数据开口说话，挖掘其价值，为企业经营管理者提供决策相关的信息，同时，也为后面的相关分析奠定基础。[4]

2.企业信息分析。企业信息在一定程度是企业的工具更是企业的商业机遇，企业除了财务数据外，还有大量的非财务数据如客户关系信息、产品与销售信息和部门合作信息，等等，这些数据相当重要，也是企业决策的基础，但零散、单个的数据没有任何价值，只有财务人员利用科学的分析方法，建立适当的分析模型，对数据进行加工，才能挖掘出其隐含的商业价值。

3.行业和宏观信息分析。大数据环境下，数据分析人才的基本能力之一是要通过不同渠道获得相关行业和宏观经济数据，进行中观和宏观分析。行业和宏观数据来源于金融数据库，板块数据库，网络数据库、国研网和各种信息中心等平台的数据，分析人员不仅要利用计量经济学的方法进行定量分析，同时，也要利用一些SWOT、专家经验判断法等非定量方法进行分析，为企业发展所处的行业和宏观环境做出科学合理的判断。

（四）第四部分：大数据环境下财务分析的应用

1.利用大数据进行风险管理。以某企业所处的宏观和行业环境为例，设置相应的指标反映其中观和宏观环境，建议中宏风险预警模型，然后再选择或设置反映企业经营和财务风险的相关指标，建立微观风险预警模型。

2.利用大数据创造价值。以某企业为例，分析其不同经营环节（生产过程、供应链和销售环节等）的相关数据，运用财务分析方法对大数据的战略分析，为企业提供机遇，创造价值。

3.利用大数据进行专业化、实时化的决策。以某家银行数据收集处理和方案决策为例，分析其在大数据环境下的工作效率和决策程度，比较传统的决策方式，阐述大数据环境下利用大数据的专业化和实时化决策。

参考文献：

[1]齐萱，杨静.大数据时代会计信息相关性研究述评[J].财会通讯，2015（28）：62-65.

[2]张红英，王翠森.大数据时代财务分析领域机遇与挑战[J].财会通讯，2016（2）：84-85.

[3]白金荣.大数据时代公司财务分析的发展浅析[J].经营管理者,2015（9）：280.

[4]赵红梅，王卫星.财务分析的理论基础与教材体系创新研究[J].财会通讯，2014（10）：48-51.

第6篇：数学建模大数据处理方法范文

关键词：大数据；统计学；教学改革

伴随着网络信息计算的急速发展，各领域数据以迅雷不及掩耳之势的速度不断更新，同时人们对数据的看法也在不断变化，采取的决策也在不断深化，人们在各个领域做出的决策都在由“以业务为中心”向“以数据为中心”转变。有人说，获取数据的人将获得世界的青睐，因此，对数据的统计与分析能力是当今一项非常重要的技能[1]。

统计学作课程作为各大高校开设的一门必修课，在学生接受的课程教育体系中起着重要的基础作用。同时随着各行各业数据分析的深入，高校统计学课程也必须顺应时展，进行教学改革，力争培养能毕业后与各行业顺利对接、有较强数据分析能力的人才。

一、当前统计学课程教学中存在一系列问题

当前，统计学课程教学中有一些不尽如人意的地方，无论是教学大纲的编制、教学进度的安排还是教学中采用的软件应用性上，都有一些小问题，给教学工作者带来很多困惑。

（一）教学大纲内容多，教学时长却较以往更短

高校一般每学期都会就下一年上统计学课程的该年级学生编制教学大纲，大纲内容全面、综合，涵盖了几乎统计学教材中的全部知识。统计学知识点包括导论、数据的收集、整理、分析、抽验分布、参数估计等。内容多，且覆盖范围广，且要求学生有較好的数学基本功，能快速理解、掌握每个公式和理论背后的含义。同时，为提高学生处理数据的能力，大纲中还要求给与一定数量的实训学时，要学生掌握SPSS，SAS等统计软件。目标很好，希望学生能真正掌握统计学课程的精髓。只是时间太有限，学校分给学生学习统计学课程的时长只有48学时，有一学期甚至压缩到了32学时，课堂教学时明显感觉时间紧，无法详细讲述书中的重要知识点，课堂上老师只能走马观花的讲讲重点，学生听的也是懵懵懂懂，知其然不知其所以然，不能理解定理、公式背后的含义，学习效果没有想象中好[2]。

（二）学生基本功不扎实

统计学课程本质上是采用的数学方法，其理论基础是微积分和概率论基础等数学系课程。对于非统计专业的学生而言，数学课是从小就伴随着他们的噩梦，从小就缺乏学习数学、利用公式解决问题的兴趣。进了大学后，更为枯燥、深奥的符号在他们看来更是一场莫名其妙的游戏，内心不愿参与到这场游戏中，只能形式上听一听，至于老师上课时传授的内容和精髓，则根本不曾记住过。薄弱的数学功底导致了他们在学完微积分、概率论后接触统计学课程时无法理解统计学里的基本知识，甚至大数定律、中心极限定理这些最基本的统计知识他们都无法理解其深意。

（三）学生以考试及格为目标，重理论轻实践

统计学考试方式为理论考试，无上机操作考试。虽然教学大纲中明确要求有一定比例的实训学时，只是由于统计学课程知识点繁多，有些老师为讲完理论知识，不得已压缩学生上机操作的时间。而大部分学生上统计学课的目的是为了及格，也不重视统计软件的操作，导致通常一学期的课结束了，学生还不会使用SPSS软件进行聚类分析。造成了学生处理数据的能力非常差，进入企业工作后一定要接受额外培训才能分析数据，这与企业所需人才严重脱节。

（四）教学方法陈旧，不能采用新型教学手段

现在的统计学课程几乎还是采用满堂灌的填鸭式方法教学，老师在课堂上讲，学生在课堂听，整堂课下来，老师筋疲力尽，学生听得味同嚼蜡，有些地方没跟上老师节奏的，后面便再也不去听了，课堂效率低。如今互联网时代，很多新的教学方法应运而生，如微课+翻转课堂、对分课堂等，且这些方法是行之有效的，可以调动学生学习能动性。而统计学课堂却没有采用这些教学方法。

（五）统计学教材与当今大数据时代脱轨

很多高校给学生上课前选教材时都会选国家级规划教材，希望这些教材能保留统计学的精髓知识的同时，也顺应当今大数据时代的要求，倾向于讲述提高学生数据处理能力。只是老师们在选教材时还是会发现两难全。

统计学教学中有很多亟待提高的地方，基于此，统计学教学改革势在必行。

二、统计学教学改革措施

大数据时代，统计学课程可充分利用时代给予的“数据”红利，充分发挥工具的作用，将统计学中的方法充分与数据结合，使学生能自如运用统计学知识处理数据，并挖掘数据背后的含义。统计学教学改革可侧重以下几个方面：

（一）编制合适的教学大纲，制定相应的教学时长

教学过程中一定要分清重点，主次分明，不能什么都视为很重要的知识点。适当调整授课节奏，重点知识重点讲解，非重点知识可一语带过甚至不讲，编制合理的教学大纲。同时教学中注意尽量减少一味的讲公式、定理，要针对性教学，针对非统计学专业的学生，可尽量减少讲解定理的证明，多讲些现实中定理的应用，可穿插案例教学。讲授过程中慢慢引入统计工具与技术，力争理论与实践相结合，以适应大数据时代分析数据的需要。另外，可制定合适的教学时长，32学时只是入门级教学，可根据学生的专业适当延长学时。

（二）重视上机操作，提高实践操作的重要性

大部分非统计学专业的学生上统计学课是因为必修，为了修学分而上这门课。本着及格即万岁的小算盘，课堂上玩手机睡觉，平时得过且过，考前学习一下老师画的重点题，一学期轻松飘过。为让学生真正掌握统计方法，成为新时代需要的人才，可提高上机操作占学生成绩的比重，增加实训课时，并给学生分配任务，学会用主成分分析处理哪些问题，学会SPSS中的哪些统计方法。每次实训课结束前，要求学生上机演练一遍得出结果方能下课。且上机操作的表现可折合成平时成绩，作为学生总成绩的一部分；或者期末考试前会有一次上机操作考试，分数作为总评成绩的一部分。大数据时代，学生们一定要有使用简单的基础软件对数据处理的能力。而能力的培养，除了学生本身的兴趣外，还要从制定相应的制度强制学生树立自我培养的意识开始。

（三）注重案例分析，注重实用性，鼓励学生参与课题或比赛

统计方法的学习是为了以后更好地应用。为了增加学生学习的能动性，教学中可以通过案例分析的方法，将现实中实际问题和数据作为分析对象，并考虑现实背景，教授学生采用何种统计方法能更好解决问题。这种方法不仅能帮助学生长见识，拓宽视野，更能让学生切实感受到什么叫学以致用，感受到为未来进入职场积淀知识，力争成为大数据时代的综合性人才的重要性。

同时也可鼓励学生申请或参加课题，培养发现现实问题、采用统计方法分析问题和解决问题的综合能力，一个课题从开始申请到顺利结项，绝不单单只靠几个分析方法就能解决的，它是对一个人或团队综合能力的考验，涉及到撰写文案的功底、将现实问题去粗取精后凝练成模型的能力，以及解決问题所采用方法的准确把握的能力等，整个过程需要有计划的进行，方能有条不紊的将课题完成。

目前，很多高校提供了培养学生创新创业能力的比赛，还有全国数学建模比赛等，这些平台和机会都可以帮助学生，他们用自身所学的理论和上机操作知识，紧随新时展，采用先进的数据分析方法，锻炼解决问题的能力。同时这些实践经验反过来正作用于课堂教学，提高学生学习兴趣，使学生更加有侧重点地学习。

（四）采用翻转课堂、对分课堂等新型教学方法

经验告诉我们，满堂灌的授课方式效果真的不是多好，激发学生兴趣，提高学生学习的能动性是关键。大数据时代，可以借助互联网信息技术新方法，利用翻转课堂、对分课堂等新的教学方法，提供平台和教学资源，让学生自主学习，之后可分组讨论所学知识，对于不清楚的可自行搜索或者上课讨论，课后总结，这样线上线下教学的方式，使学生主动掌握学习节奏，增强师生之间的互动性。

（五）选择适合学生的统计学教材

如今市面上的教材数不胜数，如何选择合适的教材让教学工作者颇为头疼。对非统计学专业的学生，可选择应用性强的近三年教材，侧重案例解析和上机操作的，尽量少一些定理、公式的证明，更多的侧重于应用，这样有利于让学生感受到理论知识的实际应用，培养创造性思维。

三、结语

统计学教学改革不是一蹴而就的，需要老师和学生的共同努力。本文基于当前统计学课程教学中普遍存在的问题，探讨了统计学课程教学改革的措施，如授课内容、考核方式等，从而提高教学效果，提高学生处理数据的能力。

参考文献： 

[1]胡云霞.大数据背景下统计学教学改革与创新研究[J].现代商贸工业，2018，29（35）.

[2]章政.大数据背景下经管类专业统计学课程教学改革研究[J].创新创业理论研究与实践，2019（24）. 

第7篇：数学建模大数据处理方法范文

〔关键词〕大数据；情报学；研究方法；非结构化数据

〔中图分类号〕g250.2〔文献标识码〕a〔文章编号〕1008-0821（2013）08-0058-03

大数据（big data），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理，并整理成为帮助企业经营决策更积极目的的资讯。

随着云时代的来临，大数据（big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像mapreduce一样的框架来向数十、数百甚至数千的电脑分配工作[1]。所以大数据时代对于各个学科的要求都提高了很多，对于情报学专业而言，大数据时代同样带来了很多挑战和机遇。

1大数据时代情报学面临的挑战

进入2012年之后，“大数据”一词被越来越多的人所提及，它用来描述信息大爆炸时代产生的海量数据，时至今日“大数据”的研究价值已经可以和黄金相媲美。所谓“大数据”顾名思义，首先是数据量要大，但是并不是数据量大的数据都可以称之为大数据，ibm公司大数据的特点是4个v：volume（大量）、velocity（高速）、variety（多样）及veracity（真实），它提供了在新的和正在出现的数据和内容中洞悉事物的机会，使业务更加灵活，并回答以往没有考虑到的问题[2]。gartner公司的报告也提出，大数据是大容量、高速和多样化的信息资产，它们需要新的处理方式，以提高决策能力、洞察力和流程优化[3]。

在笔者看来，“大数据”还应该加入一个特点就是海量资料之间的关联程度。如果有一批更新速度极快的多样真实的大量数据，将这批数据看作一个整体，每个单独的数据看作是整体的一个组成部分，这些组成部分之间毫不相关，数据彼此很孤立，数据间的关系不清晰很难捉摸，看上去并不像一个整体，相反地更像是一盘散沙。这种零散的海量数据之间的关系断裂，其关联程度很低，也就导致其含金量减少，不能形成所谓的“大数据”。

由此可见，大数据时代的背后其实有更加深刻的理念，同时这些理念也为情报工作者带来了新的挑战。

（1）大数据时代从字面上理解只是进入了一个海量数据时代，而实际上大数据时代更深刻的理念在于它带领我们进入了数据分析时代，数据的分析随着大数据时代进入了一个前所未有的黄金时期，如何从海量数据中获取有用的信息成为情报工作者面临的新挑战。

（2）大数据时代的另一个特点就是其多样性。进入大数据时代之后，数据的种类除了包括一部分结构化的数据以外，还包括很多非结构化的数据，例如文本、音频、视频等很多形式的数据。情报工作者要挖掘的某些规律可能隐含在各种形式的数据中，而同一种形式的数据又有可能含有很多规律，如此一来，大数据时代就要求情报工作人员的统筹兼顾，不能漏过任何一种类型的数据。

（3）大数据时代不仅仅是数据量的巨大，其最主要的特点还有velocity（高速），这一特点就迫使情报工作人员必须打破以往的人工分析的工作模式，计算机智能分析将成为未来大数据时代数据分析的主流技术。

在大数据时代中，要求将情报学和其他各个学科相结合，在其他学科的各个领域内应用情报学的知识对海量的数据进行分析研究，并将各个学科领域内的研究都归为情报学的一个组成部分加以建设，情报学自身的优势何在，劣势何在，如何把握大数据时代这一机会进一步进行学科的完善，是我们应该思考的问题。

2情报学在大数据时代的发展趋势

大数据时代的变革将会引领情报学进入一个崭新的发展阶段，英国莱斯特大学的markphythian教授在2008年发表了题为“intelligence analysis today and tomorrow”的报告中指出[4]：①获知情境是非常重要的。忽略战略环境、领导作风和心

因素等更广泛的问题，都会引起情报研究的失误；②加强信息之间的关联。美国政府内部信息共享的障碍，分析人员无法获得足够的信息，以支持分析活动，导致情报研究预测失败；③要学习更多外部的专业知识。这一举措虽然不能保证分析的成功性，但将是竞争分析的重要信息来源。

在大数据时代背景下，通过对国内外学者和专家的研究成果的研究，笔者认为情报学未来发展的三方面趋势：①情报学将会从原来的单一学科的研究转变为多学科交叉结合研究；②情报学研究中数据的采集和获取范围将会从单一的结构化数据转变为加入更多的非结构化数据；③情报学的分析方法将会从原来的人工分析为主体转变为计算机智能化为主体的智能分析。

2.1单一学科的研究转变为多学科交叉结合研究

情报学是信息大爆炸时代的新兴学科，而面对大数据时代，信息量不但巨大而且更新速度极快，传统的情报学研究方法已经不能满足大数据时代人们对于信息处理的需求，传统的情报学更多的是处理结构化的数据，而大数据时代给我们带来更多非结构化的数据，非结构化数据的处理不是基于数学和逻辑运算，而主要是基于对内容含义的理解和语义分析，包括各种形式的分类、检索、信息抽取和内容匹配等方法。传统数据库技术，例如sql语言在设计之初仅考虑了结构化数据，在海量非结构化数据中已然无用武之地。

未来情报学在发展中应该汲取各个领域的不同学科的方法和优势，开创更多新型的研究方法来应对“大数据”的处理问题，而在非结构化数据的包装下其数据的本源是什么，数据的含义何在，这些问题在以后的情报学研究中就需要涉及到本体论的相关应用来解决。为了顺应大数据时代的需要，面对高速产生的繁杂的海量数据，本体思想无疑是解决内容含义和语义分析最有力的武器。 　此外，对于很多企业的数据资源，情报学这一学科需要研究的除了用户的行为挖掘之外，还要运用很多其他学科的知识进行辅助分析，例如心理学的相关理论已经逐步被引用到情报学领域，并起到辅助数据分析的作用，而情报学反过来在应用其他专业知识的同时也可以为其他专业提供新的思维和引导。如此一来，多学科交叉将会增多，多学科交叉研究将会成为未来情报学以及其他学科为顺应大数据时代的一个发展方向。

2.2情报学研究中数据的采集和获取范围将会从单一的结构化数据转变为加入更多的非结构化数据不同信息源可以从不同角度揭示问题，如专利、研究出版物、技术报告等，可以较为直观地反映研究者对某科技问题的理解与描述，而评论文章、科技新闻、市场调查等，可以反映出社会对该科技的观点、认知情况[5]。

在大数据时代，情报学这一学科需要研究的数据量更大，数据类型更多，很多在别人看来是无用的数据，在情报学看来它们可能是最有价值的资源，情报学在大数据时代更多的要学会“捡垃圾”，在海量资源中获取数据的同时不能忽略任何一个可以找到信息情报的数据，可能某一数据表面看来毫无用处，但是当这个数据和其他数据整合在一起后就有可能是打开整个数据挖掘大门的金钥匙。

虽然情报学的很多研究方法在处理非结构化数据方面不是强项，比如情报学的一些分析方法，在处理图像信息和影音信息方面显得后劲不足，但是在研究中同样不能忽略这些资源，这也对情报工作者技术方面提出了更高的要求，开发新技术，更好的对数据进行分析将是情报学未来面对的难题。而为了得到更优质的研究结果，从单一结构化数据的采集和获取转变为加入更多的非结构化数据将会是情报学研究的必然趋势。

2.3情报学的分析方法将会从原来的人工分析为主体转变为计算机智能化为主体的智能分析正如美国国家科学基金会（nsf）的报告[6]所说，美国在科学和工程领域的领先地位将越来越取决于利用数字化科学数据以及借助复杂的数据挖掘、集成、分析与可视化工具将其转换为信息和知识的能力。

由于非结构化的数据的大量引入，情报学不可避免的将面对一场技术上的革命，而传统的人工分析不仅浪费人力资源，而且根本无法适应高速产生的数据群。开发计算机智能分析技术势在必行，在技术上，计算机智能化分析将会以更快的速度解决不断增长的海量数据，达到节约时间提高效率的作用。从数据类型方面，很多数据并不是传统人工方法可以完成的，例如分析视频和音频，这就需要新技术的支持，未来如果不开发计算

机智能化新技术，将会导致很多视频和音频数据不得不被放弃掉。

计算机智能化新技术可以解放更多的人力去做更有价值的研究，同时也是大数据时代进行高速数据处理，高速数据挖掘的需要。未来情报学中计算机智能分析模型的建立将会对情报工作者提出更多的要求，情报工作者除了有数据分析和挖掘的能力之外，还应该具有数学逻辑思维来辅助计算机智能化模型的建立，传统的人工分析为主体的分析方法，必然会被计算机智能化分析方法所取代，这不仅是大数据时代的要求，也是当今社会发展的必然趋势。

3大数据时代情报学的机遇

狄更斯曾经说过“机会不会上门来找，只有人去找机会。”而大数据时代的来临，无疑是为情报学的学科发展创造了契机。情报学还是一个比较年轻的学科，大数据时代的到来也显示出情报学的“年轻”之处，如何将情报学进行完善，如何让情报学走向成熟，这都将会在大数据时代中找到解决的机遇。

3.1完善学科技术和方法

美国mckinsey global institute在2011年5月了研究报告“大数据：创新、竞争和生产力的下一个前沿领域”[7]。报告分6个部分，其中第二部分讨论了大数据技术，并围绕大数据分析技术、大数据技术和可视化三方面进行了阐述。在大数据分析技术中，列举了26项适用于众多行业的分析技术，包括a/b测试、关联规则学习、分类、聚类分析、众包、数据融合和数据集成、数据挖掘、集成学习、遗传算法、机器学习、自然语言处理、神经网络、网络分析、优化、模式识别、预测建模、回归、情感分析、信号处理、空间分析、统计、监督学习、模拟、时间序列分析、无监督学习和可视化[8]。

大数据时代，无论是数据量还是数据类型，都要求情报学这一学科对于自身的技术和研究方法进行一次变革和完善，以往的技术不能解决的问题，在大数据时代的今天将会得到解决；以往的方法不能研究的问题，在大数据时代也将得到研究，这也是技术和方法的升华。大数据时代的到来，可以为情报学这一学科提供更强有力的数据处理分析工具和方法。

数据分析虽然是情报学的研究内容，但是大数据时代的契机下更多的人才进入这个领域，这样就使数据分析方法汲取百家之长，从各个方面得到了完善和发展。同时情报学在完善技术和方法的同时也将会开创更多的新技术，为将来更多的研究做铺垫，情报学专业将会在大数据时代逐步走向成熟。

3.2情报学将会更加受到重视

很多人曾经认为没有必要设置情报学专业，甚至网络中有人将情报学列入20个无用的专业之一。但是在大数据时代，任何一个行业想在海量数据中进行“淘金”，都需要情报工作人员的介入，事实验证情报学的一些比较成熟的研究方法是其他专业不能比拟的，在情报学对数据挖掘的能力面前，曾经看着无用的垃圾信息将会是揭示某种规律的关键性信息。

情报学专业在大数据时代应该抓住机遇展现自身的优势，顺应潮流发展，让更多的人看到情报学专业的闪光点，进一步对学科建设进行完善，使情报学充分的与数学、经济学、心理学等其他学科结合起来，从而使情报学更为成熟，成为数据挖掘和数据分析中的领头羊。

3.3情报学人才的培养

情报学未来开发新技术，研究新方法无疑是需要更多的人才培养，这就需要更多跨专业人才进入情报学，在招收情报学方面人才时应该更加注重人才在学科中的交叉，不同学科人才的思维方式不同，不同学科人才的专长不同，不同学科人才所了解的研究方法也是多种多样。未来情报学要抓住大数据时代的契机，对各类人才进行吸收，从而使情报技术更为完善，使研究方法更为广泛。同时现有的情报工作者也要注重自身的培养，与时俱进，多涉及一些其他领域的知识，使自身的研究领域得到更好的完善。 　4结论

综上所述，大数据时代为情报学带来了很多难题，也带来了很多技术和方法上的困难，但与此同时，大数据时代也为情报学带来了更多的发展，机遇。本文从大数据时代背景下情报学发展趋势和面对机遇方面出发，为情报学未来发展提出了建议，希望可以为以后的研究者提供些帮助。

参考文献

[1]http：∥baike.baidu.com/view/6954399.htm[eb].2013，（1）.

[2]what is big data[eb/ol].http：∥www-01.ibm.com/software/data/bigdata/，2013-01-16.

[3]big data in little new zealand[

eb/ol].http：∥techday.co.nz/itbrief/news/big-data-in-little-new-zealand/24518/，2013-01-16.

[4]intelligence analysis today and tomorrow[j].securitychallenges，2009，5（1）：67-83.

[5]alan l.porter，scottw.cunninghan.tech mining exploiting new technologies for competitive advantage[m].john wiley & sons，2005.

[6]nsfs cyberinfrastructure vision for 21st century discovery[eb/ol].http：∥nsf.gov/od/oci/civ5.pdf，2013-01-16.

第8篇：数学建模大数据处理方法范文

关键词： 应用型本科院校 概率统计 数学研究

概率统计的理论和方法广泛地应用于工业、国防、国民经济、科学技术，以及人文科学等领域而使其成为最重要和最活跃的应用数学学科之一，是高等院校和高职院校很多专业的一门重要的基础数学课程。它不仅是各专业处理各种信息的一种有力工具，也是许多后续专业课程的基础，而且是全国硕士研究生入学数学考试的一个重要组成部分。它是大学生首次遇到的一门研究不确定现象的科学，处理问题的思想方法与学生已学过的其他数学课程有很大的差异。因此学生在学习过程中需要改变以往数学的思考方式，这也是概率统计一直是学生认为比较困难的课程的主要原因。如何让学生接受这种差异，学会有效地应用概率统计这个有力的数据（信息）处理工具，已是迫切要解决的问题。实质上概率论与数理统计是数学学科中与现实生活联系得最为紧密的一门课程，只要教学方法适当，是很容易把它讲得生动有趣。在此，我根据自己的学习和教学经验，从以下几个方面提出一些建议。

1.将数学史及实际案例融入概率统计课程

任何一门课程，了解它的发展史对于学习和掌握该课程的思想方法都有着深刻的意义。所以，我们在“概率论与数理统计”课程的教学过程中很注意向学生介绍这方面的内容。作为一门年轻的数学分支课程，概率论与数理统计的历史不算久远，但也经历了很多曲折的阶段，才形成了今天相对完整和独立的学科。概率论起源于博弈问题。在教学过程中，我们特别注意这些知识背景的补充介绍，一方面让学生了解前后知识的联系，同时也在无形之中向他们灌输了研究问题的思想方法。对概率统计发展史的了解，不仅丰富了学生的数学史知识，更重要的是了解这些知识使他们能更好地理解课程内容之间的内在联系，学习的时候不再孤立地看待这些知识点，从而对概率统计知识有一个整体的认识。

教师在讲解概率的计算时可引进概率理论起源的一些经典案例，如在讲解数学期望时引用“合理分配赌本问题”案例;同时引用与经济生活贴近的案例，如:库存与收益问题、有关彩票中奖率问题。将实际案例恰当地引入教学不仅可以将理论与实际联系起来，使学生在课堂上就能接触到大量的实际问题，而且对提高学生综合分析和解决实际问题的能力大有帮助。通过案例教学可以促进学生全面看问题，从数量的角度分析事物的变化规律，使概率论与数理统计的思想和方法在现实经济生活中得到更好的应用，发挥其应有的作用。

2.突出抓主线化繁为简的原则

对工科专业的学生，并不需要详细掌握定理的证明和计算过程，在概率统计的教学中只需要求学生掌握概率统计的主要概念、基本定理，以及常用的数理统计的思想和方法即可。应将主要精力放在培养学生运用概率论思想和数理统计方法解决实际问题的能力上。因此课程的教学原则是，抓住主线，即抓主要概念、理论思想和方法，讲清楚最简单、最基本的知识和原理，说明知识拓展延伸的思路和方法，对复杂的定理证明和繁琐的计算过程可不讲或只做简单介绍。如概率统计的精华是分布函数、数字特征、统计特征、统计量，这些一定要讲透。

3.重视数理统计教学

概率统计课程的中心任务是揭示随即现象的统计规律性及内在联系。数理统计是概率统计课程中的重要部分，学生对这部分内容的掌握直接影响解决实际问题的能力。因此如何增强工科学生对数理统计思想方法的理解与应用已成为教学的一个重要的课题。传统的教学中只重视公式的推导、计算能力的训练，忽略了对统计思想的讲授，很多学生学完概率统计课程后只知道照书上公式计算而不知道所以然，更谈不上统计方法的应用了。统计学是讨论不确切推理的科学和艺术，逻辑思维的形式是演绎和归纳，归纳方法作为科学方法的基础，如效能与毁伤的问题，必须抽样；对于教科书中出现的大量的统计计算均可由软件实现，实际工作中需要统计处理的数据也大多由软件完成。因此，如何培养学生用数理统计思想建模，相应地成了现代数理统计教学工作的重点。在授课过程中，若条件允许，则可以适当安排一些统计软件的上机实验帮助学生理解和使用统计软件。

4.适度引入多媒体教学及数据处理软件，促进课堂教学手段多样化

在概率统计教学中，实际题目信息及文字很多，“一支粉笔、一块黑板，以讲授为主”的传统教学方法显然已经跟不上现代化的教学要求，不利于培养学生的综合素质和创新能力。因此，有必要借助于现代化媒体技术和统计软件，制作内容、图形、声音、图像等结合起来的多媒体课件。一方面，采用多媒体教学手段进行辅助教学，能够将教师从很多重复性的劳动中解脱出来，教师可以将更多的精力和时间投入到如何分析和解决问题，以提高课堂效率，与学生有效地进行课堂交流。另一方面，用图形动画和模拟实验等多媒体作为辅助教学手段，便于学生对概念、图形等的理解。如投币试验、高尔顿板钉实验等小动画在不占用太多课堂时间的同时，又增添了课堂的趣味性。又如在利用Mathematica软件演示大数定律和中心极限定理时，就能将抽象的定理转化为形象的直观认识，达到一定的教学效果。在处理概率统计问题中，教师也会面对大量的数据。另外，集数学计算、处理与分析为一身的数据处理软件如:Excel，Matlab，Mathematic，SAS，SPSS等，在计算一些冗长数据时可以简化计算，降低理论难度。而且，在教师的演示过程中，能让学生初步了解如何应用计算机及软件，将所学的知识用于解决生产生活中的实际问题，从而激发他们学习概率知识的热情，提高他们应用计算机解决问题的能力。

以上几点，有些在我的教学过程中已采用，有些还只是我的想法，还有很多不全面的地方有待在今后的教学中不断完善。

参考文献：

［1］徐群芳.（概率论与数理统计）课程教学的探索与实践［J］.大学数学，2010，26（1）:10-13.

［2］沈恒范.概率论与数理统计［M］.北京：高等教育出版社，2003.

第9篇：数学建模大数据处理方法范文

大数据、人工智能是近几年炙手可热的词汇，但是，你是否想过，如果将两者结合起来会产生哪些意想不到的魔力呢？在国内互联网市场独占搜索鳌头的百度公司，正在尝试将两者结合成新的源动力，来推动更多行业的快速发展。

在各种020服务层出不穷、360行裂变为3600行的今天，用户对服务的需求也迅速增长。谁能够更好地满足他们，显然就可以获得市场先机。

百度现在正努力地索引着真实世界。通过对真实世界的索引，把海量数据沉淀下来，成为百度大数据的基础和重要组成部分。百度通过大数据连接3600行，打通线上和线下，把线上和线下的数据融合起来，产生核聚变，进而迸发出新的能量，让大数据成为3600行的商业新能源。

大数据重新定义资产

谷歌执行董事长艾瑞克·施密特曾经说过，现在全球每两天所创造的数据量等于从人类文明至2003年间产生的数据量的总和。互联网用户产生的数据包括语音、图像和视频，同时应用于物联网、智能监控等领域的各种智能设备产生的数据更是漫无边际、浩如烟海。而海量数据的危机并不单纯是数据量的爆炸性增长，它还牵涉到数据类型的改变。原来的数据都可以用二维表结构存储在数据库中，如常用的Excel软件所处理的数据，称之为结构化数据。但现在由于互联网多媒体应用的出现，使诸如图片、声音和视频等非结构化数据占到了很大比重。而产生智慧的大数据，往往是这些非结构化数据，能否在短时间内把数据处理好决定了数据的价值，这就需要新的技术突破，使数据成为最有价值的资产。

数据的采集、处理和应用的过程可以影响新的数据的产生，从而形成反馈。百度的反馈过程是一个正向反馈，使系统更有效率。百度大数据将与行业数据深度融合，最终帮助行业内企业能够实现数据的闭环。

以020为例，通过目前相关的软件和技术，百度可以对每一家门店的顾客信息进行深度挖掘，帮助门店了解用户群体，实施精准营销，实现精细化运营。而通过精细化运营可以让商家获得更多的客流和流水。同时更多的客流和流水形成新的数据，又被百度采集，使正向循环越变越好，越来越高效，这是大数据发挥价值最为关键的地方。

“百度大数据十”是百度面向各行业开发大数据的平台，包括数据融合、洞察用户、智能模型和匹配能力，同时基于数据融合对群体用户进行立体画像描绘，对线上线下用户行为分析，对从“多屏”到“跨屏”的用户进行识别。百度有决策模型、推荐模型和绿色模型，此外，百度还开发了七个服务模块，包括了行业洞察、营销决策、客群分析、舆情监控、店铺分析、推荐引擎以及数据加油站。百度数据已在零售、020、旅游、金融、保险、房地产等方面与商家深入合作，并取得了可喜的成果。

大数据助力零售业

线下零售业面临电商竞争挑战压力非常大。线下零售业如何利用互联网和新的技术赢得新的竞争优势，已成为业界关心的话题。线下零售业竞争最关键的核心是看谁能提供最好的用户综合体验。谁的体验好，谁就能赢得先机。

过去传统零售业与百度合作，是希望通过百度的搜索和“凤巢”推广，把线上的用户导流到线下，使之也变成他们的客户，这是单向导流。而百度大数据可以对用户有更全面、更深入地了解，百度能够更好地了解这些用户的特性，更好地识别用户的需求，从而帮助线下企业为用户提供个性化营销方案或个性化服务。

不久前，百度和北京朝阳大悦城在大数据方面展开了合作。在充分保障用户隐私和安全的前提下，把百度海量的线上数据和朝阳大悦城线下多年积累的数据结合在一起，从而更好地洞悉用户的需求。基于此类大数据，百度和朝阳大悦城制订了一些更有针对性、更精准的推广计划。这种个性化的推广计划在很大程度上提升了朝阳大悦城的销售量，其会员销售额提高了12%，未购买品牌推荐转化率提升了五倍，非活跃会员到场消费率提高了53%。这只是双方合作的第一期，仅是在推广服务方面进行的合作。下一阶段，双方还将通过百度糯米和朝阳大悦城的合作，实现线上和线下服务的打通，将大数据的威力再提高一个层次。

大数据助力互联网金融

互联网金融是现在热门的话题。金融行业希望能够得到互联网公司的大数据，也希望能够得到互联网公司的技术支持。他们希望通过此类结合实现“弯道超车”，能把中国的金融业提高到一个新层次。把线上的海量数据和线下的金融数据结合在一起，这将对基金选股、风险控制、信用评估有很大的帮助。

过去金融行业的分析师在做决策的时候，一般从几十甚至几百个维度来作判断。当有了互联网大数据之后，分析师已能够非常准确地监控上万个纬度的数据。而且不仅根据这上万个纬度的数据来做决策，还能够实时监控数据的变化，对这些变化知其然，且还可知其所以然。

百度和国金证券已在大数据合作方面做了非常有意义的尝试。百度将线上和线下的数据结合在一起，通过对这些海量数据进行复杂计算，挑选出20多个有效的互联网因子，并用这些因子建立数学模型，助力选股和买卖决策。基于上述大数据的合作，国金证券金融产品的年化收益提升了5%一8%，信息比率IR提升了0.6-0.9，最大回撤降低了3%-5%。有了大数据的强大技术支持，分析师在股票与基金的选择上，实现了更大的收益，更好地控制了风险。未来百度将和国金证券进行新的尝试，共同建立一个新的量化基金。希望通过这种创新和尝试，帮助互联网金融企业找到更加可行的发展道路。

除了基金，互联网金融另一个重要领域是保险业。保险公司每降低一个百分点的风险，就意味着比竞争对手有更大的优势。百度已经与新华保险、安盛天平在大数据方面开展了合作。百度利用保险公司多年积累的线下数据，圈定了一大批低赔付人群样本，将这些人群的线上线下数据融合并进行建模，通过人工智能算法，挖掘出这些人的特征。百度在6亿网民中通过海量计算，将具有相同特征的人筛选出来，从而发现更多的低赔付人群，其准确率超过85%。百度希望在这些尝试之后，能够将这些技术进行广泛地推广。

人工智能重新定义效率

最近几年，计算机在语音、图象和自然语音的理解上取得了很大突破。由通过鼠标、键盘与计算机交互的方式，正在向通过与计算机对话、图像识别等方式改变。这些方式都在增加用户与互联网交互的频率，这将大幅度提升人机交流的效率。

人工智能目前的学习能力较弱，推理能力还无法与人脑相提并论。但在此领域，只要给予研发人员足够的时间和数据，即可使人工智能的学习和推理能力超越人类。几年前，计算机战胜国际象棋大师的例子充分说明了这一点。

目前，正是人工智能发展的良好时机。一方面，有海量数据提供模型学习，数据越多特征就越多，模型就能判断更精准；另一方面，深度学习技术也在快速地发展，类似人脑神经一样去分析解释数据的技术已日渐成熟，未来将出现类似人脑的智能。人工智能的应用基础是大数据，用户量越大所产生的数据就越多，模型就愈加优化，人工智能的智能性就越强，将更符合人类的思维习惯。例如用户在使用搜索引擎若无法获得所希望的信息时，就需自己想办法换一种搜索方法。但是通过人工智能技术，机器人已经能够记住用户上一次与机器人对话的内容，并且能够理解用户的意图，随后根据用户的提问进行交互。百度的“度秘”就是通过大数据和人工智能理解人的语言，实现多轮交互。

深度学习与大数据结合

深度学习有多层次的结构，能够从众多数据中将所需要的信息充分挖掘出来，正是深度学习与大数据的结合形成了此次人工智能潮浪的巨大推动力。

百度投入巨大的资源用于百度大脑的PADDLE深度学习平台的开发，其可以支持百度各类海量数据并能够灵活地推出各种不同的深度学习模型的结构，在网页搜索、广告排序、数据中心管理、百度杀毒等方面已得到了广泛应用。

在百度看来，机器的感知能力正在超越人类水平。在语音方面，人的识别错误率是8%，而百度能将机器的识别错误率控制在6%以内；在人脸识别方面，百度的错误率只有0.23%，低于人类识别的错误率。

无论是人脸识别还是图像文字识别技术，百度都通过APIStore开放出来。百度端到端的机器翻译能力使得百度对机器翻译质量有了极大地提升。端到端的学习模式抛弃了人为的硬性分解和人为的特征构造，通过一个完整的模型直接进行学习。这样的模式已应用于语音识别、图像识别、机器翻译中并已取得成功。百度提出将传统人工智能中不同的分支，例如图像识别、语言理解和语言生成等紧密结合在一起，形成统一的神经元网络，让机器人像儿童学习知识一样，方便用户在未来可像教儿童学习一样地教机器人。

人工智能正在形成良性循环，更多的数据、更好的产品、更强的智能正在构建组合成一个闭环，伴随人工智能使用者不断地增多，机器将变得越来越聪明。

目前人工智还存在很多问题，主要包括：缺少小数据的学习能力，即通过少量关键数据来实现深度学习；不能通过自主探索环境来学习；缺少通过与人交流进行学习的能力。

深度学习在语音合成中的技术创新

百度在智能语音技术上的成果是LSTM声学模型，LSTM即长短时记忆网络模型也就是模拟人脑。该算法优势明显，其一是长时间的轨迹记忆和瞬态记忆的统一；其二是模拟人脑选择性遗忘；其三是更精准的轨迹建模。百度的技术创新就是混合多层结构来解决海量数据训练的效率和稳定性问题。

每个人的说话方式各有不同，所带来的问题就是某些语句识别率不高，传统技术很难解决这个问题。百度为此推出了声学模型自适模式，为每个人推出个性化模型，将识别错误率下降到10%-15%。

百度语音开放平台可为智能手机提供语音拍照，驾驶助手，语音助手等功能；为电视厂商提供语音搜索和语音指令功能；提供领先的车载解决方案，优化车机设备的抗噪性能；为智能设备厂商提供语音技术支持；为智能手表提供语音输入和语音搜索功能。