数字化管理博士研讨会:处理大数据集时面临的5个挑战-英国剑桥大学博士后-牛津博士后 
最新报名:
商学院banner图

Business School

商学院

博士招生扫一扫

手机:13521943680   
电话:010-62904558

数字化管理博士研讨会:处理大数据集时面临的5个挑战
发布时间:2023-05-20 22:43:50


大数据给每个科学学科的研究方式带来了前所未有的变化。研究人员的工具仅限于其领域的特殊性,而大数据现在正日益成为跨学科的通用工具。大数据集的可用性以及存储和共享大量数据的能力为研究人员开辟了几条科学探索的途径。
作为研究工作的基础,数据对研究人员来说非常有价值。因此,数据洪流被大多数研究人员视为福音,特别是那些在遗传学,天文学和粒子物理学领域工作的研究人员。虽然大数据现在被认为是一种无与伦比的科学范式,但统计学家建议研究人员警惕大数据,因为大数据的本质是多维的,并且不断变化。研究人员已经接受了大数据,但随着它提供的机会,它也带来了复杂性。院士在处理大数据时面临的一些主要挑战是:


1.有效管理数据很困难
存储大量数据会给得不到机构支持的研究人员带来基础设施和经济问题。除此之外,管理和共享大型数据集也很复杂,因为数据的隐私、安全性和完整性可能会导致涉及国际合作的利益冲突。因此,需要一种可持续的经济模式,以克服基础设施挑战,并使数据驱动的研究过程更加顺畅。


2.数据收集优先于研究设计
尽管数据对任何研究都至关重要,但有时,收集数据的重要性高于精心设计的研究。一些研究人员倾向于误解,认为更多的数据与更好的研究直接相关。收集大量数据时,不是关注收集数据的方式和收集数据的目的,而是假设这将加强研究。这方面的一个例子是英国的一项研究,该研究涉及20,000名儿童,以评估巴氏杀菌牛奶的益处。研究设计和试验规模受到统计学家威廉•戈塞特(William Gosset)的批评。他说,由于随机化不足,只有6对双胞胎的研究会更可靠。


3.大数据的分析需要特殊的工具
使用常规的数据分析工具无法分析大量数据。标准软件技术通常用于分析小型数据集。然而,大数据包含的数据量如此之大,以至于传统工具可能需要大量时间来分析它,或者无法处理它。因此,需要特殊的工具将数据连接到模型,从而实现对数据的准确评估。这方面的一个例子是微软的算法FaST-LMM(因子光谱变换线性混合模型)。


4.数据洪流会使数据解释具有挑战性
大数据包含来自各种来源的数据,使其具有多方面性和难以解释性。例如,包含世界人口信息的数据集将包括基于不同地理位置、生活方式等的数据。并且可以使用不同的技术收集它。研究人员可能无法考虑数据的各个方面,导致错误的结论。因此,有必要制定可靠的数据解释程序,以克服统计偏差。


5.在数据中寻找模式的倾向是危险的
由于大数据很大,研究人员需要将有用的数据与数据集分开。然而,在大多数情况下,人们倾向于寻找模式,而不是消除不需要的数据,直到数据中的一些证据支持预先设想的想法。在进行研究时,这是一个危险的陷阱。
不可否认,数据是一种宝贵的资产——2012年世界经济论坛宣布数据为新型经济资产证实了这一事实——大数据在科学进步中发挥着开创性的作用。然而,处理大量数据的缺点表明,大数据可能并不总是能带来好数据。因此,研究人员需要平衡数据与主题专业知识和科学推理,以实现大数据的最佳潜力。

 

上一篇:暂无
下一篇:蒙彼利埃大学博士校友张晓燕分享行业

网站申明:以上课程知识产权归属办学方 清大紫荆管理博士课程教育中心网仅提供课程信息展示,而非商业行为
在职工商管理博士研究生网仅提供技术支持 http://www.pxemba.com/ 粤ICP备17004821号
Copyrights © 2007-2023 PXEMBA.COM Inc. All rights reserved  版权声明