CTI论坛(ctiforum.com)（编译/老秦）:实际上，每个企业都有大量的“黑暗数据”，以Weblog、机器日志和从石油钻塔、涡轮引擎到医院病人的各种传感器的日志等形式存在着。问题是：你是否有计划从你的黑暗数据中创造商业价值？
　　这是数据驱动的数字转型时代。你的企业正在寻找方法与客户进行更密切的接触，改进决策，提高生产效率，或者提供更好的客户体验。你可能有大量的需要在内部处理的数据。

　　我们将“黑暗数据”定义为大型的、通常是非结构化的数据集，这些数据集来自于内部和外部资源，而这些数据目前并没有用于创建提供业务价值的洞察力。可以利用黑暗数据来检测客户购买、金融交易欺诈、供应链问题、卫生保健行业适用模型、产品生命周期问题等关键模式。

　　挑战在于能够访问和使用数据来传递有用的见解，从而驱动业务价值。黑暗数据本质上是巨大的，非结构化的，难以理解的。

　　不仅仅是数据量，数据复杂性是一个更大的问题。这些黑暗数据大多没有结构，也没有一个未知的结构，这使得要从中获取有用的商业见解变得更加的困难。

　　利用这些极其庞大的数据集将推动生产力和创新的新浪潮。根据MGI和麦肯锡的商业技术办公室的研究，企业将利用数据以多种方式创造价值：

　　有了所有的数据承诺，就有不利的一面。这些数据类型的特征不仅仅是数据量大，还包括它们的速率、多样性和可变性。“数据漂移”通常用于描述这些新数据类型中数据的波动，这些数据对试图收集和理解新数据的企业构成了严重的挑战。在2016年进行的一项调查中，25%的受访者表示，他们放弃了从数据中获得分析性见解的努力，因为他们无法衡量收集到的数据。每个人面临的问题是，当数据“漂移”时，可能导致数据集成中断，并突然关闭业务流程。

　　不仅现有的数据管理架构不适合处理这些文件，许多企业都缺少必要的分析和管理才能来驱动所有这些数据的价值。麦肯锡表示，仅美国就面临缺乏深度分析技能人才的问题。

　　简单地说，让你的数据变得更有意义，更不要说把它转换成可以让你基于数据做出更好决策的工具，这是一项不可能完成的任务。在数字方面，世界上仅有不到0.5%的数据实际上正在被分析利用。企业数据丰富，但信息贫乏。

　　机器学习有望给市场带来新产品，比如自动驾驶汽车，而且已经提供了一个复杂的关于人类基因组的数据收集，这些数据被用来提供高度个性化的医疗保健。

　　自上世纪90年代末以来，企业一直在使用人工智能工具来分析信息。几十年来，大型信用卡处理器一直在使用人工智能检测和防止欺诈。商业情报公司利用算法为企业主提供报告、仪表盘和其他数据的可视化显示。

　　然而，这些任务只能通过已经被识别、清洗、准备和清洁的数据来实现--换句话说，是那些已经被发现并被带进了光明的数据。

　　机器学习能被用来阐明黑暗数据吗？机器拥有处理海量数据的处理能力，利用数学和其他工具将数据转化为有意义的信息，为什么不呢？

　　虽然听起来很简单，但这一领域仍处于起步阶段。企业正在努力适应他们的数据管理架构来掌控容量和速率。

　　我们的目标是提供可信的相关信息，并及时提供数据，以推动你的企业变革。因此，拥有一个智能的数据发现工具，可以帮助查找数据并了解整个企业中的数据分布和扩散，这是解决黑暗数据问题的第一步。

　　将新数据放到不同的系统中，并将它们放到你的操作中，这将是你从数据中获取价值的下一个关键步骤。许多企业正在寻找方法来加速跨越门槛的过程，同时正在努力适应这些类型数据的不断变化和变化。

　　IT企业正面临着从解决这一挑战中获取价值的挑战，这将需要新的思考。旧的管理黑暗数据的方法不会是大规模的。为了满足数据驱动的数字转型的需求，我们将采取更多的措施。你需要人工智能和机器学习工具的力量，以自动化理解、管理和从黑暗数据中提取有价值的信息。

　　是时候对你的黑暗数据方法进行不同的思考了。你有计划了吗？