【数据分析】白皮 书分享《利用数据可视化应对资本市场的大数据挑战》

金融服务业并不缺乏数据，然而，缺乏能够处理银行需要查看的所有信息的工具。从一开始，Altair Panopticon™ 开发团队就认识到与业界现在所说的大数据合作的必要性。

Panopticon 团队专注于与其他可视化系统相比的不同的体系结构，以满足大数据的需求，包括实时流式可视化信息的能力。

Altair 认识到资本市场是一项实时业务，真正有效的可视化系统必须能够与实时流式处理数据源配合使用。

Altair Panopticon 软件直接连接到数据源并检索数据，无论是大型数据库、内存存储、CEP 引擎、消息总线还是电子表格。

除了降低系统复杂性和总成本外，Panopticon还消除了对昂贵的中间层（如数据仓库、数据集市或内部专有数据库）的需求，从而增加了不必要的系统延迟。

对于海量的数据信息，根本不能够有效地分析它，除非使用有效的可视化数据发现工具。

交易者可以使用鼠标选择所有可用数据交易的子集。图表将改变，并隔离出一个异常值。这正常吗？还是这是需要立即采取行动的异常现象？

几乎所有其他系统都需要一个中间数据层，这意味着它们浪费了宝贵的时间去等待加载数据。在其他陷阱中，中间层在其他系统中引入的固有延迟使得几乎不可能进行实时流数据的可视化和筛选。可视化分析系统中，任何类型的数据中间层或内部数据存储都可能成为数据流的瓶颈。使用中间层方法处理体系结构也会产生可伸缩性问题，随着数据量越来越大，这些问题变得相当困难和昂贵。

本文探讨了资本市场中与大数据有关的要求和使用案例，并解释了设计合理的可视化数据发现系统，如何使大公司的交易者和投资组合经理能够有效地可视化他们可用的所有数据资源。

Altair 直接连接到源数据存储库和数据生成器的方法意味着无需等待长提取周期或构建 OLAP 多维数据集。决策者知道他们看到的是组织内提供的准确和最新的信息。

在可视化数据发现领域，这是一个激动人心的时刻。对实时系统的需求不断增长，这些系统能够持续查看各种行业的运营情况;除资本市场外，电信、能源、制造业和零售业的利率也在迅速增加。

几年前，零售咨询公司Dunnhumby的联合创始人克莱夫·亨比（Clive Humby）使用了" Data is the new oil "这个词。他和他的同事建立了一个非常成功的企业，并为他们的客户提供了帮助他们达到十亿美元的想法。但他是什么意思呢？

数据就像原油: 只有提炼后才能使用。

并且，有了数据，它必须呈现出来，以便人们能够及时做出明智的决策。只有对大数据进行细化和分析后，大数据才具有真正的价值。

自 2001 年 Gartner 从三个方面定义大数据以来，大数据的概念一直存在于 IT 领域：

· 数量：可用数据量迅速增加

· 速度：正在以越来越快的速度生成和处理新数据

· 种类：数据类型和源的范围也在扩大

数据存储和计算技术的最新进展使这一理念进入公众意识。

例如，大多数人都知道，在线零售商正在挖掘大量采购数据，以更好地了解购买模式，并更有效地定位广告信息。

当然，大数据范式远远超出了零售的范围，几乎延伸到生活的每一个方面，而新的工具使这些资源对必须根据这些数据做出决策的人更有用。

公司正投入大量资金在新工具上应对大数据挑战，并在运营方面增加其数据的价值。IDC 的研究表明，大数据技术和服务市场正以 40% 的复合年增长率增长，比整个 IT 市场快约 7 倍。

除了数据本身的可用性之外，是什么推动了这些增长？

IDC 相信，最能使用大数据解决方案做出实时业务决策的组织将会蓬勃发展，而那些无法接受和利用这一转变的组织将日益发现自己在市场上处于竞争劣势，并面临潜在的失败。

资本市场公司的经理们尤其接受这一理念，对大数据工具进行重大投资，以提高盈利能力，帮助减少2010年闪电崩 盘等黑天鹅事件的发生，以及从那以来我们看到的更多的市场波动。

过去，管理公司中常用的复杂商业智能报告系统需要专家团队，他们的工作是充分了解系统的复杂性，并将业务需求转化为有用的报告。

这种方法在一定程度上奏效了，但也造成了严重的问题。生成和维护报告非常耗时，大多数高级管理人员都会多次从 IT 人员那里听到"我们构建报告需要两周时间"这句话。此外，在某些情况下，实际运行报表可能需要数小时甚至数天。让 IT 人员真正了解报告旨在解决的基本业务问题，充满了陷阱和潜在的有害的误解。

总之，这意味着管理者是根据报告做出决策的，这些报告要么不使用当前数据，要么筛选出最有吸引力的异常值，要么在多页数字列中隐藏重要模式和趋势。

使用视觉辅助工具分析数据的想法可以追溯到17世纪，当时法国哲学家、数学家雷内·笛卡尔发明了一个方法，用二维坐标尺度来表示定量数据——我们现在称之为笛卡尔平面。

这种视觉方法非常有用，自那以后的数百年中，使用图片来表示数字的想法已经司空见惯。之所以如此有效，是因为人类的心理视觉系统是我们身体最复杂的部分之一。

我们已经发展了数百万年，对视觉线索极其敏感。视觉数据发现背后的理念是利用大脑中的资源，帮助我们非常快速地看到数字海洋中到底发生了什么。

大数据给可视化系统带来了许多技术挑战。现有的大多数工具根本无法应对 Gartner 的"大数据三个维度"，因为三个维度的数据量呈指数级增长。需要新一代可视化数据发现工具，以有效地可视化可供他们使用的所有数据资源。

设计合理的可视化数据发现系统帮助我们：

· 任何大小的数据源

 · 实时变化的数据

 · 存储在多种类型的系统和多种格式中的数据

资本市场行业最早采用了高级分析。许多世界上最大的投资银行都选择了Altair的实时可视化软件Panopticon来支持几个关键任务应用程序。他们根据几个标准选择了Altair，包括：

· 连接性：银行需要一个可视数据发现系统，该系统可以处理来自其已建立的风险和交易系统的各种数据输入。

· 绩效：交易者和投资组合经理需要一个系统，能够非常快速地识别异常值、集群和趋势。基本上，他们使用 Panopticon 来减少交易者或经理识别问题或机会、了解所有影响并采取适当行动所需的时间。

· 简化：银行已配置Panopticon，以支持不同部门的运营。此外，该系统的技术设计意味着用户可以通过标准 Web 浏览器，甚至从 iPad 和智能手机等移动设备访问它。

当 Panopticon 作为大数据计划的一部分部署时，大型银行的风险经理能够以图形形式，并以快速的解释方式，查看极其复杂的数据。

他们可以使用我们的交互式过滤器来" slice and dice "，放大和缩小数据—他们可以轻松改变他们对所有信息的看法—以隔离代表他们的可能需要进行更仔细的查看的异常。

银行内支持可视化的大数据系统的主要应用包括：

市场风险

许多银行正在寻求替换或扩充传统市场的风险表格报告，代之以交互式分析仪表板。市场风险数据相当复杂。银行使用 Panopticon 开发专门优化的仪表板，以显示 DV01（也称为"基点的价格值"）计算、风险价值 （VaR）、期权增量、vega、Gamma 等 - 适用于所有资产类别（股票、股票期权、外汇、固定收益和衍生工具）。

交易对手风险

银行明白，其交易对手的风险数据可视化必须处理多层、聚合和规范化的数据集，包括住所、限制、父级、父子汇总、每个级别应用的限制以及叠加在每个级别的交易数据。在大多数情况下，这是一项复杂的任务，它还将利用来自银行中许多不同的数据存储库的数据。Panopticon 联合来自多个源的数据的能力是此类部署中的一个关键功能。

信用交易

银行需要一个可视化发现系统，为前台人员提供有关信用交易活动的可用报告工具，并支持影响银行业务的所有新的监管报告要求。通过 Panopticon，银行能够看到多维市场价值与名义价值，并深入分析历史趋势。他们可以按行业、簿记、交易者或单个发行人来可视化整体、汇总头寸数据（例如，债券和 CDS）。在大多数情况下，Panopticon 树图嵌入信用交易仪表板中，以方便市场价值、资本化和 DV01 分析。Panopticon 使银行人员能够在多个分区、层次结构和时间段中看到有意义的动态风险属性集，其范围和深度是以前从未接触过的。

银行和其他金融机构是大数据技术最早采用者之一。他们产生大量信息，作为日常业务的一部分，他们的员工还负责根据来自市场和其他来源的大量数据做出良好、有利可图的决策。

可视化数据发现在运营最好的银行大数据基础架构中发挥着越来越重要的作用。它使管理者能够密切关注基于数百万日交易的风险、绩效和交易活动，而不会因信息的数量或复杂性而不堪重负。

让我们看一些真实的例子，说明大数据可视化在两个主要机构中如何发挥作用：

银行交易前和交易后的分析

该银行采用全企业范围的应用程序，为全球 400 多家收购方公司和 1,000 多个用户提供支持。交易者使用该系统来维护每个投资组合，每个证券多达 5,000 种。借助内置于系统中的高级数据可视化工具，他们可以看到产品组合的不同属性，包括组合、每个安全性的重量以及安全性在产品组合中的成本。

用户报告说，他们特别喜欢能够同时清楚地看到两个参数，如平均日交易量百分比和预期影响成本。他们可以立即找出哪些证券需要进一步调查，而无需仔细研究数千种工具的报告。

该系统以传统报告根本不可能的方式提供数据的直观分析和探索。它允许交易者和银行的客户能够轻松地按国家或部门对其证券进行分组和分析。在交易后分析中，交易者可以立即看到与全天交易量加权平均价格等基准相比，他的表现如何。他们也可以使用该系统比较自己其他交易者的表现。

通过数据可视化工具，银行的交易者无需依靠 IT 团队生成的报告就可进行自己的分析。他们可以提出自己的问题，并探索有关其投资组合的性能数据，如果没有这样的工具，根本不可能。它们通过使用内置于系统的交互式筛选和重新排序工具节省了大量时间。 

该系统已被银行的交易员和客户公司接受，因为它节省了很多时间，并允许用户更好地了解其投资组合性能背后的数据。

全球资产管理公司的投资组合分析

全球最大的资产管理公司之一使用高级数据可视化来分析头寸和市场数据。项目组合管理应用程序的主屏幕使用树图（有时称为"热图"）来显示每个经理负责的所有项目组合的各种实时性能参数。经理使用交互式筛选器来公开异常值和隐藏模式，并使用这些信息做出买入和卖出决策。

特别是，基金经理需要关注投资组合层面的日内表现，以及投资组合持有的所有工具。例如，投资组合经理可能需要查看通用电气的职位和风险数据，他在多个投资组合中持有这些数据。他需要了解通用电气在每一个投资组合中的影响。通过可视化数据发现工具，投资组合经理可以看到哪些股票提供了帮助，哪些股票在当日表现方面受到了影响。

公司的高级管理人员需要相同的能力，只有他们负责许多不同的投资组合经理的表现，他们每个人都管理多个投资组合。不难看出，传统报告根本跟不上市场，尤其是在动荡的市场条件下。

该公司的经理报告说，他们最有用的意见之一，是让他们看到业绩数据和分析单个屏幕上的评分。

可视化数据发现的真正威力在于它能够帮助管理者快速的从各种参数中进行选择。管理者可以根据所选参数，将风险、交易活动和头寸数据可视化，然后轻松过滤掉那些不太有用的元素，将注意力专注于需要更深入研究的工具上。