【数据分析】《交易执行质量研究白 皮书》下篇：执行所面临的挑战

规章制度的变化、竞争、市场分割和其他因素促使买方和卖方公司实施分析系统以帮助他们提高交易质量并降低合规成本。

《交易执行质量研究白 皮书》由两部分组成，主要探讨和规划实现此分析系统的最佳做法。

上篇介绍了优化交易执行质量的理由，描述了公司面临的一些交易执行质量挑战，并阐明了需要全面的公司整体分析方法来理解和改进交易执行。

在下篇中，我们将描述公司在寻求实施交易分析解决方案时面临的一些挑战，并提出了几个关键建议，以帮助负责实施和操作分析系统的人做出正确的决策。

实施有效的交易分析系统面临的最大挑战通常是数据本身质量不佳。生成良好、干净的数据所需的时间和投资占实施整个系统的 30% 到 40%。

基本任务包括验证传入数据的准确性、将历史数据与实时数据区分开来、分析和收集可视化的数据源以及维护元数据集 合。较为复杂的任务，包括理解不同国家和不同交易的特征系统。

为适应不断扩大的数据量，达到相应的灵活性也构成重大挑战。需要分析的数据量不断增加，分析数据的行为会创建新的源数据。

仅股票数据一项，大多数公司每天就能处理25亿至60亿次报价。仅美国市场每天交易约85亿股（2019年5月平均）。

在过去十年中，应该分析的数据量增长了8倍到10倍——一些公司正在分析超过1PB（100万千兆字节）的数据。存储、管理和分析所有这些数据可能非常昂贵。

最后，第三个挑战是如何应对不断变化的市场结构。诸如欧盟金融市场指导机构 II（MiFID II）等法规要求收集有关订单、执行和发生地的大量数据。在MiFID II下，公司需要知道，例如，为什么经纪人会选择一个特定的地点。

人工智能（AI）起源于大约150年前的统计数学。同样，机器学习（ML）也与统计学密切相关，它产生于计算机科学的理论发展阶段。下图是SAS 研究所的研究结果，说明了统计、AI、机器学习、数据挖掘和模式识别之间的关系。

资料来源：SAS研究所，KDD：知识发现中心

机器学习是高度自动化的。简单来说，程序员输入了一组假设，系统使用各种算法从数据中学习。然后，系统根据这些算法的输出结果生成扩展数据集。AI 更进一步，对根据机器学习算法输出的结果进行推理。

使用机器学习和 AI 分析交易涉及的四个重要步骤：

1. 确定练习的目标。

   我为什么要这么做？我计划从这个练习中获得什么？预期最终结果是什么？

2. 确定需要的数据资源

3. 使用计量经济学模型挖掘数据。

   构建神经网络或其他机器学习/AI 算法，从数据中提取更多信息。

4. 制定实施战略。

尽管人们普遍担心使用AI的机器人会支配和征服人类，但实际上AI掌握最复杂的人类任务的能力有限。

它不能复 制人们在每种情况下的直观决策能力，包括快速变化的电子交易环境。金融专业人士都知道，现场交易并不总是遵循历史模式，所谓的"黑天鹅"事件的发生也具有规律性。

以一个实习生的思维思考人工智能是最好的方式，尤其是在贸易领域。

例如，想象一下，一家公司要求实习生（例如统计专业研究生）审查其几年前的执行数据。这位对市场知之甚少的实习生寻找其相关性来识别异常行为。

以这种方式使用的人工智能工具可以快速显示有问题的行为，并为交易平台提供新的方法，以便为客户提供建议并做出明智的执行决策。

围绕 AI 以及涉及 AI 的"大数据"项目的另一个传言是，它们需要昂贵的支出以及数百名数据科学家、量化人员和程序员的工作。

但在现实中，一个只有25个用户的小型、灵活团队可以创建、实施和管理世界一流的 AI 工具，供量化人员使用，包括从发起到交易并分析的整个订单流的工具。

为了达到最好的执行质量，公司应该在整个投资过程中使用 AI 和分析，而不仅仅是将这些工具应用于交易后的分析。

买方公司可以使用 AI 和分析来计算参数并确定每种可用工具的风险和回报。在购买方面，风险/回报分析在投资组合选择中 特别有用。

有了这些工具，公司可以回答这样的问题：我们是否应该"分层"或"清除可用流动性资产"，以达到所需的价格和规模？例如，公司可以通过系统地向多个代理商发送订单来衡量执行质量并测试代理商的表现。

卖方公司可以使用 AI 进行交易前分析，以估计买入方选择的投资组合其市场影响，并为计划交易提供成本估算。交易后或 TCA 执行质量测量依赖于实时处理和大量数据分析技术，系统必须足够灵活，以便频繁快速进行客制化。

实时分析工具，如复杂事件处理 （CEP） 和数据可视化工具可以生成信号并反馈至 AI 和交易算法，并开发能够响应客户交易行为的内部查询的机器。

在这种情况下，一个好的可视化分析平台可以很好地作为快速应用程序开发工具。直接访问这些工具可以帮助量化人员使用模型做出保留/销售决策 - 理想情况下，他们应该能够在没有IT 部门的帮助下，修改它们的需求。客户喜欢收到非常详细的 TCA 报告，这些报告可能是为客户留存的有用工具。

企业应避免被束缚在这些工具背后的硬件和软件基础架构中。

三个核心技术领域会带来潜在的基础设施陷阱。

第一个是数据管理，要获得对市场的精确看法，需要收集历史以及实时数据流，这有助于建立用于交易前、交易日内或交易后绩效分析的基准。

数据首先必须完整、准确，然后必须是统一的、经过整理的和具有时序性的。

因股票市场的分散性和大量不同的流动性提供者，时序性是数据管理的一个特别重要的因素。例如，准确的决定流动性在任何给定时间（本质上是处于最佳价格时）是很困难，并不是每个地区都像美国一样，拥有国家最佳出价和报价 （NBBO） 系统。它在欧洲或亚洲市场根本不提供，但这个概念非常有价值，智能公司将用自己的分析工具和正确的选择来创造自己的数据资源。

分析交易执行，必然是复杂的。统计模型可以计算基准，并比较公司的订单和这些基准。它们可以帮助交易者进行市场影响分析，并根据已知的基准评估实施当中的不足或下滑点。

用户将如何使用分析模型产生的所有信息？掌握信息的关键决策者是一个真正的风险。

可视化是第二个核心技术领域，处于"书架的顶部"——它使公司能够将大量数据（包括基准价格和性能指标）转换为清晰、易懂且可操作的数据。可视化使得公司能从交易系统和市场的实时流动数据以及历史数据中轻松识别离群值、异常值、趋势和群集。

交易员，量化和销售人员能够利用 Altair Panopticon 监视最佳执行情况，并实时分析交易活动的损益以及交易成本。

这使他们能够在交易日内立即响应市场事件以及对客户订单流执行和公司获利能力的威胁。

但是，可视化分析层只能与数据本身及其构建的基础结构相当。分层方法是最好的：实时的数据处理（或事件处理），当前数据和本周数据的内存分析，完整历史记录的长期（较慢）存储，内存存储历史记录的聚合和计算。此方法提高了可视层的响应能力。交易者不想点击一个按钮，等待半小时 - 当这些信息有用的时候，他们需要立刻得到答案。

第三个核心技术基础设施是一个标记数据库。该数据的快速存储工具类似于数据扩充、聚合和计算的分析引擎。"大数据"工具（如 Hadoop、NewSQL 或 NoSQL）在分析其基础结构中的核心项目时将很困难。这些系统可以使 IT 团队能够快速启动和运行环境，但仍必须编写所有必需的分析功能，这非常耗时，尤其是在涉及纳秒级时间序列数据时。

Tick 数据库提供了丰富的内置功能，使电子交易数据实现分析功能变得容易，包括将两个时间序列拼接在一起或重新计算订单簿等功能。

交易分析系统的设计必须由交易平台工作人员负责。通过访问正确的工具，他们可以通过监控活动、调查异常、对新方法进行回溯测试以及作为日常测试的一部分，实施成功测试的方法，持续优化交易。

那些已经将分析基础架构开发为 IT 项目的公司，由软件工程师或数据科学人员负责，在提高执行质量的有效性方面往往落在后面。

请记住，最成功的交易分析项目通常在启动后快速运行 - 通常是在数周而不是数月内。

在制定交易分析实施计划时，请考虑以下问题：

• 您将从何处获得数据？

• 您将如何清理数据并确保数据准确地对齐？

• 您现有的订单管理系统是否会提供所需的时间标记精度？

• 您如何为您的量化人员和交易者提供构建自己的分析界面所需的工具，这样他们就不必等待 IT 开发团队？

• 您如何确保您的系统真正响应交易平台的需求？ 

• 建设这一切以及处理系统的日常维护和管理需要多少资本和人力资源？

• 如果您为关键组件选择开源技术，您是否了解软件的成熟程度以及需要何种硬件才能在特定情形中使用？

• 您的量化工具能否在不降低实时交易监控系统性能的情况下，使用庞大的数据集进行二次测试？

• 新人能否快速、轻松地了解如何工作，或者如何在数据管道、分析查询、数据源订阅和用户界面方面看起来并不是难以逾越的？

根据您对上述问题的回答做出构建与购买决策，同时密切关注这些决策如何影响您的日程安排。

由于获取干净数据至关重要，因此请询问计划使用的数据质量，从推荐的来源获取足够的样本数据，并在选择购买内容或是否构建之前进行彻底的测试。

此外，他们应该明确AI将给他们最大的优势-它不会取代交易者，但它可以给他们提供工具，帮助他们做出更明智的决定。

最后，实时思考。交易分析系统的核心数据库、流动处理（事件处理）引擎和可视化系统都必须能够处理真正的实时流数据。将数据存储在高质量标准数据库中的时间超过一定时间是降低成本的好方法，但当日分析中使用的所有数据都应处于实时系统中。

实施有效的解决方案来帮助优化执行质量可能具有挑战性。但好处是显著的：交易者可以使用、可访问、可见、可操作的实时信息来提高交易的整体质量，并为客户回报更大的价值。