USING MDA TO IMPROVE EARNINGS FORECASTS

USING MD&A TO IMPROVE EARNINGS FORECASTS 论文阅读

Abstract

在本文中，我们开发了将文本与财务变量相结合的技术，以生成明确的公司层面预测。发现：

1. 增强文本的模型比仅使用定量财务变量的模型更准确，提供了关于MD&A部分预测价值的证据。
2. 具有本期业绩变化较小、未来业绩变化较大、未来业绩变化为负、应计项目较高、市值更大、Z评分较低、审计质量更高、MD&A文本较短且更易读、以及激励性薪酬较高的公司的MD&A更具信息量。
3. MD&A在监管改革之后的时期内更具信息量，但在最近的金融危机期间则信息量较少。
4. 在小型企业和分析师关注度较低的企业中，分析师相对于增强文本的统计模型而言失去了其预测优势。

Methodology

如果MD&A的定性内容提高了基于单纯定量信息模型的预测准确性，我们就认为它是信息丰富的。我们利用（i）当前收益及其组成部分和（ii）当前收益、其组成部分及MD&A部分包含的文本来预测一年后的净资产收益率（ROE）。我们发现，利用MD&A披露的模型在统计学上和经济上都显著地比仅使用定量信息的模型更为准确。

我们将预测样本分为两个子时段，其中前监管时期为1999-2002年，后监管时期为2003-2010年，并分析预测改进的差异。发现，在后监管时期，MD&A信息比前监管时期显著提高了预测准确性更多。这表明，就其能被纳入时间序列模型以更好地估计未来表现而言，公司在提供更有帮助的信息方面确实有所改进。

先从两个简单模型开始
$$\begin{gathered} \text{model 1 Q}:RO{E}_{t+1}={\beta }_0+{\beta }_{1}RO{E}_t+e_{t+1} \\ \text{model 2 Q}:RO{E}_{t+1}={\beta }_0+{\beta }_{1}OPIN{C}_t+{\beta }_{2}NOPIN{C}_t+e_{t+1} \end{gathered}$$

模型1Q使用历史净资产收益率来预测一年后的净资产收益率。模型2Q将收入分解为其经营性和非经营性成分，并按平均所有者权益账面价值加权，从而允许根据每部分的相对永久性使系数有所不同。我们将所有独立的定量变量按平均所有者权益账面价值进行标准化。

为了纳入MD&A信息，我们将文本内容视为一个变量，并将其与定量财务变量相结合。我们使用了两种方法：

1. 首先，我们创建了Loughran和McDonald（2011）提出的六个词汇列表的变量（即，正面、负面、诉讼、不确定、弱模态和强模态），并在我们的模型中使用这些变量（CategMatr）。CategMatr中的每个变量设置为给定公司年度中MD&A中该类别词汇频率的加权总和（即，类别中词汇频率之和除以总词汇数或其他术语权重因素，详见附录以获取更多细节）。

$$\begin{gathered} \text{model 1 C}:RO{E}_{t+1}={\beta }_0+{\beta }_{1}RO{E}_t+\alpha CategMat{r}_t+e_{t+1} \\ \text{model 2 C}:RO{E}_{t+1}={\beta }_0+{\beta }_{1}OPIN{C}_t+{\beta }_{2}NOPIN{C}_t+\alpha CategMat{r}_t+e_{t+1} \end{gathered}$$

2. 第二种方法不将词汇聚合到（预先确定的）情感类别中，而是让模型决定单个词汇的预测能力和“含义”。每个词汇分别计数并标准化，并使用特征选择算法来确定在给定期限内可以用作预测因子的词汇集。这样可以使特定词汇在不同公司和年份之间具有不同的相关性和预测能力。

$$\begin{gathered} \text{model 1 C}:RO{E}_{t+1}={\beta }_0+{\beta }_{1}RO{E}_t+\alpha TextMat{r}_t+e_{t+1} \\ \text{model 2 C}:RO{E}_{t+1}={\beta }_0+{\beta }_{1}OPIN{C}_t+{\beta }_{2}NOPIN{C}_t+\alpha TextMat{r}_t+e_{t+1} \end{gathered}$$

其中，TextMatrt 是在当前时期 t 内按照 MD&A 总词汇数量进行归一化的$m\times n$文本特征矩阵，其中 n 和 m 分别是选定词汇的数量和观测值的数量。

MD&A信息量的影响因素

1. 当前业绩。MD&A应描述当前财务业绩的质量，以便用户能够评估收益流的变动性。收益倾向于均值回归，但有利的业绩比不利的业绩更持久。因此，我们预计当业绩变化较大且为正时，MD&A会更具信息量。
2. 未来业绩。预计收益会有大幅变化的公司被要求提供更具信息量的MD&A披露，并且正面的变化比负面的变化更容易预见。我们预计MD&A信息量与未来收益的绝对变化以及代表未来业绩增长的指示变量之间存在正相关关系。
3. 应计项目。由于应计项目涉及估计，高应计成分的收益不如高现金流成分的收益持久（Sloan, 1996；Richardson et al., 2005；Dechow and Ge, 2006）。如果投资者理解应计项目对未来收益的意义，那么管理者就有更强的动力在MD&A中提供解释以支持高应计项目。相反，如果投资者不区分应计项目和现金流，我们预计文本信息量与应计项目之间不存在关系或存在负相关关系。
4. 公司规模。大型公司面临更大的SEC和投资者审查；其较高的政治和/或法律成本很可能促使它们提供更多具信息量的披露。我们预计MD&A信息量与公司规模之间存在正相关关系。
5. 市净率。市净率（MTB）比率被广泛用作衡量业绩、未来增长或效率的指标。鉴于成长型公司在更具不确定性的环境中运营，我们预计MD&A信息量与市净率之间存在正相关关系。
6. Altman Z-评分。Z-评分最初是作为破产预测分数开发的，经常用于衡量财务健康状况，高Z-评分表示健康的公司，而低Z-评分表示陷入困境的公司。陷入困境的公司面临更大的不确定性和风险。因此，我们预计MD&A信息量与Z-评分之间存在负相关关系。
7. 无形资产。无形资产密集型公司的财务报表往往不太有用，因为会计准则在确认无形投资的未来收益方面做得不够好（Lev, 2001）。拥有高水平无形资产的公司需要提供更多解释其财务报表的背景信息。这表明MD&A信息量与报告的无形资产之间存在正相关关系。
8. 审计质量。先前的研究表明，顶级审计公司的审计师提供更高质量的审计，确保财务报表的可靠性（Khurana and Raman, 2004；Francis and Yu, 2009）。尽管MD&A部分未经过审计，但审计师可能会检查这部分内容以帮助公司确保其表述符合SEC的规定，部分引用的数据是准确的，并且底层数据为该部分内容中的前瞻性信息提供了合理的依据。我们预测MD&A信息量与审计质量之间存在正相关关系。
9. 公司复杂性。由于SEC要求无论公司复杂程度如何都要使用清晰易懂的语言，因此具有复杂业务操作的公司必须比简单公司提供更多的描述以增强现有的财务报表披露。我们预测MD&A信息量与复杂性之间存在正相关关系。
10. MD&A透明度（可读性和报告长度）。如果MD&A以清晰直白（不清晰晦涩）的方式书写，则被认为是更（少）信息量的。Li（2008）发现可读性和报告长度可以作为披露透明度的代理（即，更长和更难读懂的披露更难以分析）。尽管计算机解读更长的披露或语言更复杂的披露不应该有困难，但以不清晰或复杂的方式撰写MD&A的决定可能象征着管理层总体上偏好不太有帮助的披露。因此，我们预计MD&A信息量与可读性和报告长度之间存在负相关关系。
11. 管理层薪酬。证据表明，管理层通过自愿披露积极参与监督过程（Nagar et al., 2003；Johnson and Natarajan, 2005）。我们认为，具有更高或有条件性薪酬（例如奖金）的管理层更有可能满足活跃股东对披露的需求，因此我们预测MD&A信息量与管理层薪酬之间存在正相关关系。

假设1： MD&A披露对于当前和未来业绩有大幅变化的公司、当前和未来业绩有正面变化的公司、高应计项目、高市值、高市净比、低Z-评分、大量无形资产、高审计质量、高复杂性、高披露透明度以及高管理层基于激励的薪酬的公司更具信息量。

MD&A信息量的变化

背景：

• 与MD&A相关的规定最早是在1968年实施的，但在几次重大的企业失败和会计丑闻之前，这些规定基本上没有被触及。
• 2001年12月，SEC重新关注MD&A，提议公司包括一个描述需要困难和主观判断且对公司财务状况和成果展示重要的会计政策的部分。
• 在接下来的一年里，SEC解决了与资本资源和流动性相关的额外披露需求，包括表外安排、关联交易以及以公允价值计量的非交易所交易合同。
• 2002年的《萨班斯-奥克斯利法案》进一步加强了MD&A披露要求（Bainbridge, 2007）。
• 最终，在2003年12月，SEC发布了一项解释，旨在鼓励减少模板化语言的使用，并促使MD&A中出现更有意义的披露。该解释强调了对已知趋势、事件和不确定性的分析。

我们的后监管时期还包括了近年来对信贷市场造成最大且未预料到的冲击之一。尽管SEC呼吁提供信息使投资者能够确定历史财务数据是否（或不）预示未来的结果，但当管理者本身并不具备这些信息时，获得此类信息可能是不可能的。因此，我们预测，在危机期间MD&A的信息量会下降。

通常情况下，当过去的业绩不是未来业绩的良好预测指标时，公司应提供更多披露；然而，在2007-2009年的危机期间，这些变化大多未知，因此他们的MD&A无法充分预示随后的收益变化。

1. 我们预计，拥有更大现金头寸的公司将受到危机的影响较小（因为他们有更多的灵活性和较少的金融市场融资需求），因此我们假设这些公司的MD&A信息量下降幅度较小。
2. 我们还预计，在金融低迷期间，消费者会紧缩他们在可选和奢侈品上的支出，因此可选消费部门的公司应受到更大的影响。

假设2：

1. 在后监管时期，使用文本增强模型相较于仅使用定量模型的准确性改进大于在前监管时期。
2. 在危机期间，特别是对于可选消费领域的公司和现金头寸较低的公司，使用文本增强模型相较于仅使用定量模型的准确性改进较低。

分析师的优势

通常做法是使用分析师的一致预测来代理收益预期。Bradshaw等人（2012）讨论了早期研究的一些局限性，但他们发现在短期预测中，无论是大公司还是小公司，分析师的表现都要优于随机游走模型。

我们的模型在预测中同时结合了定量和定性信息，因此自然而然的问题是，分析师是否仍然优于统计模型。然而，在回答这个问题之前，我们注意到样本中的许多公司并未被分析师跟踪（45%）。

1. 我们预测，对于没有分析师跟踪的公司，文本增强模型比仅定量模型更优越，这验证了在没有替代市场代理的情况下使用文本增强所带来的好处。
2. 对于被分析师跟踪的公司子集，我们推测文本增强模型使统计预测更加公平。我们预计，分析师的竞争环境越激烈，分析师就越会努力完善他们的预测
3. 分析师可以访问比我们的文本增强模型更多的信息来源（例如行业报告、新闻发布、新闻文章等）。我们预计额外信息的数量随着公司规模的增加而增加（即公司整体的兴趣度），因此我们预测分析师的预测优越性在大公司中持续存在，但在小公司中则消失。

假设3：

1. 对于没有分析师跟踪的公司，文本增强模型比定量模型更准确。
2. 分析师相对于文本增强模型的优势随着公司规模和分析师竞争的增加而增加。

数据及预处理

• ROE:扣非净利润 / 所有者平均账面价值
• OPINC:扣除折旧、利息费用、特殊项目和少数股东权益后的当前营业利润 / 所有者平均账面价值
• NOPINC:扣除所得税后的当前非营业利润 / 所有者平均账面价值

为了避免异常值和/或数据错误引起的问题，我们排除了以下公司的年观察值

1. 所选变量中有缺失值；
2. 所有者权益值为负；
3. ROE绝对值大于1；
4. 净利润率绝对值大于1；
5. 销售收入百分比变化的绝对值大于1；
6. 属于金融行业的公司（SIC代码6000至6999）。

还从10-K报告中提取了MD&A部分，删除了所有的HTML标签、特殊符号、停用词、表格和数字。

我们的最终样本包含了1995-2011年间16年预测期内的23,976个公司年观察值。

词汇建模

为了限定关注于财务相关的词汇，我们使用Loughran和McDonald Financial Sentiment Dictionaries（LMFSD）的词干版本作为词频的主要来源。
LMFSD包含3,532个独特的词，这些词被分为六个类别：正面、负面、不确定性、诉讼性、强模态和弱模态。LMFSD的词干版本包含1,389个词。

在LMFSD的词干版本中，有近1,400个具有财务情感的独特词汇，这些词汇可能（或可能不）在预测收益时有用。为了从这一大组词汇中选出最相关的词汇用于收益预测，我们执行前向逐步回归特征选择（Forward Stepwise Regression Feature Selection, FSRFS）。

• 在FSRFS中，候选独立变量之间没有顺序。每一步都评估所有变量，并将最佳变量添加到最后的模型中。前向逐步选择从零变量开始，逐一检查可能的预测变量，并且只有在它们在统计上显著时才将它们包含在模型中。
• 当所有相关的独立变量都被加入后，前向逐步选择停止（Draper和Smith 1966；Zho等人2006）。特征选择的目标是降低计算成本，避免过拟合，并构建具有最小的样本外预测误差的统计模型。
• 虽然特征选择技术减少了约90%的预测词汇数量，但特征空间（即变量数量）仍然很大。平均而言，我们选择了140个不同的词用于ROE预测。

下表列出了1999-2010年间最常被选用于收益预测的词汇。根据LMFSD分类，负面词汇占了最常用的50个词汇中的一半以上，而正面词汇只占到四分之一（这与LMFSD中负面词汇的比例较大是一致的）。

下图展示了词汇类别和单个词汇的规范化频率随时间的变化。单个词汇规范化频率的较大变异性表明了每个词汇的价值和信息含量可能存在变化。

1. FASB在2001年关于资产减值的规则变更以及2007-2009年FASB准则的修订导致了在我们的样本期间“impairment”（减值）术语的使用和相关性增加
2. 相反，尽管在样本期间发生了重大的经济冲击，“loss”（损失）、“gain”（收益）和“effective”（有效的）这些词汇的规范化频率并没有显著变化
3. 那些使用预定文本类别的研究隐含地假设该类别中的所有词汇都具有同等的信息量。然而，测量正面或负面语气的词汇在强度和频率上可以有显著差异（例如，“catastrophic”与“reluctant”，“exceptional”与“effective”）。
   1. 我们发现，将六个LMFSD类别的规范化计数添加到未来ROE对当前ROE的回归中，只增加了调整后的R²不到0.2%。而仅仅添加10个选定词汇的规范化计数则使调整后的R²提高了十倍以上（2%）。(换句话说就是用类别回归与用具体词汇回归效果不同)
   2. 这进一步支持了让算法单独确定每个词汇出现的价值的需求，而不是带有预设偏见。

注：这样的特征选择只是那个时期的做法（2013年），现在支持非线性回归的模型可以更好地利用所有变量。

模型方面：选择了核岭回归（Kernel Ridge Regression, KRR）进行非线性建模

下图描述了本文建模的一般过程

Result

下表展示了不同模型的预测能力：定量基准（Q）、类别增强（C）和文本增强（T）

• 仅使用LMFSD类别增强定量模型在模型2中只是略微提高了预测准确性，在模型1中则完全没有提高预测准确性。
• 相比之下，文本增强模型显著（统计学上和经济上）提高了预测的准确性。

解释： 考虑到未来ROE与六个类别中词汇的规范化频率之间的显著负（正）相关性，类别缺乏预测能力可能会让人感到惊讶——对于“负面”和“诉讼”的类别是负相关，而对于“正面”、“强模态”和“弱模态”类别则是正相关。这表明，将多个词汇聚合到一个类别中（其中一些可能与收益预测相关，而另一些则无关）可能会创建出一个噪音很大的情感度量，其预测能力有限。这也表明解释能力和预测能力不能互相替代。当逐词评估时，MD&A在预测能力的意义上是相关的；文本增强模型比定量模型产生了更准确的预测。

这一发现对于公司规模是稳健的，两种类型的模型对于大公司的预测准确性都高于小公（下表）。这意味着文本增强模型在处理复杂信息时提供了额外的价值，特别是在涉及公司财务状况的多维度分析时。这对于理解和预测公司未来的财务表现具有重要意义。

MD&A信息量的影响因素

进行了回归分析，其中正系数意味着与特定变量相关的高值公司拥有更有信息量的MD&A部分。变量包括：

• 当前和未来ROE变化的幅度和符号、应计项目、公司规模、市值与账面价值比率、Z评分、无形资产、审计质量（如果公司由四大审计机构之一审计，则该指标等于1）、业务和地理部门的数量、FOG指数以及MD&A的长度。我们使用S&P质量排名来控制固有的收益不确定性。

1. 第1列显示，**未来业绩变化较大、应计项目较高、规模较大、Z评分较低、审计质量较好、MD&A文本较短的公司，其MD&A部分更有信息量。**未来ROE绝对变化（ABS CURR CH）的显著负系数表明，当公司当前业绩发生大幅变化时，披露的信息较少具有信息量。
   • 关于MD&A有用性和复杂性的结果喜忧参半，这通过业务部门数量（NBSEG）和地理部门数量（NBSEG）来衡量（业务部门数量的系数估计值显著为正，而地理部门数量的系数估计值显著为负）。
   • 与我们的预期相反，我们发现在无形资产较多的公司提供的信息披露较少有信息量。由于内部开发的无形资产未被记录，使用报告的无形资产来代理需要提供更多描述性披露的公司可能是不够充分的。恰恰是那些无形资产未被记录但需要更多信息披露的公司可能需要更多的信息量的MD&A。
   • 另外，我们发现，当未来变化为负时，信息披露相对更为信息量丰富。这可能与公司在变化令人失望时感觉有必要提供更多信息披露以避免诉讼相一致。
2. 对于大约一半的样本，管理层薪酬的数据是可用的，并且工资和奖金被作为额外的解释变量包含进来（第2列）。与我们的预测一致，我们发现提供更高激励性薪酬的公司拥有更具信息量的MD&A披露。
3. 为了检验假设2(a)，即文本在监管改革后是否增加了有用性，我们创建了一个指示变量POST，如果收益预测在2003-2010年期间则该变量等于1，否则为0。
   • 第3列在控制了其他准确性改进决定因素后包含了POST虚拟变量。POST的系数为0.168，表明在监管改革后的时期内有用性有所增加。
   • 下图绘制了Q和T模型每年的APE百分比差异。文本从2003年开始显著帮助提高预测准确性，紧随新MD&A规定的出台，并持续改进收益预测直到2006年。从2007年到2009年，经济经历了历史上最大的一次未预期的冲击，文本带来的好处在这段时间内有所减弱。

4. 创建了第二个指示变量CRISIS，如果预测是在2007-2009年期间，则该变量等于1。我们包括了这个变量及其与公司的现金头寸和行业部门的交互项，以检验假设2(b)
   • POST的系数保持为正且显著。CRISIS的系数为-0.282（p值<0.01），表明在意外经济冲击期间，文本的有用性较低。
   • CRISIS与消费者可自由支配部门（CRISISxCDSD）的交互项系数为-0.122（p值<0.05），而CRISIS与现金头寸（CRISISxCASH）的交互项系数为0.379（p值<0.01）
   • 故在危机期间，消费者可自由支配部门的企业和现金头寸较低的企业更有可能经历MD&A有用性的下降。

每个子周期下的MD&A信息量

下表显示了每个子周期（PRE、POST 和 CRISIS）的整体平均和中位准确性水平。在监管前时期，文本增强模型的准确性提高了0.001；而在监管后时期，文本增强模型的准确性提高了0.003（p值<0.01）。这一发现表明，最近的监管改革可能提高了MD&A披露的有用性。

将监管后时期细分为非危机和危机子时期，文本增强模型在非危机时期提高了0.004的预测准确性。而在危机时期，文本增强模型相对于仅定量模型的准确性提高为0.001，大约与监管前时期相同。这表明，在经济环境稳定时，MD&A部分的有用性得到了增强，但在面临重大经济冲击时，其有用性可能会受到影响。这些发现对于理解监管改革的效果及其在不同经济条件下的适用性具有重要意义。

与分析师的共识比较

• A面板报告了文本增强模型与仅定量模型在没有分析师跟踪的公司子集10,924个观测值）中的准确性差异。这强烈表明，在没有中介提供预测以改善市场预期的情况下，结合叙述性披露与定量信息的重要性。
• B面板报告了高、低和中等分析师跟踪程度的文本增强（T）模型和分析师一致预测（A）的平均（中位）绝对预测误差。
  • 在竞争激烈的预测环境中，分析师更为准确，因此高和中等分析师跟踪程度公司的预测误差低于小规模跟踪公司的预测误差。
  • 对于高分析师跟踪的公司，分析师更胜一筹，但在跟踪程度较低的情况下，分析师的准确性低于或等于文本增强模型。
• C面板报告了将我们的样本分为大、中、小型公司（市值MCAP的前三分之一、中间三分之一和后三分之一）
  • 我们发现分析师在大型公司的预测优于文本增强模型（分析师的预测误差低0.009，p值<0.01），但在较小规模的公司中，分析师并不占优势（预测误差高0.006，但差异在统计上不显著）。
  • 这一发现进一步证明了努力将定性信息纳入模型的合理性，因为分析师不一定在能力上有优势，而是在信息集上有优势。对于小型公司，尽管可用的信息较少，但通过结合定性叙述信息，文本增强模型可以提供与分析师预测相当甚至更好的准确性。

稳健性检验

1. 我们使用了两种用于预测一年期收益的时间序列模型。第一种模型将收益分解为现金流和应计成分（遵循Sloan (1996) 的方法），第二种模型考虑了成本刚性和销售额下降的因素（遵循Banker和Chen (2006) 的方法）。所有结果在定性上与论文中报告的结果相似。
2. 使用总资产回报率（ROA）时，使用平均总资产作为标准化变量，并使用每股收益（EPS）与平均流通股（或平均流通股乘以价格）作为除数来进行分析。结果与论文中报告的结果相似。
3. 我们在文本中考虑了简单的否定结构，即在统计LMFSD词汇频率时，检查某个词是否被否定词（如no, not, none, neither, never, nobody, don’t, haven’t等）所修饰。通过这样做，我们区分了情感词汇及其否定版本的不同信息内容（例如，分别记录“assure”和“cannot assure”的频率）。所有结果在定性上仍然相同。
4. 我们重新估计了所有模型，使用高斯核和线性核来进行核岭回归（KRR）。使用高斯核得到的绝对预测误差与论文中报告的结果非常相似。线性核产生的APE（绝对预测误差）对于所有模型来说都较大，但结果的方向没有改变。