NLTagger与情感分析：为什么Apple认为你的代码很消极

import NaturalLanguage

func sentiment(of text: String) -> Double {
    let tagger = NLTagger(tagSchemes: [.sentimentScore])
    tagger.string = text
    let (tag, _) = tagger.tag(
        at: text.startIndex,
        unit: .paragraph,
        scheme: .sentimentScore
    )
    return Double(tag?.rawValue ?? "0") ?? 0
}
---

现在我们输入一些程序员在日常会说的话：

| 句子                                    | 得分范围   | 实际情感                             |
| ---------------------------------------- | ----------- | ------------------------------------- |
| "Kill the background process"            | -0.5 ~ -0.7 | 中性（技术指令）                     |
| "Fatal error: index out of range"        | -0.7 ~ -0.9 | 中性（编译器消息）                   |
| "Abort the deployment"                   | -0.4 ~ -0.6 | 中性（操作性决策）                   |
| "Destroy the old database"               | -0.5 ~ -0.7 | 中性（维护操作）                     |
| "The crash was caused by a null pointer" | -0.5 ~ -0.8 | 中性（问题诊断）                     |
| "Successfully deployed to production"    | +0.3 ~ +0.5 | 正面                                 |

注意：这里有六个看似正常的技术场景句子，其中五个都被判断为负面。唯一的正面例句是包含术语“successfully”的，模型将其识别为消费评价中的术语。

再来看看模型在它被训练的日常领域中的表现：

| 句子                                | 得分范围   | 实际情感            |
| ------------------------------------ | ----------- | ------------------- |
| "This product is terrible"           | -0.7 ~ -0.9 | 负面（正确）        |
| "I love this app, it's amazing"      | +0.7 ~ +0.9 | 正面（正确）        |
| "The food was okay, nothing special" | -0.1 ~ +0.1 | 中性（正确）        |

这组句子全都判断得非常准确。实际上，模型本身问题不大。问题在于，它被放在了错误的上下文中。

## 问题根源：词汇偏见

`NLTagger`的模型并不能理解语义。它并不知道“kill a process”是一个技术隐喻，而“kill a person”是暴力行为。对它来说，“kill”就是一个带负面意味的单词，仅此而已。

这种现象被称为“词汇偏见”（_lexical bias_）——模型基于单个单词（或短语）的极性打分，而没有理解上下文。这就好比一个翻译软件将 "I'm dying of laughter" 翻译成了真正的紧急医疗状况。

技术语言充满了在日常语言中很负面的词：

- **kill**、**terminate**、**abort**、**destroy**——常见于进程操作
- **fatal**、**critical**、**severe**——日志级别
- **crash**、**panic**、**fault**——系统事件
- **dead**、**zombie**、**orphan**——进程状态
- **reject**、**deny**、**block**——访问控制
- **break**、**interrupt**、**suspend**——流控制

任何使用这些词的段落——比如错误日志、事后分析报告、拉取请求中的讨论——都会被预测为负面情绪，好像有人正写着遗书。

## 增加上下文能解决问题吗？

你可能会想：“如果提供更长的段落，模型应该会更好地理解上下文。”试试这个：

```swift
let technical = """
The daemon was killed after a fatal memory error. \
We restarted the service and the crash did not recur. \
Deployment completed successfully with zero downtime.
"""
print(sentiment(of: technical))
// 典型结果：-0.3 ~ -0.5

let review = """
The screen had some dead pixels and the battery was terrible. \
But after the replacement, the product works perfectly. \
I'm very happy with the customer service.
"""
print(sentiment(of: review))
// 典型结果：+0.1 ~ +0.3

// 使用Create ML训练（macOS）示例
import CreateML

let data = try MLDataTable(contentsOf: trainingDataURL)
let classifier = try MLTextClassifier(
    trainingData: data,
    textColumn: "text",
    labelColumn: "sentiment"
)
try classifier.write(to: modelURL)

import NaturalLanguage

if let embedding = NLEmbedding.sentenceEmbedding(for: .english) {
    let vector = embedding.vector(for: "Kill the background process")
    // 使用向量作为分类器的输入
}

let technicalNeutral: Set<String> = [
    "kill", "terminate", "abort", "destroy", "fatal",
    "crash", "panic", "dead", "zombie", "orphan",
    "reject", "deny", "block", "error", "fault"
]

func preprocessed(_ text: String) -> String {
    var result = text.lowercased()
    for term in technicalNeutral {
        result = result.replacingOccurrences(of: term, with: "process")
    }
    return result
}