Apple-Silicon

在之前的两篇文章中（关于感知哈希在Chat Control背景下的用途和关于其对抗性碰撞问题），我们探索了如何仅用40行Python代码解决了一个被行业大规模部署的问题。感知哈希是一个廉价的确定性层的典型例子：无需模型、无需GPU、无需沉重的依赖。 哈希解决了重复数据和相似性检测的问题。但在实际图像处理管线中，有些任务无法用传统算法完成：检测水印的边界框，用持续上下文的方式填补空缺，分类人脸是否为成人，以及提取语义属性等。这些任务需要大型神经网络。 本文要解决的问题是：如何在Apple Silicon上部署这些神经网络，避免云API的依赖，不为每张图像支付费用，并充分利用Apple Neural Engine（ANE）？ 简单回答 PyTorch → ONNX → CoreML，只需三条指令。 深入分析 真正的价值不在技术，而在架构。今年我在情感分析和图像过滤领域应用了这个模式。看似不相关，但实质是同样的核心方法。 模式：两层架构，一种哲学 几周前，我发布了SentimentKit，这是一种用于情感分析的库。我发现Apple的NLTagger会将“删除临时文件”评分为-0.8（非常消极）。这个问题并非Apple独有，而是一整类预训练ML模型中的系统性偏差。 解决方法不是“寻找更好的模型”，而是架构上的。SentimentKit的管线有四层： 确定性关键字检测器。 包含了经过人工选择的脏话、消极表达与正面词汇的字典，涵盖8种语言。容量约20 KB。作为最先运行的部分。 Apple的NLTagger（修正技术偏差）。 如果消息未触发第一层，则交给这部分处理。 特定领域模型（基于规则和技术领域的启发式算法）。 基础模型（Apple的本地LLM）。仅在前三层返回模糊结果时调用。 模式：先运行廉价的确定性层，仅在简单规则无法决策时才调用机器学习。 在第一层中有70-80%的流量被处理，无需涉及机器学习模型，带来了能耗、延迟和避免偏差的多方面好处。 几周后，当我开始设计一个规模化的图像清洗管线时，发现自己无意间又应用了同样的模式： 确定性验证（Pillow验证、magic bytes、尺寸限制）。剔除明显无效的数据。 感知哈希（aHash + dHash + pHash）。大约每张图像10-15毫秒，按相似性分组。 经典OCR配合已知Token的正则表达式检测水印。 神经网络（YOLOv11用于检测，LaMa用于图像修复）。仅应用于通过前几层过滤的图像，占比约10-20%。 以上并不足以一以贯之。这是相同哲学在不同领域的应用，其本质问题是一致的： 如何以最低成本实现深度学习模型的推理。 在Apple Silicon上，最优的方式是通过CoreML将计算任务分配至ANE。 ONNX：被低估的中间语言 ONNX（Open Neural Network Exchange）是神经网络模型交换的格式，由Microsoft、Meta、NVIDIA等组织维护。其规范描述了如何在便携的文件中序列化模型的计算图，包括操作、连接关系及权重。 作用：分离训练过程与部署过程。 在ONNX出现之前，如果你使用PyTorch训练模型，就必须在生产中使用PyTorch。如果要迁移到TensorFlow Serving、CoreML或嵌入式运行时，需要逐一手工实现操作。这种过程费时容易出错。 ONNX的流程重新定义了路径： PyTorch（训练） → ONNX（交换格式） → Runtime X（生产环境） 其中，Runtime X可以是：onnxruntime（支持多种后端）、TensorRT（NVIDIA）、OpenVINO（Intel）、CoreML（Apple）、TFLite（移动设备）、Triton（服务器）或WebAssembly（浏览器）等。 只需一次导出即可，由运行时选择针对硬件的最佳后端。在Apple Silicon上，我们需要的是CoreML Execution Provider，它基于CPU、Metal GPU和Apple Neural Engine规划实现。 实际限制 并非所有PyTorch的操作都能直接映射到ONNX。现代架构使用的某些自定义操作（例如flash attention或非传统卷积）可能无法被干净地导出。实际解决方案：如果你的模型是YOLO、ResNet、Transformer标准架构或U-Net，导出无难度。如果包含不常见的操作，在假设模型可导出前，请先检查兼容矩阵。 对本文涉及的YOLOv11和LaMa模型，两者都提供了高质量的ONNX导出支持。对于YOLOv11，ultralytics可一键完成导出；对于LaMa，Carve AI团队已在Hugging Face上发布了ONNX格式，无需重新导出。 ...