摘要：vale 支持中文基于规则（比如正则）的检查，只是好像没法像大语言模型那样对语法进行更细致检查。对英语的支持就好多了，languagetool 也是。刚才还有一位参会者提到有过集成的经验，应该也有不少可以和大家分享的
在昨天晚上来自瑞典 Stakater 公司的嘉宾 Karl Johan 网络研讨会分享上，有与会人员评价：
vale 支持中文基于规则（比如正则）的检查，只是好像没法像大语言模型那样对语法进行更细致检查。对英语的支持就好多了，languagetool 也是。刚才还有一位参会者提到有过集成的经验，应该也有不少可以和大家分享的
本文从大模型视角去探索如何衡量内容质量的实施方法。
因为我不知道大模型在回答我的查询时脑子里在想什么，所以我对大模型存疑。我试着给大模型起个名字：Ziggy。但是这还不够。我需要建立信任，对我来说，这意味着要教给 Ziggy 我的方法、我的框架和我的偏好。行业认可的内容质量维度 AREA：准确性 Accuracy、相关性 Relevance、易理解性 Ease-of-understanding 和可访问性 Accessibility，定义如下：
准确性信息正确、可靠且经过认证无错误。
相关性信息适用于当前任务并有帮助。
易理解信息清晰、无歧义且易于理解。
可访问性信息可用或可轻松快速地检索.
那么我可以使用上面的质量维度概念去训练 Ziggy，让它评估技术文档中的内容质量吗？
Ziggy 需要学习一些东西才能赢得我的信任。这些方法和框架也为我提供了多个接触点，我可以利用这些接触点更深入地了解 Ziggy 的评估。
对内容进行评分的标准。发现问题时要采取的措施。用于评估内容的方法。报告评估的结构。通过采访开发人员并使用 AREA 方法收集他们的反馈，我整理了每个质量维度的要求列表。然后，我分析了调查结果并创建了一个评分标准，审阅者或编辑（或我的大模型伙伴 Ziggy）可以使用它来评估内容的质量。每个质量维度的等级从 1 到 4，其中 4 级是值得努力的。
每个质量维度都有需要满足的要求。以下是“准确性”要求的示例。为简洁起见，我将重点介绍“程序步骤清晰度”的要求。
准确性
流程清晰代码片段质量特征识别元数据与维护理想情况下，程序步骤应该清晰、合乎逻辑且无错误。为了帮助 Ziggy 理解这一要求的含义，我向 Ziggy 指出了Microsoft 写作风格指南中的“程序和说明”一章。
到目前为止，Ziggy 已经了解了质量维度及其各自的要求（评分标准）以及编写程序的最佳实践（Microsoft 写作风格指南）。接下来，我需要为 Ziggy 定义一个框架来进行评估。
我希望 Ziggy 以结构化和迭代的方式评估内容。我决定使用思维树 (ToT)方法。
这是 Ziggy 评估技术文档时使用的方法：
定义根节点（初步评估）：从基于主要质量维度的一般评估开始：准确性、相关性、易理解性和可用性。分支（探索方面）：对于每个维度，创建分支来探索子标准。提出和评估（生成候选人）：为每个分支生成评估，确定优势领域和需要改进的领域。回溯和细化（双重检查）：验证每个指定的等级以确认其准确性，而不考虑尚未实施的潜在改进。最终汇总（合并评估）：合并所有分支的评估以进行综合评估。对我来说，第 4 步最为关键，因为我希望 Ziggy 反思它最初的评分。
重点关注程序清晰度，我想将原始程序与 Ziggy 的改进版本进行比较。我给了 Ziggy 它的报告大纲以及我希望在报告中看到的内容。
查看结果我请 Ziggy 评估企业 AI 开放平台 (OPEA) 文档中的入门页面。以下是它的报告摘录：
Ziggy 给出的总体质量评分为 3.0，每个维度的评分细目如下：
让我们仔细看看程序步骤清晰度，并将原始程序步骤与 Ziggy 改进的程序步骤进行比较。
原始的程序步骤（在 AWS 上创建和配置虚拟服务器）
1. 导航到 AWS 控制台 - 在搜索栏中搜索 EC2 并选择它。单击以橙色突出显示的启动实例按钮。2. 为虚拟机提供名称。3. 在快速启动中，选择基本操作系统为 Ubuntu（ami-id：ami-04dd23e62ed049936）。4. 选择基于 Intel 硬件的实例类型。5. 接下来，创建一个新的密钥对，为其命名或从现有密钥对中选择一个。6. 在网络设置下，选择一个现有安全组。如果没有，请通过选择创建安全组单选按钮创建一个新的，然后选中允许 SSH 流量和允许 HTTP 流量复选框。7. 将存储配置为 100 GiB 并单击启动实例。8. 单击右上角的连接按钮并使用您喜欢的方法连接。改进的程序步骤（在 AWS 上创建和配置虚拟服务器）
1. 打开 AWS 控制台并在搜索栏中搜索“EC2”。从搜索结果中选择 EC2。2. 单击橙色的“启动实例”按钮开始创建虚拟机 (VM)。3. 在“实例名称”字段中命名您的 VM。4. 在“快速启动”下，选择“Ubuntu”作为基本操作系统，使用 ami-id `ami-04dd23e62ed049936`。5. 在“实例类型”中，选择与 Intel 兼容的类型。我们建议使用 m7i.4xlarge 或更大的实例以获得最佳性能。6. 通过命名创建新的密钥对以进行 SSH 访问，或从下拉列表中选择现有密钥对。7. 在“网络设置”下：- 选择现有安全组，或- 选择“创建安全组”并启用“允许 SSH 流量”和“允许 HTTP 流量”。8. 在“存储”中，将大小设置为 100 GiB。9. 单击“启动实例”以创建您的 VM。Ziggy 的建议无法按原样实施。他遗漏了一些背景信息（或误解了），并且有些步骤需要验证。不过，我认为还是有潜力的。
如果对大模型应用感兴趣，请联系我们。
来源：小倩科技园地