Claude 3用几分钟,搞定了语言学家两年的工作

发布时间: 2024-03-08 00:09:02 来源: 1316世界之最 栏目: 奇趣发现 点击: 4

@高飞:Claude3用几分钟,搞定了语言学家两年的工作,也是一个惊人的案例。(昨天我们发了一个Claude3几分钟搞定了新量子算法的,今天这个是文科语言学的,人类是不太容易横跨这么大的知识领

Claude 3用几分钟,搞定了语言学家两年的工作

@高飞:Claude1316世界之最 3 用几分钟,搞定了语言学家两年的工作,也是一个惊人的案例。(昨天我们发了一个 Claude3 几分钟搞定了新量子算法的,今天这个是文科语言学的,人类是不太容易横跨这么大的知识领域的)
原文作者叫 An Qu(hahahahohohe on X.com),在 X 上发布了一个使用 Claude3 的案例。具体而言,他用了几千个翻译对数据,就实现了一个小众语言的理解翻译,达到了一个专业学者两年的工作。他在 GPT-4 上进行了相同的测试,就失败了。(看好 OpenAI 近期发布某些重大更新,不然有落伍之忧)

全文如下:
**

今天在测试 @AnthropicAI 的新型模型 Claude 3 Opus 时,我经历了一件令人震撼的事,感觉仿佛见证了一个奇迹。虽然不想听起来太夸张,但这真是我当时的感受。

背景很重要:过去两年里,我一直在为我的母语 —— 车臣语(Circassian)研究自然语言处理(NLP)。车臣语资源非常稀缺,在互联网上几乎无迹可寻。它属于孤立的车臣 - 阿布哈兹语言群,没有任何相关的语言。复杂的形态结构和有限的数据资源,让它成为了语言模型面临的一大挑战。

这几年,我艰苦地从少数资源中整理出了 64K 对翻译配对,并利用特定的模型(如 T5、MLM-100、NLLB-200 等)成功实现了俄语 - 卡巴尔迪安语的机器翻译,取得了不错的成绩。

我决定对 Claude Opus 进行一项试验。我发起了一个新对话,只上传了 5.7K 随机选取的翻译对,这只是我 64K 数据集中的一小部分,甚至没有覆盖全部的词汇量。我想看看它是否能够基于这些例子翻译新的句子。

我没怀有太多期望,仅仅是让它将一个简单的句子 ——“我躺在床上” 从俄语翻译成车臣语。Claude 不仅提供了完美的翻译,还详细解析了语法和形态学结构。

起初,我以为这只是碰巧,这个特定的句子可能正好在提供的例子中。但并非如此。

我尝试构造了一个独一无二、极不寻常的句子,理论上不可能存在于数据中。结果,Claude 再次提供了无懈可击的翻译和分析。仅仅依靠极少量的数据,Claude 的表现竟然接近于我为机器翻译特别训练的模型。这让我难以置信。

进一步的测试包括文学作品中的复杂段落、最近的新闻报道,甚至是语法和书写系统都显著不同的车臣方言文本。Claude 一致地展现了对语言结构深刻的理解,智能地推断出未知词汇,恰当使用借用词,提供可能的词源分析,在翻译中保留原文风格,甚至在需要时创造新词。所有这些成就都是基于仅几千个翻译对完成的。车臣语是一种具有复杂形态结构和语法的黏着语言。

要完成这些任务,需要深入理解语言本身,若由一个不熟悉这种语言的语言学家来做,可能需要至少一年的时间。然而,Opus 仅仅通过 5.7K 个随机翻译对,在不到一分钟内就轻松掌握了这些细微之处。

作为对比,我在 GPT-4 1316.cc上进行了相同的测试,结果完全失败。它甚至无法翻译最简单的句子,更不用说理解语法的复杂性了。我之前也试过在类似的数据集上对 GPT-3.5 进行微调,但得到的也只是杂音。

我不确定 Anthropic 是www.1316.cc如何做到这一点的,但这明显与其他任何东西都不同。虽然许多人对其在合成基准测试中的领先地位表示怀疑,但我亲眼见证的,在一个全新且极具挑战性的基准测试上取得的成果,确实令人震惊,这在训练数据集中几乎是不可能的。

为了排除潜在的数据污染,我尝试了相同的提示,但没有附上样本翻译,结果 Claude 无法进行翻译,并表示不熟悉车臣语。

1316.cc

这一发现意义重大。我两年辛苦工作的成果,Claude 只用几千个示例就轻松实现了。这对于资源匮乏的语言来说,无疑是一次飞跃,对许多其他领域也同样有着深远的影响。

我原本以为这样的进步需要多年才能实现,但它已经发生了。未来已经到来,而且它令人惊叹不已。

@木遥: 原作者后来发了个更新,发现自己弄错了 1316世界之最Claude 3 并不是完全不懂车臣语,所以不是纯粹通过样本学会的(当然结果还是很好,但没有「那么」神奇

本文标题: Claude 3用几分钟,搞定了语言学家两年的工作
本文地址: http://www.1316.cc/qiqufaxian/594267.html
声明:凡注明"本站原创"的所有文字图片等资料,版权均属1316世界之最所有,欢迎转载,但务请注明出处。
如果中国被侵略了 能短时间内爆多少兵尾货出口都是论斤卖的
Top