ノアム・チョムスキーは、言語を理解するために純粋な統計モデルを使用することに対して強い懐疑心を表しています。彼は、これらのモデルが未分析のデータを近似することで「工学的な成功」を収めることはあっても、言語学の基礎となる原理に対する科学的な洞察を提供することには失敗していると主張します。チョムスキーにとって、言語的事実を正確にモデル化することは「蝶の収集」に似ています。それは、それらを支配するメカニズムを理解することなく、単にデータポイントを集めるプロセスです。彼は、人間は確率表を参照して文の次の単語を決めているのではなく、内部の意味論的な形態を統語構造にマッピングしており、そのプロセスは根本的に非統計的なものであると主張しています。
この肖像は、記事で議論されている言語学における純粋な統計モデルの主要な批判者であるノアム・チョムスキーを特定するものです。
これらの批判に対し、ピーター・ノーヴィグは、工学と科学の区別は二項対立ではないと主張します。工学的な成功は科学の唯一の尺度ではありませんが、モデルが正しく機能していることの証拠となります。ノーヴィグは、科学は理論構築と、事実の労苦を伴う蓄積の組み合わせを通じて進歩するものであり、後者は科学的進歩の標準的な形態であると示唆しています。また、彼は、数十億のパラメータを持つモデルを人間が個別に検査することは困難かもしれませんが、成功率や学習曲線といったモデルの特性を調査することで、依然として洞察を得ることは可能であると明らかにしています。さらに、ノーヴィグは、チョムスキーの異議は、クロード・シャノンによって提案されたような高パラメータモデルに特有のものであり、あらゆる形態の統計的推論に対するものではない可能性があると指摘しています。
クロード・シャノンは、チョムスキーの異議が対象としている可能性のある高パラメータモデルの具体的な例として、ピーター・ノーヴィグによって言及されています。
ノーヴィグはさらに、音声認識のような多くの言語的タスクは、話し手が最も意図した内容を判断するためにノイズの多い入力を解釈することを伴うため、本質的に確率的であると主張します。彼は、多くの自然現象が確率的であるため、確率モデルはそれらの事実を表現するための最も単純で効果的なツールであることが多いと仮定しています。これは現在の技術的景観にも反映されており、主要な検索エンジン、音声認識システム、およびトップクラスの機械翻訳競合製品は、統計的手法または確率的手法を利用しています。チョムスキーは、統計モデルがある特定の方法で言語を学習できないことが証明されたため、言語は先天的なものでなければならないと主張し続けていますが、ノーヴィグは、人間はまだ完全には理解されていない先天的な能力の一部として、確率的な表現や統計的学習を使用している可能性があると示唆しています。これらのモデルが人間の認知への真の窓を提供するのか、あるいは単にその出力の高度に効果的なシミュレーションに過ぎないのかについては、議論の余地が残っています。
この議論における重要な制限の一つは、チョムスキーが引用する「先天的な能力」に関する決定的な証拠が欠如していることです。この能力が言語に特有のものなのか、あるいはより一般的な認知機能なのかは依然として不明です。加えて、ノーヴィグは統計モデルの実用的な成功を強調していますが、人間は単語の順序を決定するために確率表を使用していないというチョムスキーの具体的な主張に対する技術的な反論は提供されておらず、人間の言語産出の根本的なメカニズムは継続的な論争の点として残されています。