中国の検索大手・バイドゥの最高技術責任者（CTO）である王海峰氏は10月17日、北京の首都鋼鉄パークで「未来を生成」をテーマに開催されたBaidu World 2023で、大規模言語モデル（LLM）である「文心4.0」を支える基幹技術や最新の状況について説明した。「文心4.0」は、理解、生成、論理、記憶能力が顕著に向上しており、9月から若干量ながら実用化され、１か月あまりで効果がおよそ30%アップしたとのことである。また、「文心一言」は8月31日に一般公開されてから現在に至るまで、ユーザー規模が4500万人、開発者が5.4万人、シーンが4300、応用が825、アドオンが500以上に達している。

バイドゥが3月16日に発表した知識強化型の「文心一言」は、数兆件のデータと数千億の知識を接続して学習し、LLMの訓練を果たした。これをベースにファインチューニング、人間の評価による強化学習、プロンプトといった技術を取り入れ、知識、検索、対話がパワーアップしている。

この日に発表された「文心4.0」は、従来のバージョンに比べて理解、生成、論理、記憶能力が顕著に向上している。「文心4.0」は9月、9月から若干ながら実用化され、１か月あまりで効果がおよそ30%アップした。アルゴリズムの訓練効率は3月の4.6倍となり、週平均の訓練効率も98%を越えている。基本アーキテクチャーは3.0バージョン、3.5バージョンを踏襲しており、その上で複数の基幹技術に改良を加えている。