ねえ智也くん、この論文のタイトルがすごく興味深いんだけど、「Emerging Platforms Meet Emerging LLMs: A Year-Long Journey of Top-Down Development」って、どんな内容なの？

ああ、これは機械学習システムを多様なプラットフォームに展開するための新しいアプローチについての研究だよ。特に新しい大規模言語モデルと新しいコンピューティングプラットフォームの組み合わせに焦点を当てているんだ。

へぇ、それで、どうして新しいプラットフォームでの展開が難しいの？

現在のフレームワークは主にCPUやCUDAに最適化されていて、MetalやVulkanのような新しいプラットフォームでは使いにくいんだ。だから、新しい方法が必要なんだよ。

TAPMLっていうのは、どんな方法なの？

TAPMLはトップダウンアプローチを採用していて、開発者の生産性を考慮しながら、モデルを新しいプラットフォームに段階的に移行させるんだ。自動ユニットテストやリアルな入力を使って、効率的に開発を進めることができるよ。

実際に使ってみた結果はどうだったの？

実際に1年間のプロジェクトで使ってみて、新しいモデルとプラットフォームの展開に成功したんだ。開発努力が大幅に最適化されたよ。

それはすごいね！未来の応用可能性についてはどう思う？

このアプローチは他の多くの分野でも応用できる可能性があるね。ただ、まだ解決すべき課題もあるから、これからの研究が楽しみだよ。

ねえ智也くん、もし私がAIを学ぶなら、君が私のTAPMLになってくれる？

それは…ちょっと意味が違うけど、勉強をサポートすることはできるよ。

要点

機械学習（ML）システムを多様なコンピューティングプラットフォームに展開することは、その応用を加速し広げる上で重要です。

新しい大規模言語モデル（LLMs）や新しいコンピューティングプラットフォームの出現により、ソフトウェアエンジニアリングには大きな課題があります。

現在のMLフレームワークは主にCPUとCUDAプラットフォーム用に設計されており、Metal、Vulkan、WebGPUなどの新しいプラットフォームをサポートするにはギャップが存在します。

従来のボトムアップ開発アプローチではこのギャップをタイムリーに埋めることができませんが、TAPMLはトップダウンアプローチとツールを使用して、開発者の生産性を最適化しながらMLシステムの展開を効率化します。

TAPMLは、テストカービングによる自動ユニットテストと、成熟したソースプラットフォームから新しいターゲットプラットフォームへのモデル計算の段階的なオフロード戦略を採用しています。

TAPMLは実際の入力とリモート接続を利用してターゲットの段階的なオフロードを加速し、デバッグの範囲を最小限に抑えます。

TAPMLは1年間の実世界の努力を通じて開発され、重要な新興モデルとプラットフォームの展開に成功しました。

参考論文: http://arxiv.org/abs/2404.09151v2

The post 新しいプラットフォームとLLMsの出会い first appeared on 亜美と智也のAI論文解説.