M2 Mac で FlexGen を使ってみる
彗星のごとく現れた FlexGen を Apple Silicon M2 の Mac で使ってみたいと思います。 GitHub - FMInference/FlexGen: Throughput-oriented systems for large language models on commodity GPUs. https://github.com/FMInference/FlexGen この情報はFlexGenが発表されたばかりの2023年3月10日現在の情報であるため、随時情報をアップデートしてください。 追記 : 下記の方法でするのがおすすめです。 大規模言語モデルOPTをM1/M2 Mac上のFlexGenで動かしてチャットする｜りん こうたつ｜note 1. 必要環境を整える ※MacOS 13以上での実施推奨。 それより古いとtorch.cumsum の MPS サポートが無い為です。 Pythonやライブラリが既に入っている人は以下は必要ありません。 1-1. python のインストール Homebrewで入れる方法ですが他の方法でも構いません。 $ brew install python $ python3 -V -> Python 3.11.2 1-2. 必要なライブラリのインストール $ pip3 install --upgrade pip $ pip3 install numpy $ pip3 install attrs $ pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu pytorch (torch) をインストールするコマンドは下記から取得して pip を pip3 に変えています。 Start Locally | PyTorch https://pytorch.org/get-started/locally/ PyTorch Build は Stable ではなく Preview (Nightly) を選択してください。 2. インストール FlexGen を Git から clone してm1ブランチにきりか...
