スキップしてメイン コンテンツに移動

投稿

注目

M2 Mac で FlexGen を使ってみる

彗星のごとく現れた FlexGen を Apple Silicon M2 の Mac で使ってみたいと思います。 GitHub - FMInference/FlexGen: Throughput-oriented systems for large language models on commodity GPUs. https://github.com/FMInference/FlexGen この情報はFlexGenが発表されたばかりの2023年3月10日現在の情報であるため、随時情報をアップデートしてください。 追記 : 下記の方法でするのがおすすめです。 大規模言語モデルOPTをM1/M2 Mac上のFlexGenで動かしてチャットする|りん こうたつ|note   1. 必要環境を整える ※MacOS 13以上での実施推奨。 それより古いとtorch.cumsum の MPS サポートが無い為です。 Pythonやライブラリが既に入っている人は以下は必要ありません。 1-1. python のインストール Homebrewで入れる方法ですが他の方法でも構いません。 $ brew install python $ python3 -V -> Python 3.11.2 1-2. 必要なライブラリのインストール $ pip3 install --upgrade pip $ pip3 install numpy $ pip3 install attrs $ pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu pytorch (torch) をインストールするコマンドは下記から取得して pip を pip3 に変えています。 Start Locally | PyTorch https://pytorch.org/get-started/locally/ PyTorch Build は Stable ではなく Preview (Nightly) を選択してください。 2. インストール FlexGen を Git から clone してm1ブランチにきりかえてインストール。 $ git cl

最新の投稿

Cloudflare のフリープラン

Google Tag Assistant

passenger-status コマンドが使えない

Blogger でシンタックスハイライティング

ひさしぶり

docomo端末のMVNO準備+α

Yummy FTP で公開鍵認証ができない時

20名を越える環境での無線LAN機器について

unable to convert "\xCF" from ASCII-8BIT to UTF-8

macにdnsmasqをインストール