BentoML

構造

最もシンプルなBentoMLモデルパッケージは、以下のような構造になります。

├── bentofile.yaml
├── requirements.txt
├── packages.txt
└── service.py

BentoMLの配布環境では、buildpack-deps:jammy (Ubuntu 22.04) ベースでPython 3.10を使用します。解凍されたモデルは /user/model に配置されます。

Linuxパッケージ管理ツールであるapt-getを使用して、パッケージをインストールできます。インストールするパッケージはpackages.txtに一行ずつ記述できます。

ffmpeg
libopenal1

packages.txtに記載されているパッケージは、以下のコマンドでシステムにインストールされます。

xargs sudo apt-get --no-install-recommends -y install < packages.txt

環境準備スクリプトはrequirements.txtに記載されたpipパッケージのみをインストールします。requirements.txtにbentomlが含まれている必要があります。

pip install --no-cache-dir -r requirements.txt

現在の環境にインストールされているすべてのパッケージをリストするには、以下のコマンドを使用できます。

pip freeze > requirements.txt

実行コンテナ内でBentoMLは以下のコマンドで実行されます。ローカル環境でも同じコマンドで実行されるか確認できます。

bentoml serve /user_model --host 0.0.0.0 --p 8080

BentoMLベースのモデル作成に関する詳細は、BentoML docs を参照してください。