Валидация

Примечание

Возможно использовать kserve или kfserving.

Для проверки корректности работы (валидации) serving-скрипта можно воспользоваться Jupyter Server c GPU (при создании Jupyter Server в Environments выберите тип с GPU). Последовательность действий пользователя следующая:

1. Выполните строку в Jupyter Notebook:

   pip install kserve
   

2. Перейдите в терминал Jupyter Notebook (New → Terminal) и исполните скрипт:

   python myserving-script.py
   

   где myserving-script — имя вашего скрипта.

3. Найдите в результатах работы скрипта строку с указанием имени модели, которая имеет вид:

   [I 220527 08:53:48 kfserver:88] Registering model: model
   

   где model — имя модели.

4. Провалидируйте скрипт локально в данном Jupyter Server на порту 8080.

   Команды для обращения к модели должны включать localhost:8080/v1/models/{ИМЯ_МОДЕЛИ}:predict или localhost:8080/v1/models/model:predict. Пример curl запроса для валидации представлен ниже:

   curl --location --request POST 'localhost:8080/v1/models/model_name:predict' \
        --header 'Content-Type: application/json' \
        --data-raw '{
        "instances": [
        {
        "text": "Hello world!"
        }
        ]
        }'
   

   где "text": "Hello world!" — пример пользовательского запроса.