Валидация

Примечание

Возможно использовать kserve или kfserving.

Для проверки корректности работы (валидации) serving-скрипта можно воспользоваться Jupyter Server c GPU (при создании Jupyter Server в Environments выберите тип с GPU). Последовательность действий пользователя следующая:

  1. Выполните строку в Jupyter Notebook:

    pip install kserve
    
  2. Перейдите в терминал Jupyter Notebook (New → Terminal) и исполните скрипт:

    python myserving-script.py
    

    где myserving-script — имя вашего скрипта.

  3. Найдите в результатах работы скрипта строку с указанием имени модели, которая имеет вид:

    [I 220527 08:53:48 kfserver:88] Registering model: model
    

    где model — имя модели.

  4. Провалидируйте скрипт локально в данном Jupyter Server на порту 8080.

    Команды для обращения к модели должны включать localhost:8080/v1/models/{ИМЯ_МОДЕЛИ}:predict или localhost:8080/v1/models/model:predict. Пример curl запроса для валидации представлен ниже:

    curl --location --request POST 'localhost:8080/v1/models/model_name:predict' \
         --header 'Content-Type: application/json' \
         --data-raw '{
         "instances": [
         {
         "text": "Hello world!"
         }
         ]
         }'
    

    где "text": "Hello world!" — пример пользовательского запроса.