Валидация
Для проверки корректности работы serving-скрипта можно воспользоваться Jupyter Server c GPU (при создании Jupyter Server в Environments выберите тип с GPU). Последовательность действий пользователя следующая:
В Jupyter Notebook выполните строку:
pip install kfserving
Перейдите в терминал Jupyter Notebook (
) и исполните скрипт:python myserving-script.py
где
myserving-script
— имя вашего скрипта.В результате сервис развернется в данном Jupyter Server (на порту 8080). Вы сможете проверить валидность скрипта, а также корректность ответов, отправляя запросы внутри этого сервера локально.