SeldonDeployment from MLflow #94
-
|
안녕하세요, Seldon Core yaml 파일 작성에서 모델의 주소를 저의 s3주소로 변경 후 apply하여 정상적으로 pod가 작동되었습니다. 하지만 이후 Swagger UI에서 Request body를 어떤식으로 작성해야 하는지 감이 잡히질 않습니다. 우선 API DEPLOYMENT 2. Deploy SeldonDeployment 와 동일하게 작성을 하였지만 아래와 같은 에러가 발생하였습니다. Request body: Response body: 위 형식은 gs://seldon-models/v1.12.0-dev/sklearn/iris 의 모델에서 쓰이는 형식이기 때문에 현재 모델에 맞지 않는것이라 판단했고 kfp 구축과정에서 생성되는 input_example.json의 형식을 넣어보았습니다. Request body: Response body: 이번에도 완전히 같지는 않지만 비슷한 에러가 발생하였습니다. 이후 여러차례 형식을 바꿔가면서 시도해보았지만 모두 응답을 얻지 못하였습니다. 모델 input의 형식을 어디에서 확인할 수 있을까요? |
Beta Was this translation helpful? Give feedback.
Replies: 1 comment 7 replies
-
|
안녕하세요. curl -X POST <YOUR PREDICTION URI> \
-H 'Content-Type: application/json' \
-d '{
"data": {
"ndarray": [
[ 7, 3.2, 4.7, 1.4 ]
],
"names": [ "sepal length (cm)", "sepal width (cm)", "petal length (cm)", "petal width (cm)" ]
}
}'위에 처럼 data안에 ndarray와 names로 입력해주셔야 합니다. |
Beta Was this translation helpful? Give feedback.
-
|
request: input_example.json: |
Beta Was this translation helpful? Give feedback.
-
|
추가적으로 작성한 mlflow-pipeline.py 와 seldon-mlflow.yaml은 아래와 같습니다. mlflow-pipeline.py: from functools import partial
from kfp.components import InputPath, OutputPath, create_component_from_func
from kfp.dsl import pipeline
import kfp
@partial(
create_component_from_func,
packages_to_install=["pandas", "scikit-learn"],
)
def load_iris_data(data_path: OutputPath('csv'), target_path: OutputPath('csv')):
import pandas as pd
from sklearn.datasets import load_iris
iris = load_iris()
data = pd.DataFrame(iris['data'], columns=iris['feature_names'])
target = pd.DataFrame(iris['target'], columns=['target'])
data.to_csv(data_path, index=False)
target.to_csv(target_path, index=False)
@partial(
create_component_from_func,
packages_to_install=["dill==0.3.4", "pandas==1.3.4", "scikit-learn==1.0.1", "mlflow"],
)
def train_from_csv(train_data_path: InputPath('csv'),
train_target_path: InputPath('csv'),
model_path: OutputPath('dill'),
input_example_path: OutputPath('dill'),
signature_path: OutputPath('dill'),
conda_env_path: OutputPath('dill'),
kernel: str):
import dill
import pandas as pd
from sklearn.svm import SVC
from mlflow.models.signature import infer_signature
from mlflow.utils.environment import _mlflow_conda_env
train_data = pd.read_csv(train_data_path)
train_target = pd.read_csv(train_target_path)
clf = SVC(kernel=kernel)
clf.fit(train_data, train_target)
with open(model_path, mode='wb') as f:
dill.dump(clf, f)
input_example = train_data.sample(1)
with open(input_example_path, mode="wb") as f:
dill.dump(input_example, f)
signature = infer_signature(train_data, clf.predict(train_data))
with open(signature_path, "wb") as f:
dill.dump(signature, f)
conda_env = _mlflow_conda_env(
additional_pip_deps=["dill", "pandas", "scikit-learn"]
)
with open(conda_env_path, "wb") as f:
dill.dump(conda_env, f)
@partial(
create_component_from_func,
packages_to_install=["dill", "pandas", "scikit-learn", "mlflow", "boto3"],
)
def upload_sklearn_model_to_mlflow(
model_name: str,
model_path: InputPath("dill"),
input_example_path: InputPath("dill"),
signature_path: InputPath("dill"),
conda_env_path: InputPath("dill"),
):
import os
import dill
from mlflow.sklearn import save_model
from mlflow.tracking.client import MlflowClient
os.environ["MLFLOW_S3_ENDPOINT_URL"] = "http://minio-service.kubeflow.svc:9000"
os.environ["AWS_ACCESS_KEY_ID"] = "minio"
os.environ["AWS_SECRET_ACCESS_KEY"] = "minio123"
client = MlflowClient("http://mlflow-server-service.mlflow-system.svc:5000")
with open(model_path, mode="rb") as file_reader:
clf = dill.load(file_reader)
with open(input_example_path, "rb") as file_reader:
input_example = dill.load(file_reader)
with open(signature_path, "rb") as file_reader:
signature = dill.load(file_reader)
with open(conda_env_path, "rb") as file_reader:
conda_env = dill.load(file_reader)
save_model(
sk_model=clf,
path=model_name,
serialization_format="cloudpickle",
conda_env=conda_env,
signature=signature,
input_example=input_example,
)
run = client.create_run(experiment_id="0")
client.log_artifact(run.info.run_id, model_name)
@pipeline(name='complex_pipeline')
def mlflow_pipeline(kernel: str, model_name: str):
iris_data = load_iris_data()
model = train_from_csv(
train_data=iris_data.outputs["data"],
train_target=iris_data.outputs["target"],
kernel=kernel,
)
_ = upload_sklearn_model_to_mlflow(
model_name=model_name,
model=model.outputs["model"],
input_example=model.outputs["input_example"],
signature=model.outputs["signature"],
conda_env=model.outputs["conda_env"],
)
if __name__ == '__main__':
kfp.compiler.Compiler().compile(mlflow_pipeline, "mlflow_pipeline.yaml")seldon-mlflow.yaml |
Beta Was this translation helpful? Give feedback.
-
|
해당 이슈는 seldon core가 schema를 처리하는 부분에서 오류가 나는 것 같습니다. |
Beta Was this translation helpful? Give feedback.
-
|
@tjems6498 def predict(
self, X: np.ndarray, feature_names: List[str] = [], meta: Dict = None
) -> Union[np.ndarray, List, Dict, str, bytes]:
logger.debug(f"Requesting prediction with: {X}")
if not self.ready:
raise requests.HTTPError("Model not loaded yet")
if self.xtype == "ndarray":
result = self._model.predict(X)
else:
if feature_names is not None and len(feature_names) > 0:
df = pd.DataFrame(data=X, columns=feature_names)
else:
df = pd.DataFrame(data=X)
result = self._model.predict(df)
logger.debug(f"Prediction result: {result}")
return result여기서 xtype이 ndarray이면 바로 모델로 predict를 하는데, 스키마는 데이터 프레임 타입을 필요로 하기 때문에 나는 에러였습니다. apiVersion: machinelearning.seldon.io/v1
kind: SeldonDeployment
metadata:
name: seldon-example
namespace: kubeflow-user-example-com
spec:
name: model
predictors:
- name: model
componentSpecs:
- spec:
volumes:
- name: model-provision-location
emptyDir: {}
initContainers:
- name: model-initializer
image: gcr.io/kfserving/storage-initializer:v0.4.0
args:
- "s3://mlflow/mlflow/artifacts/0/39ff2e97b8944e9287e31d382a75f12f/artifacts/support-vector-machine"
- "/mnt/models"
volumeMounts:
- mountPath: /mnt/models
name: model-provision-location
envFrom:
- secretRef:
name: seldon-init-container-secret
containers:
- name: model
image: ghcr.io/mlops-for-all/mlflowserver
volumeMounts:
- mountPath: /mnt/models
name: model-provision-location
readOnly: true
securityContext:
privileged: true
runAsUser: 0
runAsGroup: 0
graph:
name: model
type: MODEL
parameters:
- name: model_uri
type: STRING
value: "/mnt/models"
- name: xtype
type: STRING
value: "dataframe"
children: []이 내용을 반영해 수정하도록 하겠습니다. |
Beta Was this translation helpful? Give feedback.
-
|
덕분에 해결하였습니다. 좋은 자료와 빠른 답변 주셔서 정말 감사합니다! |
Beta Was this translation helpful? Give feedback.
안녕하세요.
body를 구성하는 부분은 자동으로 생성해주는 swagger 로는 이해하기 어려운 부분이 있습니다.
해당 내용은 seldon core 공식 문서를 참고하면 좋을 것 같습니다.
공식 문서에 따르면 다음과 같이 작성해야 합니다.
위에 처럼 data안에 ndarray와 names로 입력해주셔야 합니다.