如何进行推理？

[GinkgoX]

您好，请问训练好的权重可以单独拿出来做成推理服务，提供推理接口吗？

[JayYip]

可以的，具体预测的实现可以参考

https://github.com/JayYip/bert-multitask-learning/blob/d1f7defd6f68f7f45641123eaf295f7620cc46e2/bert_multitask_learning/run_bert_multitask.py#L397

如果要存成SavedModel来推理的话可能需要一些模型改动。