Intel and Nvidia 開發佈署之比較?
是否可以說明一下單獨針對現在市占率比較大的Nvidia and Intel所提出的AI開發與佈署於硬體平台的比較? 1. Intel Cloud vs NVidia??部分 2. Intel OpenVino vs NVidia優化佈署?? 差異
回答列表
-
2022/09/02 下午 08:38Martin Ku贊同數：2不贊同數：0留言數：0
[2022-11-21] 更新：自問自答~ 推論速度，有興趣的人可以參考 Intel & NVIDIA 官方數據 1. [Intel® Distribution of OpenVINO™ toolkit Benchmark Results](https://docs.openvino.ai/latest/openvino_docs_performance_benchmarks_openvino.html#resnet-50-pytorch-onnx-224x224) 2. [Model Accuracy and Performance for INT8 and FP32](https://docs.openvino.ai/latest/openvino_docs_performance_int8_vs_fp32.html) 2. [Jetson Benchmarks](https://developer.nvidia.com/embedded/jetson-benchmarks) 3. [NVIDIA Data Center Deep Learning Product Performance](https://developer.nvidia.com/deep-learning-performance-training-inference) 公平比較的前提 1. 同樣的模型 (e.g., resnet-50) 2. 同樣的精度 (e.g,, FP32) 論 CP 值個人認為值得考慮的面向 1. 硬體價格 2. 軟體實作成本 3. 推論速度 4. 推論準度 (INT8 速度較快但會犧牲準度) 5. Power Efficiency (效能越強可能越耗電) --- +1 好奇 我是 AI 工程師，我們客戶在意的只有成本效益。具體來說，硬體面 CPU 或許比較便宜，但軟體面 AI 部署的工程難度是否比 NVIDIA 高出很多？也很在意，模型透過 Intel 軟體轉換部署後，AI 推論的準確性是否會下降、推論速度比起 NVIDIA 慢多少？ 若要說服客戶用 CPU 而非 GPU 部署 AI，以上是對我們客戶來說重要的問題，希望有經驗的專家可以分享實際數據供參考。