Máy tính Hưng Danh

NVIDIA công bố các cập nhật lớn cho Triton Inference Server khi hơn 25.000 công ty trên toàn thế giới triển khai NVIDIA AI Inference

NVIDIA AI Inference và bản cập nhât cho 25,000+ doanh nghiệp trên toàn cầu

NVIDIA công bố các cập nhật lớn cho Triton Inference Server khi hơn 25.000 công ty trên toàn thế giới triển khai NVIDIA AI Inference

NVIDIA hôm nay đã công bố các bản cập nhật lớn cho nền tảng suy luận AI của mình, hiện đang được Capital One, Microsoft, Samsung Medison, Siemens Energy và Snap, trong số hơn 25.000 khách hàng của mình sử dụng.

Các bản cập nhật bao gồm các khả năng mới trong phần mềm NVIDIA Triton Inference Server ™ mã nguồn mở , cung cấp suy luận đa nền tảng trên tất cả các mô hình và khuôn khổ AI và NVIDIA TensorRT ™, tối ưu hóa các mô hình AI và cung cấp thời gian chạy để suy luận hiệu suất cao trên GPU NVIDIA .

Công ty cũng giới thiệu GPU NVIDIA A2 Tensor Core , một bộ tăng tốc công suất thấp, tiết kiệm năng lượng cho khả năng suy luận AI ở rìa, mang lại hiệu suất suy luận gấp 20 lần so với CPU.

Ian Buck, Phó chủ tịch kiêm Tổng giám đốc mảng máy tính gia tốc tại NVIDIA cho biết:

 “Nền tảng suy luận AI của NVIDIA đang thúc đẩy sự đột phá trên hầu hết mọi ngành, bao gồm chăm sóc sức khỏe, dịch vụ tài chính, bán lẻ, sản xuất và siêu máy tính. “Cho dù đưa ra các đề xuất thông minh hơn, khai thác sức mạnh của AI đàm thoại hay thúc đẩy khám phá khoa học, nền tảng suy luận của NVIDIA cung cấp hiệu suất linh hoạt với độ trễ thấp, thông lượng cao, dễ sử dụng để cung cấp năng lượng cho các ứng dụng AI mới quan trọng trên toàn thế giới.”

Các bản cập nhật tối ưu hóa phần mềm chính cho Máy chủ suy luận Triton bao gồm:

  • Triton Model Analyzer

     – Công cụ mới này tự động hóa nhiệm vụ tối ưu hóa quan trọng bằng cách giúp chọn cấu hình tốt nhất cho các mô hình AI từ hàng trăm khả năng. Nó đạt được hiệu suất tối ưu trong khi đảm bảo chất lượng dịch vụ cần thiết cho các ứng dụng.

  • Chức năng Multinode Multi-GPU

    – Chức năng mới này cho phép các mô hình ngôn ngữ lớn dựa trên Transformer, chẳng hạn như Megatron 530B , không còn phù hợp với một GPU duy nhất để được truyền qua nhiều GPU và nút máy chủ và cung cấp hiệu suất suy luận theo thời gian thực.

  • RAPIDS FIL

     – Phần phụ trợ mới này dành cho việc suy luận GPU hoặc CPU của các mô hình cây quyết định được tăng cường độ dốc và rừng ngẫu nhiên cung cấp cho các nhà phát triển một công cụ triển khai thống nhất cho cả học sâu và học máy truyền thống với Triton.

  • Tích hợp Amazon SageMaker

     – Tích hợp liền mạch này cho phép khách hàng dễ dàng triển khai các mô hình đa khuôn khổ với hiệu suất cao bằng cách sử dụng Triton trong SageMaker, dịch vụ AI được quản lý hoàn toàn của AWS.

  • Hỗ trợ cho CPU Arm

     – Triton hiện bao gồm các phần mềm phụ trợ để tối ưu hóa khối lượng công việc suy luận AI trên CPU Arm, ngoài GPU NVIDIA và CPU x86

Triton cung cấp khả năng suy luận AI trên GPU và CPU trong đám mây, trung tâm dữ liệu, biên doanh nghiệp và được nhúng, được tích hợp vào AWS, Google Cloud, Microsoft Azure và Alibaba Cloud PAI-EAS và được bao gồm trong NVIDIA AI Enterprise .

NVIDIA AI Enterprise là bộ phần mềm end-to-end để phát triển và triển khai AI. Nó được tối ưu hóa, chứng nhận và hỗ trợ bởi NVIDIA để cho phép khách hàng chạy khối lượng công việc AI trên các máy chủ chính trong các trung tâm dữ liệu tại chỗ và các đám mây riêng.

Ngoài Triton, TensorRT hiện được tích hợp với TensorFlow và PyTorch, cung cấp hiệu suất nhanh hơn gấp 3 lần so với suy luận trong khuôn khổ chỉ với một dòng mã. Điều này cung cấp cho các nhà phát triển sức mạnh của TensorRT trong một quy trình làm việc được đơn giản hóa rất nhiều.

NVIDIA TensorRT 8.2, phiên bản mới nhất của SDK, tăng tốc hiệu suất cao, suy luận học sâu, mang lại thông lượng cao và độ trễ thấp trên đám mây, tại cơ sở hoặc tại biên giới. Với những tối ưu hóa mới, các mô hình ngôn ngữ với hàng tỷ tham số có thể được chạy trong thời gian thực.

Các nhà lãnh đạo ngành công nhận Nền tảng NVIDIA AI để suy luận

Các nhà lãnh đạo trong ngành đang sử dụng nền tảng suy luận NVIDIA AI để cải thiện hoạt động kinh doanh của họ và cung cấp cho khách hàng các dịch vụ hỗ trợ AI mới.

Dịch vụ nhận thức Microsoft Azure cung cấp các API dựa trên đám mây cho các mô hình AI chất lượng cao để tạo ra các ứng dụng thông minh. Nó đang sử dụng Triton để chạy các mô hình chuyển lời nói thành văn bản cung cấp cho người dùng Microsoft Teams những phụ đề và phiên âm trực tiếp chính xác.

“Microsoft Teams là một công cụ thiết yếu để giao tiếp và cộng tác trên toàn thế giới, với gần 250 triệu người dùng hoạt động hàng tháng,” Shalendra Chhabra, giám đốc PM chính của Teams Gọi và Họp và Thiết bị tại Microsoft cho biết. “Các mô hình AI như thế này cực kỳ phức tạp, đòi hỏi hàng chục triệu tham số mạng nơ-ron để cung cấp kết quả chính xác trên hàng chục ngôn ngữ khác nhau. Mô hình càng lớn thì càng khó chạy hiệu quả về chi phí trong thời gian thực. GPU NVIDIA và Máy chủ suy luận Triton trên Dịch vụ nhận thức Azure của Microsoft đang giúp tăng cường khả năng ghi chú và phiên âm trực tiếp theo cách hiệu quả về mặt chi phí, sử dụng 28 ngôn ngữ và phương ngữ, với AI trong thời gian thực. ”

Samsung Medison, một công ty thiết bị y tế toàn cầu và là chi nhánh của Samsung Electronics, đang sử dụng NVIDIA TensorRT để cung cấp chất lượng hình ảnh y tế nâng cao bằng cách sử dụng các tính năng Intelligent Assist cho các hệ thống siêu âm của mình. Samsung Medison dành riêng cho việc nâng cao cuộc sống của bệnh nhân và các chuyên gia chăm sóc sức khỏe bằng cách nâng cao sự thoải mái của họ, giảm thời gian quét, đơn giản hóa quy trình làm việc và cuối cùng là tăng thông lượng hệ thống.

“Bằng cách tận dụng NVIDIA TensorRT trong hệ thống Siêu âm cao cấp V8 mới sắp ra mắt, chúng tôi có thể hỗ trợ các chuyên gia y tế tốt hơn khi đọc và chẩn đoán hình ảnh,” Won-Chul Bang, phó chủ tịch kiêm trưởng nhóm Trải nghiệm khách hàng tại Samsung Medison cho biết . “Chúng tôi đang tích cực giới thiệu các công nghệ dựa trên AI vào hệ thống siêu âm của mình để hỗ trợ tốt hơn cho các chuyên gia y tế, để họ có thể tập trung vào các khía cạnh quan trọng hơn trong chẩn đoán và điều trị bệnh nhân.”

Siemens Energy , một công ty năng lượng thuần túy với các giải pháp công nghệ năng lượng hàng đầu, đang sử dụng Triton để giúp khách hàng nhà máy điện quản lý cơ sở vật chất của họ bằng AI.

Arik Ott, giám đốc danh mục các hoạt động tự quản của Siemens Energy cho biết:

 “Tính linh hoạt của NVIDIA Triton Inference Server đang cho phép các nhà máy điện phức tạp cao, thường được trang bị camera và cảm biến nhưng với hệ thống phần mềm kế thừa, tham gia cuộc cách mạng công nghiệp tự trị.

Snap, công ty máy ảnh và mạng xã hội toàn cầu bao gồm các sản phẩm và dịch vụ như Snapchat, Spectacles và Bitmoji, đang sử dụng công nghệ NVIDIA để cải thiện khả năng kiếm tiền và giảm chi phí.

Nima Khajehnouri, phó chủ tịch kỹ thuật của Nhóm lập bản đồ và kiếm tiền tại Snap, cho biết:

 “Snap đã sử dụng GPU NVIDIA và TensorRT để cải thiện hiệu quả chi phí trong suy luận máy học lên 50% và giảm độ trễ phân phát xuống 2 lần”. để thử nghiệm và triển khai các mô hình xếp hạng nội dung và quảng cáo nặng hơn, chính xác hơn. ”

Nền tảng NVIDIA AI cho sự suy luận bao gồm Hệ thống được chứng nhận NVIDIA mới,

Hệ thống được chứng nhận NVIDIA ™ mới dành cho GPU A2 cho phép khách hàng xác định, có được và triển khai các hệ thống cho các ứng dụng AI hiện đại đa dạng trên cơ sở hạ tầng có hiệu suất cao, hiệu quả về chi phí và khả năng mở rộng và hiện bao gồm hai danh mục mới cho AI tiên tiến.

Các danh mục mở rộng cho phép các đối tác hệ thống của NVIDIA cung cấp cho khách hàng một dòng sản phẩm hoàn chỉnh của Hệ thống được Chứng nhận NVIDIA được hỗ trợ bởi GPU dựa trên kiến trúc NVIDIA Ampere để xử lý hầu như mọi khối lượng công việc. Điều này bao gồm các mới NVIDIA A2 GPU , một entry-level, công suất thấp, máy gia tốc nhỏ gọn cho suy luận và cạnh AI trong các máy chủ cạnh. Với NVIDIA A30 dành cho các máy chủ doanh nghiệp phổ biến và NVIDIA A100 dành cho các máy chủ AI hiệu suất cao nhất, việc bổ sung NVIDIA A2 mang lại khả năng tăng tốc suy luận AI toàn diện trên toàn bộ biên, trung tâm dữ liệu và đám mây.

Các đối tác sản chính :

Các nhà cung cấp hệ thống doanh nghiệp hàng đầu toàn cầu như Atos , Dell Technologies , GIGABYTE , Hewlett Packard Enterprise , Inspur , Lenovo và Supermicro hỗ trợ NVIDIA AI Enterprise trên Hệ thống được chứng nhận của NVIDIA trong danh mục hệ thống AI của họ.

Các nhà cung cấp hệ thống bổ sung như Advantech , ASRock Rack , ASUS , H3C, Nettrix và QCT cũng cung cấp Hệ thống được Chứng nhận NVIDIA cho nhiều khối lượng công việc khác nhau. Các Hệ thống được Chứng nhận NVIDIA đầu tiên đạt chứng nhận trong các danh mục cạnh mới sẽ sớm có mặt từ các nhà cung cấp hàng đầu bao gồm Advantech , GIGABYTE và Lenovo .

Khả năng có sẵn:

Triton có sẵn từ danh mục NVIDIA NGC ™ , một trung tâm dành cho phần mềm AI được tối ưu hóa cho GPU bao gồm các khung, bộ công cụ, mô hình đào tạo trước và Máy tính xách tay Jupyter, và dưới dạng mã nguồn mở từ kho lưu trữ Triton GitHub . TensorRT có sẵn cho các thành viên của chương trình NVIDIA Developer từ trang TensorRT . Các phiên bản plugin, trình phân tích cú pháp và mẫu mới nhất cũng có sẵn dưới dạng mã nguồn mở từ kho lưu trữ TensorRT GitHub .

Khách hàng có thể trải nghiệm NVIDIA Triton trong bộ phần mềm NVIDIA AI Enterprise thông qua các phòng thí nghiệm được quản lý có sẵn trên khắp thế giới trong NVIDIA LaunchPad, được công bố riêng vào ngày hôm nay.

Bộ phần mềm NVIDIA AI Enterprise có sẵn từ các đối tác kênh NVIDIA trên toàn thế giới, bao gồm Atea, Axians, Carahsoft Technology Corp. , Computacenter , Insight Enterprises , Presidio, Sirius, SoftServe , SVA System Vertrieb Alexander GmbH, TD SYNNEX , Trace3 và World Wide Technology .

Tham khảo các sản phẩm Workstation: Tại đây.

Cập nhật tin tức khuyến mãi và thông tin mới nhất tại: FANPAGE MÁY TÍNH HƯNG DANH

Các tin tức IT mới nhất tại: Tin tức