遂にNvidiaからオンプレPCで動くLMMを無償配布！
RTX による NVIDIA チャット
パーソナライズされた AI チャットボット。
www.nvidia.com
Mistral7BとLlama2 13Bを切り替えられるようになっており、現時点ではMistral7Bでは日本語に対応していますが、Llama2 13Bは英語のみの対応のようです。
データは2021年までのデータのようで、ウェブ検索機能は実装されていません。使用感はやはりGPT-4とは比べ物にないくらい早いです。ただ弊社の環境はRTX A5000を2枚実装しているので一般的な環境とは異なります。
大手企業への導入は、オンプレという要望が多いので、これを改造して納品する形になる可能性が見えてきました。弊社はAzureAiとこのオンプレで動くAIと2本立てで今後提案できますのでご相談下さい。
コメント