NVIDIA с открытым исходным кодом Nemotron-Mini-4B-Instruct Model для развертывания в области развертывания

15 сентября Marktechpost, технологический средства массовой информации, сообщил, что Nvidia открыла модель AI Nemotron-Mini-4B-Instruct, отмечая еще одну веху в инновациях компании в пространстве искусственного интеллекта.

Модель AI Nemotron-Mini-4b-Instruct, специально разработанная для таких задач, как ролевая игра, получение поколения поиска (RAG) и вызов функций.Это небольшая языковая модель (SLM), дистиллированная и оптимизированная из более крупной модели Nemotron-4 15b.

NVIDIA использовала передовые методы ИИ, такие как обрезка, квантование и дистилляция, для создания меньшей и более эффективной модели, что делает ее особенно подходящей для развертывания на устройстве.

Несмотря на уменьшенный размер, производительность модели в конкретных сценариях, таких как ролевые игры и функциональные вызова, остается бескомпромиссной, что делает ее практическим выбором для приложений, требующих быстрых, ответов по требованию.

Настраиваясь на модели Minitron-4b-базой, Nemotron-Mini-4b-Instruct Model, включает в себя технологию сжатия LLM.Одной из наиболее заметных особенностей является его способность обрабатывать окно контекста 4096-ток, что позволяет ему генерировать более длинные и более когерентные ответы.