Компания OpenAI упрощает разработчикам интеграцию моделей ChatGPT и Whisper AI в свои приложения. С этой целью недавно были представлены два платных API.

Первый представленный API ориентирован на ChatGPT. До сих пор этот инструмент был доступен только через графический (веб) интерфейс, поэтому эту технологию нельзя было использовать в других приложениях.

Между тем, модель была дополнительно оптимизирована, так что для её запуска и доступа к функциям серверной части требуется меньше оборудования. Всё это в итоге значительно снизило стоимость эксплуатации.

Из-за этой оптимизации и снижения затрат использование нового API ChatGPT с пометкой gpt-3.5-turbo ниже, чем у существующих моделей GPT 3.5. Стоимость этого API составляет 0,002 доллара за 1000 токенов. Это делает ChatGPT до десяти раз дешевле, чем вышеупомянутые другие модели GPT 3.5.

Базовая инфраструктура инструмента ИИ работает в Microsoft Azure. Это означает, что развёртывания нескольких пользователей выполняются на одном (общем) оборудовании.

Поэтому для пользователей, которые хотят ещё более интенсивно работать с ChatGPT или развернуть его для других решений, OpenAI также теперь представляет «выделенные экземпляры» или выделенные серверы.

В этом случае разработчики платят только за время, затраченное на выделение вычислительных мощностей для обработки их запросов. С выделенными инстансами они также получают полный контроль над загрузкой этих инстансов. Более высокие нагрузки улучшают пропускную способность запросов, но замедляют обработку каждого запроса.

Они также получают дополнительные опции функциональности. К ним относятся более длительные ограничения контекста и возможность «закрепить» снимок модели.

В OpenAI сообщили, что использование этих выделенных экземпляров имеет смысл только для разработчиков, которые хотят запускать более 450 миллионов токенов в день. Кроме того, выделенные экземпляры обеспечивают лучшую оптимизацию рабочих нагрузок разработчиков по сравнению с производительностью оборудования. Это обеспечивает значительную экономию средств по сравнению с использованием общей инфраструктуры. Цены на эти выделенные инстансы можно запросить у OpenAI.

Все пользователи API ChatGPT, а не только пользователи выделенных экземпляров, могут дополнительно извлечь выгоду из любых оптимизаций, внесенных в модель.

В дополнение к модели ChatGPT модель транскрипции OpenAI Whisper AI теперь также имеет платный API. Этот API предоставляет доступ к управляемой версии этой модели ИИ. Whisper был представлен как модель с открытым исходным кодом в сентябре прошлого года. Это облегчает компаниям развёртывание модели в своей собственной среде, а не в API OpenAI. Тем не менее, развертывание этой модели – сложная техническая задача.

Инструмент транскрипции автоматически преобразует аудиофайлы в письменный текст. При этом пользователи могут выбирать между транскрипцией на языке оригинала или английской версией. Модель обучалась на 680 тысячах часов аудиофайлов, доступных в Интернете. Около трети этих файлов были не на английском языке.

API теперь предоставляет доступ по запросу к модели Whisper (под управлением OpenAI) v2. Стоимость этого доступа составляет 0,006 доллара за минуту.