Результати Kimi 1 Pro в тестах з програмування та фінансового аналізу
Moonshot AI представила мовну модель Kimi 1 Pro з покращеними навичками. Вона розрахована на тривалі автономні завдання з програмування. У тесті Terminal-Bench 0, який перевіряє роботу штучних агентів, модель показала успішність 65,7%. У тесті Kimi Code Bench 0 на довгострокові завдання результат склав 61,2%, що вище за показник попередньої моделі K3 у 55,95%. У внутрішньому тесті xdev-bench-hard успішність досягла 81%, а в експериментальній версії цього тесту, 90,5%.
Модель також покращила результати у фінансовому аналізі. Вона отримала 64,4 бали в тесті OfficeQA Pro v2, який перевіряє аналіз фінансових документів і багатоетапні обчислення. На внутрішніх випробуваннях результати фінансового моделювання зросли на 7,2 пункта порівняно з K3, а інвестиційних досліджень, на 11,6 пункта. Модель може обробляти корпоративну звітність, зіставляти дані з кількох документів, будувати фінансові моделі з пов'язаними формулами та готувати інвестиційні дослідження.
Можливості 3D-моделювання та загальна інтелектуальність
Moonshot AI розширила можливості моделі для роботи з тривимірною графікою. Kimi 1 Pro може створювати готові до використання 3D-моделі на основі текстових описів, ескізів та зображень, визначаючи форму, пропорції та взаємне розташування. Система самостійно пише та запускає скрипти для програм Blender і CAD, змінюючи геометрію, матеріали та компонування об'єктів. Серед заявлених сценаріїв, проектування механічних деталей, архітектурних конструкцій та ігрових сцен. У додатках Kimi з'явилася функція 3D Make для перегляду, редагування та експорту отриманих моделей для 3D-друку.
У тесті BenchCAD на відновлення тривимірних об'єктів за зображеннями модель з використанням інструментів набрала 92,7 бала за метрикою Voxel IoU. Попередня версія K3 показала на цьому ж випробуванні лише 33,3%. Загальний прогрес підтвердило незалежне тестування Artificial Analysis. У рейтингу Intelligence Index новинка отримала 55 балів проти 44 у попередньої версії і посіла четверте місце. При вирішенні завдань модель генерувала в середньому на 14% більше вихідних токенів.
Технічна архітектура і доступність моделі Kimi 1 Pro
Kimi 1 Pro є доопрацьованою версією моделі Kimi. Вона побудована на архітектурі суміші експертів із загальною кількістю 2,8 трильйона параметрів. На кожен запит активується 104 мільярди параметрів. Контекстне вікно моделі становить 1 мільйон токенів, вона працює з текстом та зображеннями. Одночасно компанія випустила Kimi 1 Pro Highspeed, яка генерує відповіді у два-три рази швидше за стандартну версію. Обидві моделі доступні через сайт і додатки Kimi, а також сервіси Work і Code. Повні ваги моделі розробники обіцяють опублікувати до 4 листопада.
Вартість API стандартної версії становить 2 долари за 1 мільйон вхідних токенів і 10 доларів за 1 мільйон вихідних. Незважаючи на зниження тарифів API на третину, вартість виконання одного завдання залишилася приблизно на колишньому рівні.
Свідоме обмеження можливостей для кібератак
Moonshot AI свідомо обмежила можливості моделі для пошуку та експлуатації вразливостей, щоб запобігти її використанню в кібератаках. Під час навчання інженери помітили, що ці навички зростали через наявність матеріалів з кібербезпеки в загальному навчальному корпусі та відповідних завдань у середовищі навчання з підкріпленням. Для зниження потенційних ризиків такі дані виключили на обох етапах навчання, зберігши звичайні завдання з програмування. Компанія підкреслила корисність подібних інструментів для захисного аудиту програмного забезпечення.
На внутрішньому тесті Kimi Hallu Bench Hard, який спеціально складається зі складних запитань, частка помилкових тверджень знизилася з 23,4% до 8,3%. Розробники визнали, що навіть після обмежень можливості нової системи значно зросли, оскільки покращені навички програмування переносяться й на інші завдання. За оцінкою Moonshot AI, модель все ще поступається передовим пропрієтарним моделям, які доступні не менше трьох місяців. Результати внутрішніх тестів не пройшли незалежну перевірку.