Автор прогнал 4 ИИ-ревьюера по набору из 60 заранее известных дефектов: 51 дыра в тестах, 8 эквивалентов и 1 спорный случай. Проверяли в двух режимах — с подсказкой и без, а ещё смотрели, сколько шума модели дают на чистых файлах. Для айтишников Новосибирска это полезно как ориентир: ИИ в ревью уже можно тестировать, но без слепой веры — важны и точность, и количество ложных срабатываний.
IT Новосибирск — t.me/it_novosibirsk
IT Новосибирск
@it_novosibirsk
ИИ-ревьюеры против 60 багов: кто реально ловит дыры в коде?
Источники:
Этот пост опубликован в Telegram-канале IT Новосибирск (@it_novosibirsk). Все его публикации — на странице канала.
Открыть в Telegram