Microsoft Launches ASSERT to Simplify AI Model Testing for Product-Specific Behavior
By admin | Jun 02, 2026 | 4 min read
Artificial intelligence researchers and laboratories have made remarkable progress in assessing AI models across various dimensions, including safety, compliance, sycophancy, and alignment. However, companies and developers now face a more specific challenge: ensuring their AI system behaves exactly as intended within their particular product or service. To streamline this evaluation process, Microsoft unveiled ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing) on Tuesday. This open-source framework, according to Microsoft, simplifies the evaluation of application-specific AI behavior by leveraging AI to transform high-level, natural-language descriptions of goals, policies, or intended behaviors into detailed, scored tests that can be examined.
ASSERT takes plain-language descriptions of an AI model's expected behavior and policies, converts them into a structured set of acceptable and unacceptable actions, generates problem scenarios and test cases, runs these against the target system, and scores the outcomes. Additionally, it can record the paths the AI system follows, including intermediate steps and tool calls, allowing developers to pinpoint where failures occur. Developers can also provide system context, tools, and constraints to further customize the evaluations. For instance, a developer could specify that a document-research AI agent should not send emails to people outside the company, limit confidential information to C-level executives, and deliver concise summaries while considering prior context. ASSERT will then use these rules to create test cases that continuously verify whether the system adheres to them.
Microsoft asserts that ASSERT fills a gap left by broader, more general evaluations, which are insufficient when AI models must behave according to an application's or product's specific context, policies, and tools. "One of the things we’ve learned is that evaluations are absolutely critical to making good decisions," said Sarah Bird, chief product officer of Responsible AI at Microsoft. "Because if you don’t understand the behavior of the AI system, it’s really hard to know if it’s meeting your organization’s bar [...] What we found is that if you really want to have a trustworthy system, you should evaluate many more dimensions that are application-specific."
Bird noted that ASSERT can be used to evaluate systems during development, after deployment, and even for continuous monitoring. This release coincides with a gradual yet significant shift in the AI industry. As models become more capable, researchers are emphasizing repeatable testing and regression checks. Initiatives such as Stanford's HELM, MLCommons' AILuminate, and evaluation groups like METR are rolling out benchmarks to measure how models perform under varying conditions.
RELATED ARTICLES
Comments
Please log in to leave a comment.
В настоящее время пищевая промышленность неуклонно развивается и для ее нормальной работы обязательно требуется приобретение и создание не только новой компании, но и обязательно приобретение необходимого пищевого оборудования https://пищевоеоборудование.рф/katalog/bunkera-nakopitelnye-priemnye/bunker-smesitelnyj-tip-bs-150-aisi-304 Одним из таких видов оборудования являются , которые выпускается заводом – изготовителем https://пищевоеоборудование.рф/katalog/mashina-mojki/kopiya-mashina-mojki-tary-msh-204 На данном сайте представлены не только все виды пищевого оборудования, но также еще и предлагаются невысокие цены, так как такое оборудование всегда находится в легком доступе https://пищевоеоборудование.рф/katalog/kamera-df/ В разделе каталога компании представлена высококачественная мебель для ваших ресторанов, баров и кафе: , , от лучших мировых брендов, а также торговое оборудование для магазинов: стеллажи, стойки, горки и витрины с накопителями для хранения наиболее часто продаваемых товаров и упрощения обслуживания клиентов различных торговых площадей https://пищевоеоборудование.рф/katalog/kamera-df/kopiya-kamera-defrostacii-kd-5000 Ресторанная мебель, тщательно подобранная в соответствии с форматом Упаковочная машина разрабатывается нашей компанией с учетом развития потребительского рынка и потребностей конкретных производителей https://пищевоеоборудование.рф/ В нашем ассортименте имеется фасовочное и упаковочное оборудование вертикального типа и упаковочная машина горизонтального типа https://пищевоеоборудование.рф/katalog/mashina-mojki/kopiya-mashina-mojki-tary-msh-204 Жесткие санитарно-эпидемиологические требования касаются организации работы в цеху и правил личной гигиены работников https://пищевоеоборудование.рф/katalog/konvejera-z-obraznye/konvejer-fasovochnyj-kf-3500 Все сотрудники должны получить санитарно-технический минимум, на больших предприятиях должен быть организован санитарный пропускник https://пищевоеоборудование.рф/katalog/bunkera-nakopitelnye-priemnye/ Следует сделать замечание, что малыми пекарнями считают цеха с производительностью 60-250 кг продукции в час или 0,2-3 тонны в сутки https://пищевоеоборудование.рф/katalog/oprokidyvateli-kontejnerov-i-telezhek/oprokidyvatel-cepnoj-orc-3000 Для сравнения хлебозавод производит в сутки 40-50 тонн хлеба https://пищевоеоборудование.рф/katalog/konvejera-z-obraznye/konvejera-razdelochnye-inspekcionnye Если речь идёт о молочной промышленности, то там применяются насосы, пастеризаторы, охладители, сепараторы, гомогенизаторы и доильные установки https://пищевоеоборудование.рф/katalog/konvejera-z-obraznye/ К этой же категории относятся аппараты для изготовления сырных, творожных изделий, а также сгущённого и сухого молока https://пищевоеоборудование.рф/katalog/konvejera-z-obraznye/konvejer-obvalki-myasa-kom-8
Адрес Дмитровское шоссе, 100, кор https://berezov-lsk.ru/ 2, офис 418 Телефон +7 (495) 4091524 E-mail info@greenhistory https://berezov-lsk.ru/ ru Сайт greenhistory https://berezov-lsk.ru/ ru https://berezov-lsk.ru/ с большим объемом заказов и опытом работы; использующие современное оборудование и технологии; с положительными отзывами клиентов; с гибким отношением к потребностям заказчика и умением экономить бюджет https://berezov-lsk.ru/ Этапы работ https://berezov-lsk.ru/ Виталий, 43 https://berezov-lsk.ru/ Рамиль Фарзутдинов — автор идеи проекта, организатор автопробега, водитель с 34-летним стажем https://berezov-lsk.ru/ Работает советником главного редактора «Комсомольской правды» https://berezov-lsk.ru/ Член Русского географического общества, редактор географических книг, администратор и участник более трех десятков сплавных экспедиций «Комсомольской правды» по Хабаровскому, Приморскому, Красноярскому краям, Магаданской области и Якутии, экспедиций на Урале, Камчатке и островам Большой Курильской гряды, а также автопробегов по Европейской части РФ и Дальнему Востоку https://berezov-lsk.ru/ Вы получите план-график работ и оплат, что позволит вам спланировать своё время и бюджет https://berezov-lsk.ru/