AI

AWS Architecture Blog

Closing the AI agent trust gap with graduated autonomy

Открыть оригинал ↗ Перевод заголовка: Закрытие зазора доверия к ИИ-агентам с постепенным расширением автономии

Зазор доверия между возможностями ИИ-агента и тем, что операторы позволяют ему делать, остаётся ключевой проблемой в операционных процессах. Решение — введение постепенной автономии, при которой доступ к действиям расширяется только при стабильной надёжности и снимается при снижении безопасности.

  • Агенты оцениваются по шести метрикам: точность, безопасность, согласованность, соответствие нормам, эффективность и качество рассуждений.
  • Система автономии работает по трем уровням: от T1 (только чтение) до T4 (полный доступ), с обязательным снижением при нарушении безопасности.
  • Каждое действие проверяется до выполнения: на наличие ввода, опасных инструментов, несоответствия поведения и уверенности.
  • Решение реализовано через шесть слоёв: от оценки рисков до мониторинга и восстановления.
  • В случае нарушения безопасности или отказа оператора — агент немедленно уменьшает доступ, а в экстренных случаях блокируется полностью.

Когда пригодится:
при развертывании ИИ-агентов в критически важных процессах (например, обработка заказов, обслуживание клиентов, управление данными), где требуется баланс между эффективностью и безопасностью.

Google DeepMind

Piloting the world's first double-blind AI evaluations

Открыть оригинал ↗ Перевод заголовка: Пилотирование мира первого двойного слепого оценивания ИИ

Google DeepMind представил первый в мире двойной слепой эксперимент по оценке проприетарного ИИ-моделя, где ни оценщик, ни модель не имеют доступа к другим данным до начала тестирования. Это позволяет исключить смещение результатов из-за предварительного знания тестовых вопросов — так называемую «загрязнённость бенчмарков».

  • Внедрён криптографический механизм Confidential Space в Google Cloud, обеспечивающий конфиденциальность как тестовых данных, так и весов модели.
  • Оценка проводится в изолированной среде, где ни одна сторона не может получить доступ к другому контенту.
  • Партнёры включают Singapore AI Safety Institute, OpenMined, AVERI и MLCommons — специализированные организации в области безопасности и прозрачности ИИ.
  • Методология позволяет независимым организациям проверять передовые модели без риска утечки данных или нарушения интеллектуальной собственности.
  • Результаты подтверждают необходимость криптографической защиты при оценке ИИ, особенно в критически важных секторах, таких как кибербезопасность и государственные системы.

Когда пригодится: при оценке ИИ-моделей в секторах, где критична прозрачность и защита данных — например, в государственных, медицинских или финансовых системах.

# Пример использования Confidential Space в оценке
gcloud confidential-computing create-confidential-environment \
  --name gemini-evaluation-box \
  --data-source external-benchmarks \
  --model-weight-source internal-gemini \
  --encryption-key gcp-key-123

def verify_double_blind_evaluation(evaluator_data, model_weights):
    # Криптографическая проверка отсутствия доступа
    return crypto.verify_separate_context(evaluator_data, model_weights)

Intelligent transcription with Gemini 3.5 Transcribe

Открыть оригинал ↗ Перевод заголовка: Умная транскрипция с Gemini 3.5 Transcribe

Gemini 3.5 Transcribe — это новый модель для преобразования речи в текст с высокой точностью, способный работать в реальном времени и эффективно справляться с шумом, дисфлюэнсами и специализированной лексикой. Модель предлагает два API: для потоковой передачи (Live API) и обработки записанных аудио (Interactions API), обеспечивая низкую задержку и точность до 2,6% по ошибкам слов.

  • Умная транскрипция автоматически удаляет "ум", "аа", корректирует речь и форматирует текст.
  • Поддержка функций вызова позволяет передавать сложные задачи (например, генерацию изображений) другим моделям Gemini.
  • Модель распознаёт до трёх голосов в записи с временной меткой на уровне слов и поддерживает 85+ языков.
  • Точность проверена на реальных условиях: WER в потоковом режиме — 4,0%, в непотоковом — 2,6%.
  • Интегрируется в продукты Google: Rambler на Android, Antigravity, Gemini на macOS и Chrome.

Когда пригодится: при создании голосовых ассистентов, в реальном времени для подсчёта и анализа разговоров, при работе с файлами и веб-формами, где важна точность и скорость.

Gemini Omni 1.1 Flash lets you build with more control

Открыть оригинал ↗ Перевод заголовка: Gemini Omni 1.1 Flash даёт больше контроля при создании видео

Gemini Omni 1.1 Flash — это обновлённая версия для разработчиков, обеспечивающая точный контроль над генерацией видео. Теперь можно продолжать сцены до 40 секунд, задавать начало и конец кадров для плавных переходов и генерировать видео в разрешении 4K.

  • Расширять сцены на 10-секундные участки с сохранением визуальной последовательности и нарративной целостности.
  • Устанавливать начальный и конечный кадр для создания плавных движений камеры и переходов без резких срезов.
  • Генерировать быстрые и дешёвые превью в разрешении 360p, что ускоряет прототипирование и итерации.
  • Увеличивать конечный результат до 4K для профессионального качества и готовности к публикации.
  • Включать в запрос до трёх секунд видео как ссылку, чтобы сохранить визуальную консистентность персонажей и сцен.

Когда пригодится: при разработке инструментов для создания видео, при построении прототипов в реальном времени, при интеграции в приложения для редактирования и визуального дизайна.

InfoQ Architecture

Presentation: Can Claude Fix Itself? Using LLMs for Incident Response

Открыть оригинал ↗ Перевод заголовка: Можно ли самому себе исправлять сбои? Использование ЛЛМ для реагирования на инциденты

Алекс Палькуй, инженер по надёжности AI в Anthropic, делится практическими выводами о применении больших языковых моделей (LLM) в реальном инцидентном реагировании. Он показывает, где AI превосходит человека при анализе логов и метрик, почему он всё ещё несётся в корреляции, а не в причинно-следственных связях, и как вести интеграцию AI в рабочие процессы без утраты человеческого опыта.

  • LLMs в фазе Observation (наблюдение) превосходят людей: они быстро и параллельно анализируют метрики, логи и запросы, не устают и не теряют внимания.
  • В фазе Orient (ориентация) LLMs часто ошибаются: они не понимают бизнес-логики и не могут выявить глубинные причины, что делает их неадекватными для принятия решений.
  • AI может автоматизировать стандартные действия — такие как реверс-роллбэки или синтез отчётов — и сократить время на рутинные задачи, но не заменяет глубокое понимание системы.
  • Важно вести публичные, прозрачные отчёты и наставлять AI на использование валидных данных, чтобы избежать "грязных" выводов.
  • Внедрение AI в на-к-о-н-лайн-процессы требует строгого контроля: без обратной связи и обучения, рискует атрофия навыков инженеров.

Когда пригодится:
Когда инциденты повторяются, а рутинные действия (например, поиск ошибок в логах, проверка реверс-роллов) занимают значительное время, и есть необходимость ускорить первичный анализ.

Cloudflare Wallets Arrives Late to x402, and the Spending Controls Stop at the Payment

Открыть оригинал ↗ Перевод заголовка: Cloudflare Wallets задерживается в реализации x402, и контроль расходов останавливается на уровне платежа

Cloudflare Wallets, представленный в рамках Agents Week, предоставляет AI-агентам стабильную криптовалюту и уникальный идентификатор для оплаты API и контента. На текущий момент доступна только регистрация идентификатора, а функции пополнения и оплаты планируются на ближайшие месяцы. Основной функционал вызывает критику из-за риска фальсификации идентичности без проверки домена.

Ключевые тезисы:

  1. В системе x402 (протокол, основанный на HTTP 402) уже работают такие игроки, как Stripe, Visa, AWS и Google, что делает Cloudflare поздним входящим участником.
  2. Контроль расходов реализован через три ограничения: лимит на сумму, список одобренных магазинов и максимальный размер транзакции — все они действуют на уровне текущего платежа, а не в динамическом контексте.
  3. Система не поддерживает логику последовательных действий (например, запрет на оплату двух одинаковых услуг за один час), что ограничивает её применимость для сложных бизнес-процессов.
  4. При параллельных действиях агентов возможна ситуация, когда суммарные расходы превышают лимит, но Cloudflare не объяснил, как это контролируется.

Когда пригодится: при простых, одноразовых транзакциях с низким риском, где не требуется сложная логика управления расходами и последовательными действиями.

Latent Space

Lovable CTO: The Future of SaaS Is Apps That Agents Can Use

Открыть оригинал ↗ Перевод заголовка: Будущее SaaS — приложения, которые могут использовать агенты

Lovable переходит от создания AI-приложений к развитию «возможностей» (capabilities), которые агенты могут вызывать без участия человека. Платформа позволяет превращать существующие приложения в наборы функций, доступных через агенты, таких как ChatGPT или Claude. Ключевым элементом становится MCP-сервер, который делает функции приложения доступными для агентов, сохраняя при этом безопасность и контроль.

  • Приложения на Lovable могут быть преобразованы в «возможности» — функции, которые агенты могут вызывать без открытия интерфейса.
  • Платформа обеспечивает безопасное подключение к внешним сервисам через «app user connector», где пароли хранятся серверно и не передаются приложению.
  • Внедрение агентов позволяет создавать «организационный мозг» — единую точку входа для всех задач и инструментов.
  • Агенты могут работать асинхронно, например, проверять статус деплоя и возвращать результат в диалог.
  • Lovable фокусируется не на самой агенте, а на создании надёжных, безопасных и взаимосвязанных возможностей.

Когда пригодится:
Когда бизнесу нужно интегрировать множество инструментов (CRM, поддержка, управление) в единый агент-интерфейс, особенно при росте автоматизации и использования AI-агентов в работе.

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Открыть оригинал ↗ Перевод заголовка: «У нас есть фундаментальные модели для языка, а не для физики» — Анима Анандкумар, профессор Брен

Анима Анандкумар, профессор Калифорнийского технологического института, разработала открытые модели для прогнозирования погоды, таких как FourCastNet, которая соперничает с традиционными физическими симуляциями. Вместо масштабирования на основе количества токенов, её подход строится на индуктивных предпосылках и физических законах, что позволяет эффективно моделировать сложные, многомасштабные системы.

  • Neural Operators — инновационный подход, позволяющий нейронной сети работать с функциями, а не с дискретными сетками, что критически важно для физических систем.
  • FourCastNet — модель, использующая сферические гармоники для стабильного прогнозирования погоды на глобальном уровне, что делает её устойчивой к разрушительным эффектам на сетках.
  • Физические предпосылки — даже при ограниченном объёме данных (тысячи примеров), модели могут предсказывать поведение систем, как в плазме в реакторах.
  • TorchLean — инструмент, позволяющий интегрировать нейронные сети в формальный доказательный процесс, что важно для безопасности в критических системах.
  • Применение AI в физике требует принципиально иного подхода — не масштабирования, а встраивания физической структуры.

Когда пригодится: при разработке систем прогнозирования в физике (погода, плазма, термодинамика), в критически важных инженерных системах, где безопасность и надёжность требуют формального доказательства поведения моделей.

Martin Fowler

Making Your Data Ready for Agentic AI

Открыть оригинал ↗ Перевод заголовка: Подготовка данных для агентного ИИ

Для агентного ИИ данные должны быть не просто точными, а доверяемыми, с явным контекстом, полной прозрачностью и возможностью действий. Вместо того чтобы полагаться на интуицию аналитиков, система должна встроить в данные проверки качества, смысл и доступность.

Ключевые практические тезисы:

  1. Внедрить данные-контракты как код — определить схемы, правила качества и свежесть (SLA), чтобы агенты не получали устаревшие или ошибочные данные.
  2. Реализовать паттерн "кварантин" — при нарушении контракта данные направляются в очередь для ручной проверки, а не передаются агентам.
  3. Внедрить уровни медалионной архитектуры: от сырого (Bronze) до активно кураторских данных (Adaptive Gold), где агенты участвуют в улучшении данных.
  4. Добавить семантический слой — ввести в Git определения метрик и сущностей, чтобы агенты понимали, что означает "доход" или "цена", и не зависели от человеческой интуиции.

Когда пригодится:
Когда организация внедряет автономных агентов для принятия решений в реальном времени — в финансах, логистике, обслуживании клиентов — и требует, чтобы данные не только читались, но и действовали, с полной отслеживаемостью и контролем.

Java / Spring

InfoQ Architecture

Spring News Roundup: First Milestone Releases for Boot, Framework, Data, Security, Modulith, Batch

Открыть оригинал ↗ Перевод заголовка: Первые релизы мейнстрима в экосистеме Spring: Boot, Framework, Data, Security, Modulith, Batch

В августе 2026 года был выпущен ряд первых мейнстримных версий ключевых компонентов Spring — включая Spring Boot 4.2.0, Spring Framework 7.1.0, Spring Data 2026.1.0 и другие. Релизы включают исправления уязвимостей, обновления зависимостей и новые функции, такие как поддержка AMQP 1.0, Redis JSON и улучшения работы с конфигурацией.

  • Spring Boot 4.2.0 добавляет поддержку AMQP 1.0 и улучшает завершение работы Jetty с помощью Eclipse GracefulHandler.
  • Spring Framework 7.1.0 вводит метод forParameter() в классе ResolvableType и поддержку пользовательских имен параметров.
  • Spring Data 2026.1.0 вводит RedisJsonTemplate и обновляет подпроекты (MongoDB, Elasticsearch, Neo4j).
  • Spring Security 7.2.0 улучшает обнаружение CORS и исправляет предварительную проверку авторизации.
  • Spring AMQP 4.2.0 вводит новый интерфейс RoutingAmqpConnectionFactory и устраняет устаревший RestTemplateNodeLocator.

Когда пригодится: при разработке микросервисов, интеграций с Kafka и RabbitMQ, а также при работе с безопасностью и управлением конфигурацией в Java-приложениях.

Inside Java

Episode 68 “Operator Overloading with Type Classes” [AtA]

Открыть оригинал ↗ Перевод заголовка: Эпизод 68 «Перегрузка операторов с использованием типовых классов» [AtA]

В эпизоде «Ask the Architects» обсуждается возможность ограниченной перегрузки операторов в Java через механизм типовых классов, что позволит создавать пользовательские числовые типы с привычными операторами, такими как + и *. Несмотря на то, что Java не поддерживает произвольную перегрузку операторов, проект Valhalla стремится внедрить ограниченную поддержку операторов для упрощения работы с пользовательскими типами.

  • В JDK 28 EA уже реализованы значение-типы (value types), которые могут быть основой для перегрузки операторов.
  • Типовые классы позволяют определять, какие операции могут быть применены к определённым типам данных.
  • Операторы, такие как сложение и умножение, могут быть реализованы через специальные интерфейсы и классы, а не через методы.
  • Планируется возвращение строгих (strictfp) семантик для плавающих чисел в JEP 306.
  • Поддержка таких возможностей будет развиваться в рамках OpenJDK и проекта Valhalla.

Когда пригодится: при разработке математических библиотек, специализированных числовых типов (например, в физике или финансах), где важна читаемость и привычность синтаксиса операций.

Java67

Top 6 Design Patterns Books for Java Developers in 2026 - Best of Lot

Открыть оригинал ↗ Перевод заголовка: Топ-6 книг по шаблонам проектирования для разработчиков Java в 2026 году — лучшие из лучших

Для Java-разработчиков знание шаблонов проектирования критично на этапе роста от среднего к высокому уровню — от технического лидера до архитектора. Хотя классика GoF остаётся справочником, она слишком академична. Лучше всего подходит Head First Design Patterns — доступная, наглядная книга с историями, диаграммами и практическими примерами. В списке также включены книги по проектированию микросервисов, что актуально для современных Java-приложений.

Практические тезисы:

  1. Head First Design Patterns (2-е издание) — идеален для новичков, объясняет шаблоны через реальные проблемы и современный Java.
  2. Design Patterns: Elements of Reusable Object-Oriented Software (GoF) — полный справочник по 23 шаблонам, но требует серьёзного внимания к тексту.
  3. Head First Object-Oriented Analysis and Design — должен быть прочитан до изучения шаблонов, учит фундаментальные принципы ООП.
  4. UML for Java Programmers — помогает визуализировать архитектуру и выявлять ошибки на ранних стадиях.
  5. Java EE Patterns and Best Practices — актуальный ресурс для разработчиков JEE, включает практические рекомендации по DAO и переходу с J2EE.

Когда пригодится:
— При подготовке к роли архитектора или технического лидера.
— При проектировании масштабных приложений на Java, особенно с использованием микросервисов.
— При изучении ООП и проектирования систем с акцентом на поддержку и расширяемость.

Javarevisited Newsletter

Why Microservices Aren’t the Solution for Every Problem

Открыть оригинал ↗ Перевод заголовка: Почему микросервисы не решают все задачи

Микросервисная архитектура не подходит для каждой задачи — её применение может привести к росту сложности, затрат и времени на разработку. В статье приводятся 10 конкретных причин, по которым лучше оставить систему монолитной, особенно при небольших проектах или на ранних стадиях развития продукта.

Практические тезисы:

  1. Микросервисы увеличивают операционную и инфраструктурную сложность без прямой выгоды.
  2. Монолитная структура быстрее и дешевле реализуется при небольших объёмах кода.
  3. Разделение на микросервисы требует значительных затрат на управление, тестирование и развертывание.
  4. Недостаток опыта команды может привести к ошибкам при интеграции и обмене данными.
  5. При небольшом количестве пользователей или функций монолит обеспечивает стабильность и упрощённую поддержку.

Когда пригодится:
Когда проект имеет высокую масштабируемость, сложную логику взаимодействия между компонентами или работает в условиях высокой нагрузки. Также подходит, если команда уже имеет опыт работы с микросервисами и инфраструктурой.

# Пример команды для запуска микросервиса в Docker
docker run -p 8080:8080 spring-boot-app:latest

# Проверка состояния сервиса через HTTP-запрос
curl http://localhost:8080/health

System Design

AWS Architecture Blog

Gallup scales real-time coaching for thousands with Amazon Bedrock

Открыть оригинал ↗ Перевод заголовка: Gallup использует Amazon Bedrock для реального времени коучинга для тысяч лидеров

Gallup внедрил генеративный ИИ-ассистент Gallup AI, который на основе 90 лет исследований в области работы предоставляет лидерам персонализированные рекомендации в режиме реального времени. Решение построено на Amazon Bedrock, где используется Anthropic’s Claude, а также реализованы RAG и системы безопасности через Amazon Bedrock Knowledge Bases и Guardrails.

  • Используется Amazon Bedrock для быстрого развертывания ИИ-ассистента без необходимости в команде ML-операций.
  • Всё содержание исследований из архивов и актуальных публикаций индексируется в Amazon Kendra и Amazon Bedrock Knowledge Bases для точной рекомендации.
  • Реальные ответы формируются на основе проверенных данных, с поддержкой контекстуальных рекомендаций и безопасности через встроенные политики.
  • Архитектура серверного типа обеспечивает масштабируемость, поддержку миллиардов токенов и подсчёт метрик в реальном времени.
  • Вводится система гибких настроек через AWS Systems Manager Parameter Store и агентов на базе Amazon Bedrock AgentCore.

Когда пригодится:
Когда нужно внедрить персонализированный, в реальном времени ИИ-коучинг в рабочем процессе лидеров, особенно при работе с данными о вовлечённости сотрудников и развитии команд.

Alexander Obregon

Online Index Rebuilds with SQL Server

Открыть оригинал ↗ Перевод заголовка: Онлайн-перестройка индексов в SQL Server

Онлайн-перестройка индексов в SQL Server позволяет поддерживать доступность базы данных во время выполнения операций, не блокируя приложения. Операция создаёт новый индекс, сохраняя старый как источник, при этом запросы и вставки продолжают работать, хотя в начале и конце могут возникать кратковременные блокировки. Важно понимать, что процесс требует ресурсов: CPU, I/O, хранилища и лог-файла, особенно при высокой активности вставок и обновлений.

  • Использование ONLINE = ON в ALTER INDEX ... REBUILD позволяет выполнять перестройку без полного блокирования таблицы, но с кратковременными блоками на этапах подготовки и завершения.
  • Для предотвращения ожидания при конфликтах с транзакциями можно применить WAIT_AT_LOW_PRIORITY с ограничением времени, чтобы операция могла быть отменена при необходимости.
  • При высокой активности вставок и обновлений перестройка может увеличить нагрузку на CPU и I/O, так как SQL Server одновременно обрабатывает изменения в таблице и строит новый индекс.
  • Для больших индексов рекомендуется использовать резумабельные перестройки (RESUME), чтобы операция могла быть остановлена и продолжена позже без потери прогресса.
  • Важно учитывать, что перестройка может вызывать пересоздание планов запросов и блокировки, особенно при наличии длинных транзакций.

Когда пригодится: при поддержании доступности базы в периоды высокой активности, при необходимости выполнения длительных операций в несвязанные периоды, при работе с большими индексами, где нельзя допускать полных остановок.

All Things Distributed

DuckDB and the changing physics of analytics

Открыть оригинал ↗ Перевод заголовка: DuckDB и изменяющиеся физические законы аналитики

Традиционные системы аналитики, такие как базы данных и кластерные движки, долгое время работали как отдельные компоненты, разделяя данные и вычисления. С развитием аппаратных возможностей — ростом памяти, вычислительной мощности и скорости сети на одном устройстве — всё больше задач, которые раньше требовали распределённых систем, теперь могут эффективно решаться на одном хосте. DuckDB, как встроенный движок аналитики, позволяет выполнять запросы прямо в приложении, не требуя внешнего сервиса, что делает его универсальным и быстрым. Он поддерживает работу с разными форматами данных и интегрируется в различные среды — от браузеров до серверных приложений.

  • DuckDB работает как встроенный библиотека, что позволяет интегрировать его в приложения без необходимости запуска отдельного сервера.
  • Он поддерживает SQL и работает с данными в памяти, что обеспечивает низкую задержку и высокую производительность при обработке небольших и средних объёмов данных.
  • DuckDB хорошо сочетается с S3 Tables и AWS сервисами, что упрощает работу с табличными данными в облаке.
  • Его использование в приложениях делает аналитику частью разработки, а не отдельным этапом.

Когда пригодится: при разработке приложений, где нужна быстрая и прозрачная аналитика на этапе прототипирования, в реальном времени или при обработке данных в браузере.

ByteByteGo

Background Work: From Cron Jobs to Distributed Systems

Открыть оригинал ↗ Перевод заголовка: Работа в фоновом режиме: от задач cron до распределённых систем

При загрузке профиля пользователь может запускать множество операций — масштабирование изображения, проверку содержимого, распространение на CDN и обновление метаданных. Если все эти действия выполняются в рамках одного запроса, пользователь видит загрузку на несколько секунд, что создаёт плохое впечатление. Для улучшения пользовательского опыта такие операции должны выполняться вне основного потока запроса — это и называется фоновой работой.

Практические тезисы:

  1. Фоновая работа позволяет быстро отвечать на запросы, не блокируя пользовательский интерфейс.
  2. Триггеры фоновых задач могут быть: действия пользователя (например, регистрация), временные интервалы (например, ежедневные отчёты) или события из других систем (например, вебхук или хранение файла в хранилище).
  3. В больших системах требуется переход от простых скриптов на одном сервере к распределённым решениям, чтобы масштабировать нагрузку.
  4. Некоторые задачи выгоднее выполнять в больших объёмах — например, проверка тысяч изображений одновременно.
  5. Использование API вроде queue.enqueue() или scheduler.schedule() позволяет легко интегрировать фоновые задачи в архитектуру.

Когда пригодится:
Когда приложение должно быстро отвечать на запросы, а обработка данных (например, обработка изображений или генерация отчётов) требует времени и не должна блокировать пользовательский интерфейс.

ClickHouse

So, is ClickHouse winning the observability wars?

Открыть оригинал ↗ Перевод заголовка: Так, победил ли ClickHouse в борьбе за наблюдаемость?

ClickHouse стал де-факто решением для хранения и запроса в системах наблюдаемости, особенно в части хранения логов и трейсов. Его эффективность в сжатии данных, быстром выполнении запросов и поддержке широких событий делает его привлекательным для крупных команд и ведущих компаний, таких как Netflix, Anthropic и OpenAI.

  • ClickHouse использует столбчатую архитектуру, что позволяет эффективно сжимать данные и быстро выполнять агрегационные запросы, сканируя лишь нужные поля.
  • Встроенная поддержка полного текстового поиска (с 2026 года) позволяет быстро и точно искать в логах, не сканируя все строки.
  • Система поддерживает высокую производительность при работе с большими объёмами данных, включая высокую кардинальность, и позволяет сохранять исходные события без потери данных.
  • ClickHouse может объединять логи, трейсы и метрики в едином хранилище, упрощая инфраструктуру и позволяя коррелировать данные в реальном времени.

Когда пригодится:
Когда требуется хранить и быстро анализировать большие объёмы логов, трейсов и метрик с высокой кардинальностью, при необходимости сохранять полноту данных и поддерживать сложные аналитические запросы — ClickHouse становится оптимальным выбором. Особенно актуально для команд, работающих с AI-агентами, где важны низкая задержка и полнота контекста.

What's new in the ClickHouse .NET Driver: the road from 1.0 to 1.3

Открыть оригинал ↗ Перевод заголовка: Что нового в драйвере ClickHouse для .NET: путь от версии 1.0 до 1.3

Версия 1.3 драйвера ClickHouse для .NET значительно улучшила типо-безопасность и гибкость, введя поддержку POCO-классов для прямого взаимодействия с данными, а также расширила возможности сериализации и десериализации. Теперь можно использовать собственные классы вместо массивов объектов, что упрощает код и снижает риски ошибок при работе с схемой таблицы. Добавлены расширенные настройки для контроля сериализации параметров, преобразования значений при чтении и форматирования JSON-данных. Внедрены новые функции для работы с многомерными массивами, ValueTuples и параметрами как идентификаторами.

  • ПОКО-поддержка: классы могут быть напрямую использованы для вставки и чтения, с предварительной проверкой соответствия схемы и валидацией свойств.
  • Контроль сериализации: через интерфейсы IParameterTypeResolver, IParameterFormatter, IReadValueConverter можно настроить типы параметров, их представление в запросе и преобразование при чтении.
  • Поддержка JSON-колонок: POCO-объекты могут быть сериализованы в JSON-столбцы с точным соответствием типам.
  • Улучшения производительности: исключены лишние запросы на схему, сокращёны выделения памяти, оптимизированы буферы чтения.
  • Интеграция с Entity Framework Core: теперь можно использовать EF Core для работы с ClickHouse, включая миграции, индексы и агрегации.

Когда пригодится: при разработке .NET-приложений, где требуется типо-безопасное, читаемое и производительное взаимодействие с ClickHouse, особенно при использовании EF Core, ORM или структурированных логов.

DesignGurus

L4 vs. L5 System Design Interview: Two Full Transcripts, Annotated

Открыть оригинал ↗ Перевод заголовка: L4 vs. L5: Анализ двух полных транскриптов интервью по системному дизайну

Два кандидата отвечают на один и тот же вопрос — разработка системы уведомлений для социальной платформы. В транскриптах показано, как уровень L4 (средний) просто перечисляет компоненты без обоснования, в то время как L5 (высокий) систематически выявляет требования, обосновывает решения и анализирует риски.

  • Чётко формулирует масштаб и границы задачи (например, количество пользователей, типы уведомлений).
  • Обосновывает выбор архитектуры, связывая её с требованиями (например, отказоустойчивость, скорость реакции).
  • Указывает на критические сценарии: сбои, задержки, перегрузка, отказы.
  • Приводит конкретные технические решения с объяснением, почему именно они подходят (а не просто "это хорошо").
  • Ведёт диалог, задавая вопросы, чтобы расширить понимание, а не просто отвечать.

Когда пригодится: при подготовке к системному интервью в крупных компаниях (Google, Meta, Amazon), где оценивают не только техническую правильность, но и глубину мышления, способность к критическому анализу и умение строить аргументированные архитектуры.

Hands-on System Design with Java Spring Boot

Day 66: SFU Architecture: Why we need a Selective Forwarding Unit (SFU) for groups.

Открыть оригинал ↗ Перевод заголовка: День 66: Архитектура SFU: почему нам нужен отборный форвардер (SFU) для групп.

При масштабировании групповых видеозвонков архитектура прямого взаимодействия (P2P-меш) быстро выходит из строя из-за перегрузки клиентских устройств и роста потребности в пропускной способности. При увеличении числа участников растёт количество одновременных соединений и потоков, что приводит к сбою на стороне клиентов, особенно на мобильных устройствах с ограниченным трафиком.

Три ключевых тезиса:

  1. В P2P-меше каждый участник передаёт своё видео в каждом соединении с другими участниками, что приводит к росту нагрузки на устройство в квадратичной зависимости от числа участников.
  2. Решение через MCU (многоуровневый узел управления) требует на сервере реального кодирования видео, что создаёт высокую нагрузку на GPU и увеличивает задержку.
  3. SFU (Selective Forwarding Unit) решает проблему, позволяя каждому участнику передавать один поток, а SFU — пересылать его только тем, кто его просит, без декодирования и перекодирования.

Когда пригодится:
— При разработке групповых видеозвонков в масштабе (например, в Discord, Zoom или Telegram-каналах).
— Когда важно минимизировать нагрузку на клиентские устройства и избежать перегрузки при большом количестве участников.
— При построении архитектуры, где задержка и пропускная способность должны быть стабильными при росте числа пользователей.

// Пример использования SFU в Spring Boot приложении
@Service
public class SfuService {
    public void forwardStream(String publisherId, String subscriberId, MediaPacket packet) {
        // Передача потока без декодирования
        sfuChannel.send(packet, subscriberId);
    }
}

InfoQ Architecture

AWS Introduces Specification Driven Composition for Flexible Data Workflows

Открыть оригинал ↗ Перевод заголовка: AWS представляет модель составления на основе спецификаций для гибких данных-потоков

AWS вводит модель составления на основе спецификаций, позволяющую строить гибкие потоки преобразования данных, разделяя намерение потока на логику обработки. Это уменьшает дублирование кода, упрощает проверку и управление потоками, особенно в регулируемых средах.

  • Модель состоит из трёх слоёв: слоя намерения (спецификация), слоя составления (валидация и сборка потока) и слоя обработки (выполнение трансформаций).
  • Спецификация (в формате JSON или YAML) описывает источники и цели данных, отображение полей и трансформации без указания реализации — только "что" и "как", а не "как реализовано".
  • Составитель проверяет спецификацию, запрашивает метаданные в реестре возможностей (например, через AWS OpenSearch Service) и генерирует исполняемый поток на основе AWS Step Functions.
  • Реестр возможностей хранит метаданные трансформаций: идентификаторы, форматы ввода/вывода, разрешения, версии, что позволяет обеспечить воспроизводимость и отдельную проверку новых функций.
  • Возможность встраивать классификацию данных: чувствительные поля могут быть помечены, а функции — описывать влияние на конфиденциальность, что позволяет автоматически проверять и генерировать маскированные данные.

Когда пригодится: при работе с регулируемыми отчётами, интеграцией из множества источников, повторно используемыми ETL-потоками, где важна прозрачность и предварительная валидация перед запуском.

ScyllaDB

Building a New Rust Driver for ScyllaDB’s DynamoDB API – with 58% More Throughput

Открыть оригинал ↗ Перевод заголовка: Создание нового драйвера на Rust для API DynamoDB ScyllaDB — с ростом пропускной способности на 58%

Разработчики ScyllaDB создали специализированный драйвер на Rust для работы с API DynamoDB (Alternator), который обеспечивает на 58% больше пропускной способности по сравнению с стандартным AWS-драйвером. Драйвер оптимизирован под архитектуру ScyllaDB, распределяя запросы по узлам и учитывая топологию кластера, что позволяет полностью использовать ресурсы всех узлов. Важным элементом стала модификация инструмента Latte для поддержки Alternator, что позволило проводить точные и масштабные бенчмаркинги.

Ключевые практические тезисы:

  • Включает стратегии балансировки нагрузки: ротация узлов (по умолчанию) и привязка по ключу (для рабочих нагрузок с LWT).
  • Удаляет избыточные HTTP-заголовки (сокращает их объём на 45%), что улучшает производительность.
  • Поддерживает сжатие HTTP-запросов (Gzip, Zlib) с настройкой порога объёма — включается по умолчанию.
  • Обеспечивает полную совместимость с API AWS DynamoDB, позволяя миграцию без изменений в коде.
  • Интегрирован в Latte, что даёт возможность тестировать производительность на реальных нагрузках и отслеживать динамику работы.

Когда пригодится:
При использовании DynamoDB-совместимого API в приложениях на Rust, особенно при высоких нагрузках или в средах с частыми операциями по ключам (LWT). Позволяет выявить потенциал пропускной способности кластера и снизить задержки, если текущий клиент (например, AWS SDK) не использует топологию кластера.