Data Science. SQL hub

Продвинутый SQL совет - всегда проверяй, можно ли заменить SELECT DISTINCT на правильный JOIN или EXISTS. Очень часто DISTINCT добавляют просто чтобы убрать дубли после неудачного join. Запрос вроде работает, но по факту ты сначала раздуваешь результат, а потом заставляешь базу его чистить. На больш…

Продвинутый SQL совет - всегда проверяй, можно ли заменить SELECT DISTINCT на правильный JOIN или EXISTS. Очень часто DISTINCT добавляют просто чтобы убрать дубли после неудачного join. Запрос вроде работает, но по факту ты сначала раздуваешь результат, а потом заставляешь базу его чистить. На больших таблицах это легко убивает производительность. Плохой вариант: SELECT DISTINCT u.id , u.name FROM users u JOIN orders o ON o.user_id = u.id ; Лучше так: SELECT u.id , uame.n FROM users u WHERE EXISTS (     SELECT 1     FROM orders o     WHERE o.user_id = u.id ); Почему это сильный приём: EXISTS останавливается, как только находит первое совпадение не нужно тащить лишние строки не нужно потом убирать дубли логика запроса становится честной - ты проверяешь наличие, а не собираешь мусор Это один из самых частых hidden performance fixes в SQL. Если видишь DISTINCT, сразу спрашивай себя: он тут реально нужен или просто маскирует плохую логику JOIN.

Сегодня Anthropic запустила в открытую бету Claude Managed Agents - хостируемый сервис для запуска долгоживущих агентов на инфраструктуре Claude Platform.  Если коротко: вы описываете задачи, инструменты и ограничения, а всё остальное берет на себя платформа. Самое интересное спрятано в инженерном б…

Сегодня Anthropic запустила в открытую бету Claude Managed Agents - хостируемый сервис для запуска долгоживущих агентов на инфраструктуре Claude Platform.  Если коротко: вы описываете задачи, инструменты и ограничения, а всё остальное берет на себя платформа. Самое интересное спрятано в инженерном блоге, где команда описала архитектуру. Они пришли к ней через боль. Первая версия упаковывала всё в один контейнер: и сессию, и harness (цикл вызовов модели), и sandbox. Контейнер превращался в "питомца" - если он падал, сессия терялась. Дебажить можно было только через шелл внутри контейнера, а там лежали пользовательские данные. Когда клиенты хотели подключить свой VPC, им приходилось пирить сети. Решение: декомпозиция на три интерфейса. Session - append-only лог всех событий, живущий отдельно от всего. Harness - stateless оркестратор, который при падении просто перезапускается, подтягивает лог через getSession(id) и продолжает с последнего события. Sandbox - среда исполнения, к которой harness обращается как к обычному инструменту через execute(name, input) → string. Каждый компонент стал "скотом", а не "питомцем" в классической инфраструктурной метафоре. Отдельно стоит сказать про безопасность. В монолитной архитектуре prompt injection мог добраться до токенов, лежащих в том же контейнере. Теперь sandbox физически изолирован от credentials. Git-токены прошиваются в remote при инициализации, OAuth хранится в vault за прокси. Агент никогда не видит реальных ключей. По перформансу результаты заметные: p50 TTFT (время до первого токена) упал на 60%, p95 - на 90 с лишним процентов. Контейнер теперь поднимается по требованию через tool call, а если задача не требует sandbox, инференс стартует сразу. Архитектура поддерживает "many brains, many hands": один агент может управлять несколькими sandbox-ами, а несколько агентов могут передавать окружения друг другу. Сессия при этом выступает как объект контекста за пределами context window модели - harness может запрашивать срезы через getEvents(), трансформировать их и управлять cache hit rate. Notion уже в закрытой альфе: команды делегируют задачи Claude прямо из рабочего пространства, десятки задач выполняются параллельно. Философия проекта прямо проговаривается в блоге: это мета-harness. Anthropic намеренно не фиксирует конкретную реализацию оркестрации, потому что она устаревает с каждым поколением моделей. Они уже столкнулись с этим, когда "context anxiety" из Sonnet 4.5 исчез в Opus 4.5, а workaround превратился в мертвый код. Поэтому ставка на стабильные интерфейсы, за которыми реализация меняется свободно - ровно та же идея, что у POSIX: read() работает одинаково для диска из 70-х и современного SSD. https://www.anthropic.com/engineering/managed-agents

На GitHub собрали более 500 полезных сервисов под задачи на каждый день. Внутри: проекты под любые ОС и смартфоны, браузеры и торренты, инструменты для продуктивности, разработки, дизайна или работы с контентом. https://github.com/Furthir/awesome-useful-projects?tab=readme-ov-file#creative

Хитрый SQL-трюк, который редко используют 👇 Считать метрики без GROUP BY — через оконные функции. Обычно пишут так: SELECT user_id, COUNT(*) AS orders_count FROM orders GROUP BY user_id; Но проблема,  ты теряешь строки и детали. А можно так: SELECT    user_id,   order_id,   COUNT(*) OVER (PARTITION …

Хитрый SQL-трюк, который редко используют 👇 Считать метрики без GROUP BY — через оконные функции. Обычно пишут так: SELECT user_id, COUNT(*) AS orders_count FROM orders GROUP BY user_id; Но проблема,  ты теряешь строки и детали. А можно так: SELECT    user_id,   order_id,   COUNT(*) OVER (PARTITION BY user_id) AS orders_count FROM orders; Что происходит: - ты получаешь каждую строку   - и одновременно считаешь агрегаты   - без GROUP BY и без потери данных   Где это полезно: - аналитика (дашборды)   - сложные отчёты   - когда нужны и детали, и агрегаты сразу

🔥 Очень любопытный проект: Supermemory показал 99% на SOTA-бенчмарке памяти • Supermemory набрал ~99% на LongMemEval_s с использованием экспериментальной техники ASMR (Agentic Search and Memory Retrieval) • Вместо классического vector search и embeddings используется система параллельных агентов-наб…

🔥 Очень любопытный проект: Supermemory показал 99% на SOTA-бенчмарке памяти • Supermemory набрал ~99% на LongMemEval_s с использованием экспериментальной техники ASMR (Agentic Search and Memory Retrieval) • Вместо классического vector search и embeddings используется система параллельных агентов-наблюдателей, которые извлекают структурированные знания из истории взаимодействий сразу по нескольким направлениям • Используются специализированные поисковые агенты: → для точных фактов   → для связанного контекста   → для восстановления временной последовательности   • И самое интересное, никакой векторной базы данных не требуется 🚀 Проект станет open-source уже через 11 дней, следим:  https://x.com/DhravyaShah/status/2035517012647272689

🖥 FalkorDB — это масштабируемая графовая база данных с низкой задержкой, предназначенная для команд разработчиков, управляющих структурированными и неструктурированными взаимосвязанными данными в реальном времени или интерактивных средах! 🌟 Она использует разреженные матрицы для представления матриц…

🖥 FalkorDB — это масштабируемая графовая база данных с низкой задержкой, предназначенная для команд разработчиков, управляющих структурированными и неструктурированными взаимосвязанными данными в реальном времени или интерактивных средах! 🌟 Она использует разреженные матрицы для представления матриц смежности и линейную алгебру для выполнения запросов, что обеспечивает высокую производительность и эффективность. 🖥 https://github.com/FalkorDB/FalkorDB?tab=readme-ov-file

🐍 Вышла новая модель из серии Mamba - Mamba-3. Гибридные архитектуры становятся всё популярнее, поэтому всё больше внимания уделяется созданию следующего поколения линейных моделей. В Mamba-3 исследователи предложили несколько новых идей вокруг SSM (state space models), которые заметно увеличивают с…

🐍 Вышла новая модель из серии Mamba - Mamba-3. Гибридные архитектуры становятся всё популярнее, поэтому всё больше внимания уделяется созданию следующего поколения линейных моделей. В Mamba-3 исследователи предложили несколько новых идей вокруг SSM (state space models), которые заметно увеличивают способность модели обучаться без потери скорости. В результате Mamba-3 показывает более высокую производительность, чем предыдущие линейные модели, включая: - Mamba-2 - Gated DeltaNet Причём улучшения наблюдаются во всех размерах моделей. Интересный факт:   это первая версия Mamba, созданная студентами. Основные авторы проекта: - Aakash Lahoti   - Kevin Li   - Berlin Chen   - Caitlin Weng   - Tri Dao   Что нового в Mamba-3: 1. Улучшенная дискретизация SSM Предложена новая схема дискретизации, которая лучше имитирует свёртку (convolution) и делает модель более выразительной. Она также позволила избавиться от short convolution, который раньше использовался в линейных моделях. 2. Комплексные переходы состояний Переходы состояний теперь используют комплексные числа, что значительно улучшает способность модели отслеживать состояние. Это решает проблемы предыдущих версий Mamba, которые, например, не могли решать даже некоторые простые задачи вроде bit parity. 3. Архитектура MIMO вместо SISO Модель перешла от структуры SISO (single input single output) к MIMO (multiple input multiple output). Это позволяет лучше использовать железо при inference, что даёт дополнительный прирост производительности. Также архитектура была немного обновлена и стала ближе к современным языковым моделям. Например, добавлены компоненты вроде BC / QK normalization. Mamba-3 заметно усиливает линейные модели и делает их ещё более конкурентными с трансформерами, особенно в задачах языкового моделирования. Paper: https://arxiv.org/abs/2603.15569 Code: https://github.com/state-spaces/mamba Blog: https://goombalab.github.io/blog/2026/mamba3-part1/

💪 Google протестировали LLM на реальных научных вопросах по сверхпроводимости. Исследователи собрали 67 сложных вопросов, которые обычно обсуждают физики в области высокотемпературной сверхпроводимости, и дали их шести моделям: • GPT-4o   • Claude 3.5   • Gemini Advanced 1.5   • Perplexity   • Noteb…

💪 Google протестировали LLM на реальных научных вопросах по сверхпроводимости. Исследователи собрали 67 сложных вопросов, которые обычно обсуждают физики в области высокотемпературной сверхпроводимости, и дали их шести моделям: • GPT-4o   • Claude 3.5   • Gemini Advanced 1.5   • Perplexity   • NotebookLM   • специальной RAG-системе Каждый ответ оценивали 12 международных экспертов по нескольким критериям: • полнота ответа   • объективность   • точность   • наличие научных источников   • ясность объяснения Интересный результат: модели с закрытой, тщательно подобранной научной базой отвечали точнее, чем модели с доступом ко всему интернету. В закрытой базе использовали: • 15 ключевых обзорных статей   • около 3300 научных ссылок   • ~1700 отобранных источников по экспериментам и теории. LLM могут быть полезны как “виртуальный научный ассистент”, который помогает исследователю быстро разобраться в сложной области и увидеть разные научные точки зрения. Но качество сильно зависит от контролируемых источников знаний, а не просто от доступа к интернету. https://research.google/blog/testing-llms-on-superconductivity-research-questions/

😨 ВОЗМОЖНОСТИ ИИ ВЫГЛЯДЯТ ВСЕ БОЛЕЕ ЖУТКО: ИИ уже начинает моделировать поведение целых обществ. Китайский студент создал систему **MiroFish** — платформу, которая имитирует реакцию населения целых стран.   Проект уже называют новой эрой вычислительной социологии. Как это работает: Вы даёте системе …

😨 ВОЗМОЖНОСТИ ИИ ВЫГЛЯДЯТ ВСЕ БОЛЕЕ ЖУТКО: ИИ уже начинает моделировать поведение целых обществ. Китайский студент создал систему **MiroFish** — платформу, которая имитирует реакцию населения целых стран.   Проект уже называют новой эрой вычислительной социологии. Как это работает: Вы даёте системе любой инфоповод — законопроект, новость, слух или политическое событие.   После этого тысячи ИИ-агентов начинают вести себя как реальные люди: - пишут посты в соцсетях   - спорят и формируют общественное мнение   - поддерживают или критикуют решения   - даже «организуют» цифровые протесты Получается полноценная **виртуальная модель общества**, на которой можно тестировать реакцию людей до того, как событие произойдёт в реальности. Кто уже использует такие симуляции: - трейдеры — чтобы прогнозировать реакцию рынков   - маркетологи — чтобы тестировать кампании   - пиар-команды — чтобы проверять реакцию на новости   - исследователи — чтобы изучать социальную динамику Проект мгновенно взлетел: студент, который его создал, буквально за считанные недели получил миллионы долларов инвестиций и превратил университетский эксперимент в полноценный стартап. Фактически это **“цифровая толпа”, на которой можно тестировать будущее**. Код проекта:   github.com/666ghj/MiroFish Онлайн-демо:   666ghj.github.io/mirofish-demo

🌶 Базы данных за 30 секунд 🧠🗄️ Реляционные базы данных (SQL) • Данные хранятся в таблицах   • Фиксированная схема   • Поддержка ACID-транзакций   Примеры → PostgreSQL, MySQL 📦 NoSQL базы данных • Гибкая схема данных   • Созданы для горизонтального масштабирования   Примеры → MongoDB, DynamoDB ⚡ Key-…

🌶 Базы данных за 30 секунд 🧠🗄️ Реляционные базы данных (SQL) • Данные хранятся в таблицах   • Фиксированная схема   • Поддержка ACID-транзакций   Примеры → PostgreSQL, MySQL 📦 NoSQL базы данных • Гибкая схема данных   • Созданы для горизонтального масштабирования   Примеры → MongoDB, DynamoDB ⚡ Key-Value хранилища • Простая модель: ключ → значение   • Очень высокая скорость работы   Примеры → Redis, etcd 🧱 Wide-Column базы данных • Данные хранятся в семействах колонок   • Подходят для огромных объёмов данных   Примеры → Cassandra, HBase 🕸️ Графовые базы данных • Основной фокус — связи между данными   • Идеальны для связанных структур   Примеры → Neo4j 📈 Time-Series базы данных • Данные индексируются по времени   • Используются для метрик и мониторинга   Примеры → Prometheus, InfluxDB 🎯 Базу данных выбирают   по задаче, а не по тренду. Alibaba выпустила open-sou...