Вчера был на бесплатной конференции по машинному обучению и искусственному интеллекту от Селектел.

Вчера был на бесплатной конференции по машинному обучению и искусственному интеллекту от Селектел. Пока свежи воспоминания, поделюсь некоторыми мыслями на эту тему. Конфа была больше для руководителей и людей, принимающих решения. Было мало технических подробностей и много примеров внедрения в бизнесе для решения различных задач.

🔹Особенность ведения бизнеса в современных реалиях в РФ такова, что локальные нейросети, развёрнутые на своих или арендованных серверах - это повсеместная история. Доступ к технологическим мировым лидерам ограничен как технически (блокировки, санкции), так законодательно (персональные данные, трансграничная передача). Особых проблем в этом нет, так как многие задачи успешно решаются условно небольшими нейросетями, а сама технология ещё не оформилась в какую-то стабильную и понятную историю. Идут постоянные изменения, обновления, улучшения. Всё меняется очень быстро. Завязки на что-то одно крупное будут скорее вредить, чем помогать.

💡У меня в голове по этому проводу возникла мысль, что сейчас очень хорошее время зайти специалистом в эту область знаний. Я не про себя сейчас, а вообще. Технология развивается, всё постоянно меняется, устоявшихся практик и готовых специалистов нет или очень мало. Если вы ищите себя в IT и пока не знаете, на чём сфокусироваться, обратите внимание на ML и AI.

ML-инженеры уже давно сформировались, это не сказать, что что-то новое, а вот AI-инженеры, которые занимаются построением инфраструктуры для использования нейросетей, сейчас будут очень востребованы. Вокруг нейросети нужно построить масштабную и нагруженную технологическую платформу, чтобы всё это успешно работало. Она сейчас включает в себя как минимум сам движок LLM, RAG, векторную БД, MCP Server, агенты, LLM прокси для роутинга запросов. Наверняка появится какая-то платформа для управления всем этим. Сейчас каждый свою пишет так, как ему кажется удобнее.

🔹Вопреки расхожему мнению, что небольшие локальные модели на те же 30B не могут конкурировать с огромными облачными, это не так. Для многих локальных задач небольших моделей достаточно. Наиболее популярные модели от qwen, gemma, gpt-oss, minimax.

🔹Некоторые примеры решения задач с помощью ИИ:
◽️Рекрутёр обзвонщик разговаривает с кандидатами, ищет подходящих, передаёт дальше.
◽️Текстовая и голосовая работа операторов с базой знаний, которая постоянно обновляется. Популярная задача, актуальная почти для всех компаний.
◽️Изменение стоимости доставки в интернет-магазине в зависимости от нагрузки сервиса, чтобы снижать при нехватке водителей поток клиентов повышением цены.
◽️У банков иишки уже много лет решают кучу задач: предсказания по кредитам, выплатам, внутренняя база знаний, поддержка клиентов, антифрод, работа с документами и т.д.

Понравилась история с примером AI агента, который помогает операторам банка отвечать клиентам почему им не начислили тот или иной кэшбек. Банки настолько усложнили схему с кэшбеками, что без AI не разобраться. Я по этой причине вообще не пользуюсь никакими кэшбеками принципиально. Не хочу забивать себе этим голову.

🔹Несколько практических моментов, которые для себя вынес:
- MiniMax и OpenCode - ai ассистент в терминале и ide.
- LiteLLM Proxy - проксирование запросов в разные LLM.
- Модели нормально крутятся в Kubernetes.

#ai