Компания Yttri изначально использовала ONNX-реранкер bge-reranker-v2-m3 для RAG-поиска. Однако такой подход оказался слишком ресурсо-емким для local-first desktop-приложения, требуя около 600 МБ модели, до 1.8 ГБ RAM в пике и вызывая ощутимую нагрузку на CPU.
Среди ключевых фактов можно отметить следующие:
- Использование ONNX-реранкера bge-reranker-v2-m3 для RAG-поиска.
- Высокая ресурсо-емкость данного подхода, требующая значительных объемов памяти и вызывающая нагрузку на CPU.
- Успешная замена тяжёлого реранкера на собственную реализацию YAKE! на Rust, характеризующуюся низкой латентностью и отсутствием внешних сервисов.
Для маркетологов и SEO-специалистов это означает, что при выборе технологий для своих проектов стоит учитывать не только качество результатов, но и такие факторы, как ресурсо-емкость и латентность. Правильный выбор инструмента может существенно повлиять на производительность и эффективность приложения. Таким образом, при разработке новых решений важно учитывать все возможные варианты и не ограничиваться только одним подходом, а искать наиболее оптимальное решение для конкретной задачи.
Практический вывод из этого опыта заключается в том, что не всегда лучшее решение – это самое сложное или ресурсо-емкое. Иногда простота и эффективность могут быть ключевыми факторами в достижении успеха. Поэтому при разработке новых проектов стоит уделять особое внимание оптимизации ресурсов и поиску наиболее эффективных решений.
По материалам Хабр, 24.04 20:44.
