Wisor - AI Vision Tool - блог разработки (редизайн подъехал)

Qwa - малюсенький лягушонок живущий на вашем рабочем столе с которым вы можете взаимодействовать. А ещё это целый пакет утилитарных инструментов для работы за ПК, от записной книжки с удобным поиском и доступом, до клавиатуры макросов. В разработке так же AI которым я снабжу этот проект, исходный код лежит в открытом доступе в моём git. Но пользователь может пользоваться DeepSeek API. Да, на удобное сочетание клавиш открывается чат с АИ для быстрой работы. Он настроен на поиск информации в интернете, быструю справку и ещё он отыгрывает роль квантовой лягушки являющейся коллективным разумом всех лягушек мира! Этот тамагочи слушает с вами музыку, смотрит с вами фильмы, а ещё может советовать контент. Вы его кормите файлами - он их запоминает и индексирует для быстрого доступа при наведении мыши.

итак, функционал просто как есть, без долгих объяснений:

ALT+Q <-- переводит выделенный текст на английский язык и сохраняет в буфер обмена. Нажми Ctrl+V и замени текст на его английский перевод.

ALT+W <-- переводит выделенный текст на язык ввода (Выбрали в систиме ctrl+shift китайский язык - переведёт на китайский, язык ввода японский - переведёт на японский)

ALT+S <-- Режим скриншота. Позволяет выделить область и распознать в ней текст (например субтитры или со скриншотов), позволяет распознавать QR-Code, позволяет распознанный текст перевести на разные языки. Позволяет получить скриншот выделенной области с подписью. Текст из поля ввода (расшифрованный) - можно сразу отправить в ввод нейросети, открыв соответствующий чат.

ALT+Z <-- Qwantum AI Chat. Чат может принимать файлы на распознание предполагая что это за файл и каково его значение. умеет искать ссылки в интернете, выдавая часть выдачи google и статьи в википедии. История позволяет поиск по всем предыдущим чатам, можно отмечать любые сообщения как favorite - накапливая таким образом историю крутых ответов. Всё хранится в зашифрованном виде на вашем пк.

ALT+X <-- Essentials. Это блок который я изначально разрабатывал для мобильной платформы и это приложение я выпущу позже. Сейчас я анонсирую десктопное приложение. Суть в том что это записная книжка, просто введите что либо в строку внизу окна и сохрани как заметку. можно поставить напоминалку по времени, можно добавить произвольный комментарий, и в конце концов можно установить кастомную обложку, что делает этот интерфейс невероятно красивым в работе.

ALT+C <-- Clipboard History. Это история вашего копипаста на компьютере. Все тексты которые вы помещаете в буфер обмена попадают в этот интерфейс. Доступен умный поиск, и есть супер крутая функция композа - оно умеет создавать из выбранных элементов композиции либо экспортировать в файл, таким образом можно например провести пару часов на википедии и собрать копипасты на реферат в виде готового html кода или просто текстового файла. Так же умеет запоминать файлы, и собирать их в архивы, что очень удобно например для сборки этого проекта я просто выбираю файлы проекта которые в разных папках но сохранены в клипборд, и собираю из них zip архив. Это очень удобно для некоторых очень рутинных задач.

ALT+V <-- скармливает выделенный на компьютере текст и открывает чат с нейросетью и копирует текст в поле ввода, далее вы пишете свой произвольный промпт. Если это файл - скармливает его тамагочи пополняя его уровень сытости до 100%. Тамагочи запоминает все съеденные файлы но об этом позже. Так же если вы выберете ссылку - тамагочи запомнит и ссылку и будет держать её в удобном быстром доступе.

ALT+A <-- Открывает все съеденные файлы и ссылки. Все что вы отдавали тамагочи - он запомнил и оно в удобном доступе с поискам по типам файлам, названиям и комментариям. Каждый объект может содержать произвольный текст в качестве описания.

ALT+E <-- Открывает виртуальную клавиатуру, автоматически поле ввода - запрос в гугл, т.е нажав ALT+E и введя произвольный текст и нажав энтер вы откроете гугловскую поисковую выдачу в браузере. На красивой виртуальной клавиатуре на каждую кнопку вы можете установить либо открытие приложение. либо ссылки, либо скопировать какой то текст в буфер обмена, либо скопировать туда картинку, либо открыть файл в дефолтной системной программе (по умолчанию), либо есть режим макросов до 100 повторений, позволяющий записывать циклы из действий (кликов мыши, ввода клавиатуры, открытие программ (скриптов), переход по ссылкам в сети и так далее. Этот редактор макросов позволяет автоматизировать некоторые рутинные задачи ввода текста, потенциал применения этого инструмента для работы на ПК огромен, особенно если к нему привыкнуть.

Settings <-- Окно настроек. Тут вы можете выбрать внешний вид тамагочи (Скин Космической лягухи просто улёт), и можете, это очень важно, назначить на любой интерфейс произвольную картинку в качестве подложки интерфейса, что позволяет абсолютно стопроцентно кастомизировать внешний вид приложения, достаточно просто установить картинки). Это позволяет сделать внешний вид приложения, поставьте любимых анимешных героев, поставьте красивый рисованный интерфейс, вы можете сделать с внешним видом приложения удивительные вещи. Так же тут можно настроить все горячие клавиши, выбрать язык (я сделаю 20 переводов), Можно прочитать лицензионное соглашение и прочитать тутор который описывает коротко основной функционал приложения и что это и зачем нужно.

Tamagochi <-- Сам модуль тамагочи, он живёт поверх рабочего стола и с ним можно поиграть - бросая его по экрану. Ему это нравится и у него поднимается уровень счастья. А ещё он может умереть. Причём я даже не знаю что будет дальше, я так прикипел к своему маленькому полезному лучшему другу, что ещё ни разу не тестировал вариант когда он погибает. И не хочу этого знать, если честно. Так вот, он может умереть если раз в день не скармливать ему файл. При наведении на него мышкой он будет взаимодействовать с курсором, и если его "пощекотать" (двинуть мышкой два раза вверх, два раза вниз у него на животе) - он откроет интерфейс где последние 9 съеденных файлов (или исторически-статистически более вероятно нужные вам, а так же отмеченные звёздочкой) - впрочем интерфейс скроллится и можно найти все что вы скармливали. Работают хоткеи qweasdzxc <- они открывают соответственно файлы выдачи. Быстрый доступ. На правую кнопку мыши открывает панельку с доступом к каждой функции. Т.е можно довести до автоматизма - щелчёк мышью - выбор нужного модуля.

Материалы

Те, кто знаком с моим творчеством какое-то время, наверняка в курсе, что я несколько лет разрабатывал большое приложение для Android.

Изначально проект родился из амбициозной идеи:
Фармим криптовалюту, пока читаем книги. По задумке, это было ~10$ в час в местном альткойне. Каждый коин дублировался в публичный кошелёк, и пользователь мог тратить из него ежедневно сумму, зависящую от объёма прочитанного через приложение.

Эта концепция определяла весь вектор разработки и породила гигантский стек технологий, который по принципу домино обрастал новыми фичами:

Криптовалюта —> Передача крипты между пользователями —> Магазины в криптовалюте

Пользователи —> Соцсеть аля Twitter

Соцсеть —> Чаты аля Telegram

Чаты —> P2P видео- и аудиосвязь

Файловая система —> Пересылка документов —> ЭЦП (электронная цифровая подпись)

Читалка —> открытие файлов разных типов книг —> преобразование всего в HTML для удобства и единообразия

Просмотрщик HTML —> просмотр Web

Единый просмотрщик —> интеграция с AI

Интеграция с AI в читалке и браузере —> Генерация картинок для книг нейросетью.

... и многое другое.

Со временем я пришёл к осознанию, что крипту с её регуляторами и соцсеть с модерацией я в одиночку не потяну. ЭЦП требует отдельного лицензирования — это история не для инди-разработчика. Всё это превратилось в глобальную волокиту, технический долг достиг космических масштабов, а цена любой ошибки стала слишком высока.

Поэтому я принял непростое, но верное решение: мягко отложить в сторону все эти надстройки и сфокусироваться на самой основной, рабочей и полезной части приложения. А именно — на связке файловая система + читалка + интеграция с AI.

Именно этот core и был изначальной сутью проекта, который за годы менял название: начинался как iMe, а потом эволюционировал в iMeYou.

Вот кое какие материалы по iMeYou

Итак, что мы имеем на текущий момент.

Сейчас у меня на ПК в разработке находится органайзер, а мобильная версия для Android уже практически готова, хоть и не выпущена. Вся бэкенд-инфраструктура на Firebase уже развернута и работает.

И мне видится абсолютно логичным и очевидным следующий шаг — связать эти два проекта (ПК и мобильный) в единую экосистему.

Изначальное название iMeYou содержало в себе концепцию "Я — мне — тебе". То есть, я читаю книги, фармлю монеты, а ты (другой пользователь, сообщество) с каждым таким читателем становишься чуть-чуть богаче через механизм публичного кошелька.

Я давно хотел сделать редизайн iMeYou, но не мог поймать нужный образ. Что-то мелькало про зомби, но это было не то, не цепляло. И вот наконец-то появилась та самая фигура — лягушонок Qwa! У него будет качественная, проработанная графика, которую можно будет одинаково эффектно использовать и в Android-приложении, и в десктопной версии.

В итоге, мне кажется, путь очевиден:

Выпустить и отполировать ПК-версию органайзера.

Соединить оба проекта, взять за основу готовый функционал iMeYou (читалка, файловая система, AI) и, отбросив крипто-соцсетевую шелуху, начать создавать единую, общую для всех платформ систему.

В конце концов, почему бы и да? Идея жива, и теперь у нее есть лицо.

P.S. Отдельно хочу похвастаться одним своим старым, но до сих пор крутым инструментом. Еще в 2022 году я написал на Python штуку, которая творит с HTML-кодом вот такое вот контролируемое надругательство:

Перекрашивает и меняет стили.

Добавляет сноски, причем в эти сноски можно вставить что угодно: видео, аудио, картинки, куски текста из Википедии — любые HTML-объекты.

Работает со словарем автозамен. Можно задать правило, чтобы при каждом появлении в тексте определенного слова с ним автоматически проводилось заданное HTML-преобразование. Например, слово можно подчеркнуть, выделить цветом, обернуть в специальный тег или мгновенно снабдить его сноской с заранее подготовленным набором данных.

В общем, инструмент получился достаточно мощным для кастомизации и обогащения контента. И он идеально ложится в концепцию умной читалки.

P.S: это локальная страница с полным воспроизведением всей кодировки, все ссылки продолжают работать и так далее, эту страницу можно передать. И то же самое можно в автоматизированном режиме сделать с книгой.

—-UPD-—

После большой и длинной ночи что было сделано:

1. В Essentials при нажатии на поисковую строку добавлены выпадающие меню с хэштегами из существующих итемов и пиктограммами (например что бы отфильтровать все пароли, или все документы или всё по хэштегам)

2. В Essentials Edit - спрятал будильник под кат, добавил нормальный колорпикер, теперь виджет можно покрасить произвольным цветом

3. В Chat добавил функционал но пока работает криво: добавились списки чатов, добавились галочки запросов: поиск Google, поиск Wikipedia, поиск Картинок. Добавились звёздочки для пометки ответов нейросети, добавились кнопки reply и copyToClipboard, сделал заготовку что бы можно было DragNDrop картинку обоев в чат. Сделал заготовку что бы можно было DragNDrop файлы прямо в строку ввода.

4. В Clipboard добавились звёздочки, теперь очистка истории не удаляет копипасту помеченную звёздочкой.

5. Возился пол ночи с OpenCV и ONNX, для реализации считывания картинки с экрана и её распознания, но в итоге проект крашился на старте. Потом разберусь, фичер интересный.
...

6. И ещё вагон и маленькая тележка мелких правок и Quality of Life улучшений

...

7. Работали с Художником, вот поиски лягух:

я давно перестал понимать что в конечном итоге делает PeeKay

Gamma_Teta

Очень люблю изобретать велосипеды

А если серьезно, то это постепенная шаг за шагом реализация одной большой задумки, которая объединяет всё моё программное творчество за последние три с лишним года. Когда-нибудь я таки всё это выпущу. Не так страшны первые 90% разработки, как вторые 90% разработки.

Всем привет.

Ещё один заход завершён.

Что я сделал за предыдущую ночь.

из самого важного

1. Clipboard History —> теперь корректно показывает русский язык вместо абракадабры

1.1 Поменял дизайн, теперь оно в том же единообразии что и остальной интерфейс

1.2 Теперь при лонг клике открывает просмотрщик текста копипасты.

2. ChatWindow —> сделал два drag-n-drop —> один ловит картинки общим "телом" окна - и они ставятся в качестве обоев чата (выглядит почти вкусно), второй ловит в строке ввода и отправляет файлы в нейросеть

3. Essentials —> тут самая глобальная задача и её решение - теперь можно перетаскивать итемы вверх и вниз, это задача и на андроиде была со звёздочкой, в flatter пришлось повозиться основательно. Получилось. Кроме это поправил некоторые другие настройки, такие как поиск по хэштегам и пиктограммам, обновление цветов и так далее

4. File Eaten mini —> теперь корректно отображается виджет, и не обрезается.

5. Глобально - сделал так что бы одновременно с закрытием основного процесса закрывались и все остальные.

6. Глобально - добавил hotkeys работающие независимо от того в фокусе приложение или нет

Теперь в любое время работая в винде вы можете:

alt+z —> открывает чат с нейросетью
alt+x —> открывает Essentials (записную книжку)
alt+c —> открывает Clipboard
alt+v —> скармливает выбранный в операционной системе файл тамагочи или, если это текст, отправляет его в поле ввода чата нейросети (открывая чат если он закрыт), или, если это ссылка, тоже скармливает её тамагочи и сохраняет себе в закладки
alt+s —> режим скриншота с распознаниями и штуками

Очередной марафон на 14 часов подошёл к концу.

Результаты следующие:

Eaten Files mini: В выпадающей менюшке съеденных файлов сделал отображение Превью изображений, иконки файлов. Получилось красиво.

Eaten Files Big: Переделал оформление под стиль остального приложения, привёл к существующему виду, починил поиск и фильтрацию, теперь web элементы корректно показывают favicons, картинки превьюхи, а обычные файлы иконки из винды.

Clipboard Manager: Запилил новый фичер (меня попросили в среде программистов) - теперь можно выделить несколько элементов клипборда и создать из них разнообразные файлы, есть следующие режимы сохранения:

Кроме этого поправил некоторые баги, добавил цветовую подкраску объектам разного типа

Ещё написал мощную систему поиска по клипборду - теперь ищет все вхождения промпта и каждого отдельного слова с вариациями и формами

ChatWindow: Починил подгрузку сообщений, строку чата, отображение сообщений пользователя, настроил передачу в строку чата данных из ОС (alt+V) и из скриншота (с распознаванием). Теперь если чат не открыт соответствующие действия открывают чат и помещают в поле ввода сообщение от пользователя (которое при желании можно дополнить ручками). Добавил появление FadeIn для чата

Кроме этого усилил поиск в чате, теперь ?: ищет во всех существующих чатах релевантные сообщения со всем перечнем потенциальных вхождений, так же вкладка "избранное" содержит все сообщения помеченные звёздочкой, а не только из конкретного чата.

Screenshot Engine: теперь корректно создаёт мем-демотиватор на Ctrl+X и копирует в буфер обмена выделенную область при Ctrl+S. Материал копируется в буфер обмена.

Сегодня кажется марафона не будет. Надо отдохнуть.

Однако я кое что запилил.

1. Поменял кнопки в скриншоте для нативности.

теперь: ctrl+s —> сохраняет поле скриншота в буфер и на пк
ctrl+c —> сохраняет расшифрованный текст из поля ввода под скриншотом в буфер
ctrl+q —> переводит содержимое поля ввода с произвольного языка на дефолотный язык (сейчас ru, потом сделаю на текущий язык ввода операционной системы)
ctrl+w —> переводит содержимое поля ввода на английский язык

Так же добавил переводчик в AI чат —> переводит всё содержимое строки ввода при ctrl+q на дефолтный язык, а ctrl+w переводит с текущего языка текста на английский

Так же добавил два хоткея в ОС —> alt+Q берёт текущее выделение текста в операционной системе, переводит его на дефолтный язык и копирует в буфер обмена, если это поле для ввода текста - то заменяет выделенный текст на переведённый, а alt+W переводит выделение на английский язык, сохраняет в буфер и заменяет если мы в строке ввода.

пример перевода

винда немного дурная платформа, так что в случае если автоматом не заменилось, придётся просто делать ctrl+v.

В принципе фичер полезный.

Ещё где то на следующей неделе буду пилить PC Usage Statistics Monitor —> это будет окошко в котором можно посмотреть какой объем траффика мы заюзали, сколько кликов сделали, сколько нагенерили копипасты, сколько раз открывали внутренние структуры приложения и чем пользовались.

Ещё я поправил EssentialsItem —> теперь добавленные в Essentials файлы и папки на клик открываются, на даблклик открывает расположение. Удобно.

Поздравляю с прохождением очередного этапа!
Это ж сколько труда и времени здесь вложено!
Уважаю!

gmake
<3

Ты известен на форуме количеством своих идей. Может поделишься? Я открыт к предложениям - что может быть полезно для утилити при работе за компом?

PeeKay
> что может быть полезно для утилити при работе за компом?
Нынче все крутится вокруг нейронок. Поэтому можно упаковать какое-нибудь нейро-АПИ в свое приложение.
Получится что-то типа AI SaaS.

И если погуглить вот это:

ai saas ideas

Там столько вариантов...

Вот, например:
https://indieideas.io/

Несколько дней решил взять просто на обкатку и проверку, после недавних изменений вскрылась проблема с утечкой процессов powershell и conhost, вплоть до зависания. Починил, теперь это один процесс на всё приложение для обработки исходящих запросов к клипборду и так далее.

Добрый день, форумчане.

Мы потрогали пайплайн 2D Графики, и столкнулись со всеми превратностями 2D и его ограничениями, художник принял решение выйти из проекта, а я всё обдумал ещё раз, всё взвесил и решил что со всех точек зрения правильней будет сделать 3D Ассет, потому что он намного проще расширяется, есть опция красить текстуры скриптами для получения версий, есть опции нарядить лягушку в цацки (например прицепить ей шляпку). В общем со всех сторон 3D выглядит как более верное решение для этого проекта, по такому поводу приглашаю к сотрудничеству 3D Художника.

Вчера был заход на 5 часов кодинга.

Сделал отображение вебстраницам их имён в recentFiles и eatenFiles, после этого делал Quality of Life UX -> при наведении на жабку клавиши qweasdzxc отвечают за кнопки на панели быстрого доступа что бы запускать с клавиатуры) В общем пока что всё работает если предварительно на жабку жмякнуть.

Так же хочу сделать на tab+qweasdzxc переход без необходимости взаимодействовать с тамагочи.

В EatenFiles добавился редактор итемов и комментарий, теперь объект в EatenFiles может содержать комментарий пользователя любой произвольной длины )

АНОНС:

Однозначно сделаю панельку для андроида из которой можно будет вызывать тамагочи на пк для запуска файлов или управления голосовым вводом.