- PeeKay
- Постоялец
Пока код лежит в стороне, я занимаюсь оформлением и поскольку мне нужны изображения для фонов, а в интернете никогда нет гарантии что на картинку есть лицензия, и мне в общем то нужны просто абстракции - я пошёл к нейросетям, в процессе так увлёкся что нагенерил к настоящему моменту картинок 30-40. С интерфейсами, логотипами и фонами. Вот кое что из найденного. Фоны так же отлично нарезаются на скины для кнопок. В общем 500 скинам по 5$ - быть)
Я продолжаю работать над скриншотером, сегодня добавил новый фичер - теперь на стрелку, текстовой блок и пятно краски можно повесить текстуру, благодаря чему можно делать достаточно интересные штуковины на экране. Но пока-что есть ещё нерешённые задачи и нет стабильности. Потихоньку наслаиваю штуковины и делаю правки.
Кроме этого внёс небольшие изменения в окошко "Essentials Window", теперь оно занимает меньше в ширину и больше в высоту, так помещается больше виджетов и в целом окошко выглядит более "фундаментально", как какая то очень пёстрая часть экосистемы.
Так, у меня наконец получилось сделать persist between instances отображение текстур и картинок, они почему то не грузились. Теперь надо написать функцию cloneImage что бы они не конфликтовали за одну и ту же картинку и не сходили с ума.
Что на картинке?
1. карбоновая подложка это картинка другого окна. ПО задумке это нужно что бы рисовать поверх каких то картинок которые уже есть.
2. Скриншотик. Нормально ресайзится, нормально загружается, нормально обновляет рендер при увеличении-уменьшении.
3. Стрелочки. Умеют отображать поверх себя текст, умеют принимать текстуру, могут быть произвольных цветов
4. Вот эти розовые сполохи вокруг - это кисточка, линия которой разблюрена и прокинута текстура поверх. Нужно для создания на доске фонов, в перспективе - для рисования и нейрогенерации прямо в кадр.
Продолжаем работу. Завтра занимаюсь стабильностью, задача что бы вот это вот то что сейчас работало безупречно без единого тормоза и зависания.
PeeKay
> Что на картинке?
гавнохостинг картинок это по взрослому:
PeeKay
как смотреть? - пендоские прокси не помогают.
PeeKay
абсолютно в таком виде вся тема.
кто-нить ваще видит это?
xlat-code
> PeeKay
> как смотреть? - пендоские прокси не помогают.
>
> PeeKay
> абсолютно в таком виде вся тема.
> кто-нить ваще видит это?
Спасибо.
hiveworkshop - сайт посвященный варкрафту 3, какого хрена...
PeeKay
> блин
возможно хуситы опять порвали оптокабель и как починять, то я смогу видеть ...
xlat-code
> возможно хуситы опять порвали оптокабель и как починять, то я смогу видеть ...
Это наши местные проблемы. С впн видно.
Добрый день, друзья.
У меня получилось стабилизировать доску настолько что на ней уже можно разворачивать десятки скриншотов без проблем с производительностью. Некоторые шерховатости ещё имеются, я в самой середине разработки и продолжаю наслаивать функционал.
Что уже готово в режиме доски:
1. Можно перенести скриншот из истории на экран
2. Можно нарисовать стрелку. Стрелке можно присвоить текстуру или написать поверх стрелки текстовую подпись.
3. Можно поставить текст. У текста есть три режима - String, HTML, Formula - в первом случае просто текст с оформлением, можно выбирать цвет, есть режимы отображения, размер, шрифт, можно положить подложку-текстуру, тогда это будет виджет, можно поставить на фон цвет. В режиме html он просто рендерит переданную в него разметку, умеет понимать стили, может рендерить ссылки. Режим формулы показывает на экране описанную алгебраически формулу, либо формулу в формате LaTeX, рендерит её изображение и в настройках объекта позволяет задать в формулу переменные и произвести расчёты. Умеет в алгебраические перестановки, т.е может выразить значение одной переменной через преобразования над уравнением. Калькулятор в одну строчку для тех кому может быть нужен. Формулы так же принимают и другие объекты
4. Можно Рисовать. Мы наносим линии, линии сохраняются как дискретные объекты, их можно передвигать по экрану, можно положить поверх маску или текстуру, можно удалить часть линии стирашкой, можно выбрать цвет, размытие, плотность нанесения, имитировать нажатие, менять прозрачность. В целом эта вещица умеет потрясающе много чего интересного делать. Есть режим штампа, можно загрузить произвольное количество изображений и они случайным образом будут наноситься при каждом клике, рандомясь в процессе вдоль линии. Умеет генерить текстуру нейросетью под промпт (т.е можно нарисовать линию, поместить поверх изображения, выбрать область, нажать генерацию, вписать промпт, и получить маску нарисованную нейросетью под область кисти с учётом подложки. Рисовалка так же может стать маской для объекта под ней, то есть объект скрывается, и показывается только то что под линией.
5. Можно Стирать. Прямо поверх картинок которые положены на экран, создаются локальные копии отредактированного материала.
6. Можно выделять область лассо. Тогда на все новые объекты действует правило что они видны только в пределах этой зоны выделения. Можно скопировать растризированную версию того что под выделением.
7. Можно добавлять шейпы. Круги, прямогуольники, многоугольники, произвольные фигуры. В шейп можно превратить выделение Лассо. Умеет принимать формулу и искажаться в соответствии с формулой, есть пресеты форм, может принимать градиент, цвет, текстуру.
8. Есть настройки блендинга, то есть можно увеличить или уменьшить прозрачность каждого отдельного элемента, и использовать режимы смешивания цветов как в фотошопе.
9. Умеет экспортировать в html в виде base64 изображения и в локальный png файл всю доску со всем её содержимым и отображением.
Все это в совокупности инструмент для проектирования и управления информацией.
Что я планирую сделать далее.
1. Режим нескольких досок. Можно выделить несколько досок и отрендерить общую доску с единым полем видимости, так что бы соединить объекты с обеих досок и отобразить их одновременно на одном экране.
2. Добавление элементов Essentials, EatenFiles на доску с поддержкой всего их функционала и отображения - т.е с доски можно открывать ссылки, файлы на компьютере, копировать что то в буфер обмена. Элементы имеют масштабируемую структуру. Их можно будет драг-н-дропнуть из собственных интерфейсов основных экранов.
3. Добавление элементов webview_windows для рендеринга вебстраниц в этом же окне прямо на доске.
4. каждому элементу доски можно задать хоткей и он переносит экран в эту точку.
5. доски можно передавать как объекты, ими можно делиться вместе со всеми их данными.
***
Ещё одно. Я подумал что Essentials и Clipboard в состоянии достойном релиза и скорее всего включу их в продукт на первый релиз, потому что они уже есть и нет какого то глобального смысла их держать, я ими пользуюсь, они норм.
Таким образом
Wisor будет состоять из
1. Wisor (Screenshot AI) - сейчас варится, готовность 63%
2. Essentials - готово на 97%
3. Clipboard - готово на 94%
4. AI Chat - готово на 85% но требуется тестирование. Хочу внимательно проработать, но мне нужны токены. Подождёт.
5. EatenFiles - Готово на 96%
6. Hyper-Search - Готово на 70%
7. Book Converter - Готово на 70%
8. Virtual Keyboard ?? <— Готово на 75%
Задача финализировать всё это. И я постепенно это делаю. Но предстоит ещё много работы. В любом случае пока у меня нет средств на сертификат безопасности и размещение в стиме, на хостинг и на любые телодвижения, плюс билд пока живёт только в моей локальной экосистеме.
В общем смотрю весьма оптимистично, и тружусь) Что из всего этого балагана интригует более всего?
И спасибо что читаете. :)
Честно говоря я смотрю на твой проект и выглядит ну просто на 100% как open source проект на GitHub'e. Типа такие утилиты для удобства работы и прочее. А на Стиме такой релиз (как по мне) будет смотреться странно.
Butjok2
Спасибо. Продвижение на разную аудиторию требует разного позиционирования. Для Steam это тамагочи на рабочий стол. А ещё там будет древо прокачки.
Так, я наконец немного отдыхаю.
То что уже готово выглядит как совершенно новый уровень организации данных. Вы можете оформить в доски одновременно и ссылки, и файлы, и тексты, и вебстраницы, и любые данные. Сверх этого вы можете всё это красиво оформить. С формулами и функциями доска превращается в движок, уж не знаю что там намудрит пользователь, потенциально он может сломать приложение и воспроизвести буквально любой произвольный код или математическую логику. Вы можете брать стандартную запись формул и подать на input значения переменных, и формула посчитает результат. Вы можете любую формулу алгебраически преобразовывать в произвольные другие формулы, фактически можно совершать любую математику над любыми значениями. Будет опция открыть .json файл и парсить его.
Пока ещё стабильность не слишком высокая и пока я занимался только тем что бы всё работало, я ещё не особо прикасался к самому процессу работы. Хоткеи, управление, все разнообразные инструменты, их поля настроек. Мне нужны слои и я хочу перевести в растровую графику мои объекты. Сейчас линия Draw это набор точек по которым выстраивается Path и потом на него с шагом density, наносятся слепки кисти. А ещё я сделал перо которое умеет рисовать случайными картинками, очень может быть полезно. Оставляет на ходу отпечатки image с картинкой, каждое изображение потом можно редактировать отдельно. Есть ещё режим маски. Делает видимым только то что под выделенной областью. Можно очень интересные штуковины делать.
На счёт ОКР. В Wisor есть режим Компьютерного виденья, сейчас он анализирует изображение и пусть и не всегда удачно, но распознает тексты на экране, эти данные складируются в папочку и доступны для нейросети, а так же на распознанное он будет создавать на экране виджеты с информацией из распознавания. Так же этот контент приоритезируется в snapshot и помечается как fromUser. Вся совокупность представляет из себя контейнеры с текстом, ссылками, распознанными кр-кодами. Машина умеет создавать прогностические вектора обращаясь к разным снэпшотам памяти в зависимости от того к каким ключам памяти обращаться.
Нейросеть пока не трогаю, она билдится но ей нужно уделить недели две времени что бы довести полностью до ума.
test сообщение отправленно из доски Wisor
Ура! Я потратил весь прошедший день на то что бы подобрать подходящий пакет webView.
Изначальный windows_webview хотя и отображался плюс минус корректно, но это пакет у которого отсутствует львиная доля настроек в контроллерах, типа canGoBack() или enableJavascript, и самое главное - в него не получалось передавать символы ввода с клавиатуры, т.е вебвью есть, кнопки реагируют, а ввода нет... он очень "тонкий", заместо него я сначала попробовал экспериментальный WebF, но после 8-10 итераций оказалось что это пакет рендерер, и всю логику надо писать поверх него, и я даже собрался это делать, но рендер страницы он тоже никакими нативными методами не отдаёт, поэтому я чертыхнулся и пошёл за следующим пакетом. Я попробовал так же несколько других пакетов безуспешно пока не пришёл к flutterInAppWebView, с горем пополам я его установил и дальше раз 20 переписал весь код нейросетью до тех пор пока он не научился принимать ввод и адекватно реагировать на клики внутри себя. В какой то момент нейросети почудилось какое то очень экстравагантное решение с инъекцией джаваскриптов в вебстраницу, если коротко, оно задумало обнулить все слушатели кнопок на странице и переназначить их заново - ради того что бы кликался какой то характерный для gamedev тэг.. Ну и переломало мне всё.
Результатом я на данный момент весьма доволен, теперь надо снова сделать заход в сторону стабильности и причесать все dispose(). Пространство для оптимизации здесь, увы, достаточно большое и надо постараться что бы всё это разнообразие кнопок не только согласованно работало, но и не крашилось через раз.
Продолжаем работу. Спасибо что читаете)
Больше видео, меньше текста
Butjok2
Спасибо, вы правы, я услышал. Когда оно перестанет крашиться через раз - обязательно сниму видео)