Frantishek
Advanced Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1. нужно вести учетные данные (картотека, досье, и тд), с позиции их консолидации, и наполнения, фиксируя такие их составляющие, с точки зрения срезов их объединения - как время и источник (то есть, всякая новая пакетная запись - операция импорта/консолидации данных путем их сопоставления), это некий снапшот, который сохраняет, как минимум, два дополнительных типа id - время внесения записи и ее источник.
2. источниками данных могут быть
- файлы всевозможных форматов (не усложняя задачу тут допускаем, что мы их готовим вручную для импорта, к тому же еще очищая от мусора, если таковой есть. то есть, нормализуем, приводим к понятному единообразию)
- внешние данных сайтов, которые разовым парсингом также превращаются в файл (возможно непрерывное кол-во итераций, с целью контроля динамики их изменения)
3. таким образом, еще их версификация. чтобы даже накладывая их на те поля, что еще не заполнены были (в рамках какой либо описательной карточки), мы могли это все назад обратить. например, внеся дополнительный еще также id, отражающий качество записи (степень ее достоверности), постепенно улучшая картину всего заполнения, имея возможность делать отчеты потом (процедуры экспорта данных) с учетом полноты и качества срезов.
именно для этой задачи, мне думается, приоритетным движком и мог стать DataExpress (как, прежде, конструктор логики обработки хранения, и сопоставления данных, в идеале также - продвинутых отчетов по ним, вплоть до визуализации - статистика/графики). все остальное - это уже их добыча при помощи чего угодно - стороннего софта и т.д. как такое реализовать?
опять же, возвращаясь к примеру, не сочтите за шпиона, просто моя прикладная область будет менее понятна, но логически она очень близка.
скажем, полно разных было выложенных ВК баз. в разных форматах (бд, эксель и тд). что то парсит народ постоянно сейчас (арбитраж трафика и тд - тянет данные групп и тд). как бы это можно было все объединять, представляя, что идет заполнение перманентно некого поля (континуума) в его измерениях (проекции):
- статика (просто заполнение белых пятен с точки зрения консолидации полноты данных)
- динамика (их изменение во времени, при заполнении одинаковой области - одного поля элемента)
- какие то типы связи (в идеале свободные полностью - "многие ко многим")
- атрибуты (достоверность, и пр. чтобы потом в отчетах можно было использовать фильтр и по ним)
то есть, чтобы можно было потом, к такой базе сделать запрос, и из его произвольного центра копать (по модели наличия связей известной как концептмэппинг - тип связей "многие ко многим").
скажем, ковырнул пользователя, увидел все группы в которых он записан. а также в динамике - из каких он потом выходил и тд. ковырнул группу - сделал отчет по динамике ее наполнения в разрезе пола, и также тех данных, что есть в картотеке участников в части ее. как то так. думаю, я описал что-то совсем очень стандартное, с точки зрения Data Warehouse, только оно скорее ближе к промышленным решениям. а мне нужно бытовое. |
