БД по АЯ - II. Концепция Нейромансера

Неоднозначно это все, зыбко, как рисунок на прибрежном песке. Навалено всего в кучу. Не отработана концепция, а уже обсуждаются технические вопросы. Тот же Петухов... (я про его доклад)в одну кучу смешал, как и действительно концептуальные вопросы, так и совершенно несущественные. Впрочем, не буду критиковать и цепляться, потому что тут действительно все очень туманно и не поддается жесткой формализации...

Предлагаю следующую концепцию базы данных.

1. "Хламохранилище". Таблица, в которую суется все подряд сообщения от очевидцев. Храним:

- Оригинал сообщения (составленное в свободной форме, но с выполнением определенной рекоммендации).

- ФИО и координаты очевидца.

- Регион, в котором это явление наблюдалось.

- Время наблюдения.

Кто постит данные? ЛЮБОЙ ЖЕЛАЮЩИЙ! В результате имеем просто напросто кучу информации.

Запускаем соответствующий сервис и раскручиваем - пусть люди пишут. Пока будем думать, что делать дальше - будет накапливаться информация.

НО! Обязательно нужен флаг "кто постит".

- Аноним, не оставивший своего адреса.

- Зарегестрированный пользователь, оставивший свои координаты.

- Член организации, провевший опрос очевидцев

Таким образом мы сможем фильтровать по достоверности. Например, используя "коэффициент достоверности". Аноним - 1. Член организации - 20. Зарегестрированный - 10/количество "свидетельств" (думаю, тут понятно, почему делить).

2. Здесь начинается очень принципиальный момент - классификация аномальных явлений. Любой классификатор будет искажать информацию (типичный пример - "уфоком это культ" с точки зрения классификатора церкви). Поэтому СОХРАНЯЕМ ОРИГИНАЛ сообщения, но создаем СИСТЕМУ КЛАССИФИКАТОРОВ - для удобства фильтрации "хламохранилища".

То есть одно и то же сообщение рассматриваем, допустим, с точки зрения: a) классификатора Петухова б) классификатора Бутова-Линника в) классификатора Нейромансера г)... любой пользователь может создать собственный классификатор, как анализируя "хламохранилище" с нуля (то есть непосредственно тексты сообщений), так и наследуя элементы других классификаций (тое есть в плане классификаторов мы применяем объектно-ориентированную модель с множественным наследованием классов).

3. Взаимодействие между базами данных... кому вообще в голову пришла эта мысль?! Зачем вообще нужна распределенная база данных? Я вижу только одно - амбиции уфологических групп. "Это чисто наши сведения" и мы хотим "сами контролировать ситуацию" С человеческим фактором, конечно придется мириться. Но тут выход тоже элементарный - раздаем им движок для ведения как хламохранилища, так и для создания системы классификаторов. И предусматриваем систему импорта-экспорта данных посредством XML (парсим и суем в собственную БД).

Вот и все. Лично мне это представляется довольно гибким и удобным ИССЛЕДОВАТЕЛЬСКИМ ИНСТРУМЕНТОМ. Вот тебе куча данных. Вот тебе куча классификаторов. Наследуй и полиморфируй!

PS: наследование... полиморфизм... надо еще об инкапсуляции сказать. Говорю: классификаторы инкапсулировать не будем (это очевидно).

PPS: НА счет придут "органы" и все похерят. Если дать каждому желающему держать "базу целиком", то пускай приходят и херят . Кто сразу провел аналогию с сетью eDonkey, тот молодец

[Редактирование]

пункт 3 не понятно, вобще я так понимаю не совсем то имелось ввиду...

Взаимодействие между базами данных - думаю вещь нужная и дело не в амбициях..

всяко лучше если база будет не в одном месте и с точки зрения устойчевости всяко лучше. можно пойти так, иметь некую центральную базу и раздовать на подченнение коих может быть сколько угодно..обратный прием только в таблицу хлама и не чего больше...причем без замены данных, а только добавлением... вобщем тут есть над чем подумать еще

А я вообще ничего не понял!

Завтра если зайду, объяснишь?

всяко лучше если база будет не в одном месте и с точки зрения устойчевости всяко лучше.

С точки зрения УСТОЙЧИВОСТИ - банальная репликация решает ВСЕ проблемы с устойчивостью. Плюс использование механизма ТРАНЗАКЦИЙ при постинге сообщения.

Какие-нибудь еще доводы в пользу не-единой БД есть (не хочется говорить "распределенной", это немного другое)?

Твоя позиция - база должна быть одна? Или как в той системе eDonkey распределена покусочкам среди пользователей?

Просто мы уже с тобой говорили на эту тему - вся база предполагает быть слишком большой, чтобы ее кто-то один у себя хранил, а еще интернациональные базы (на другом языке)...

да распределенной не много другое понятие, есть идеи, но это только идеи.. почму не сделать базы двух типов, верхний уровень, это базы (напрмер по одной в стране) тоесть базы высокого доверия только провернные люди, оргинизации.. полная синхронизация...и базы для обычных желающих..синхронизация только вниз. хотя сдругой стороны хлам не представляет особой ценности можно и гонять туда сюда..чтобы на получилось в всех своего хламу по чуть-чуть... должна обеспечится равноправия баз и доступ к информации, причем как главное условие, чтобы не забивались по своим углам

вобщем еще раз повторю это только идеи от них можно и отказаться

Твоя позиция - база должна быть одна? Или как в той системе eDonkey распределена покусочкам среди пользователей? Просто мы уже с тобой говорили на эту тему - вся база предполагает быть слишком большой, чтобы ее кто-то один у себя хранил, а еще интернациональные базы (на другом языке)...

Если, как говорит Маркони, "дело не в амбициях" - то одна и только одна. Вопрос "о слишком большой базе" (то есть ограниченность в вычислительных ресурсах), то этот вопрос решается увеличением производительности. (хостинг -> более хороший хостинг -> сервер -> более крутой сервер -> кластер серверов). Интернациональная - так интернациональная. Это всего лишь пара полей в таблице и не более того.

есть идеи, но это только идеи.. почму не сделать базы двух типов, верхний уровень, это базы (напрмер по одной в стране) тоесть базы высокого доверия только провернные люди, оргинизации.. полная синхронизация...и базы для обычных желающих..синхронизация только вниз. хотя сдругой стороны хлам не представляет особой ценности можно и гонять туда сюда..чтобы на получилось в всех своего хламу по чуть-чуть...

Давай рассмотрим вопрос иначе. Не с точки зрения "почему бы не сделать", а с позиции ЗАЧЕМ нам это делать. ЗАЧЕМ это нужно? ЧТО это решает? КАкую-то проблему - КАКУЮ?

должна обеспечится равноправия баз и доступ к информации, причем как главное условие, чтобы не забивались по своим углам

С этим совершенно согласен! (отдельно замечу, что это не подразумеваеть доступ к РЕЗУЛЬТАТАМ исследований - степень их открытости личное дело каждого).

тут была мессага Маркони. Но что-то сглючило... и ее не стало. Neir0mancer.

А ты уверен, что предложенный тобой способ - оптимальный? Мне он кажется далеко не простым... Вот наиболее простое и не менее эффективное решение.

1. "Базовый сервис" - на сервере, размещенном, предположим, в хорошем дата-центре (именно ДАТА-ЦЕНТРЕ) в Москве. На нем все работает.

2. "Бэк-ап" - ежедневная инкрементальная репликация на дохленький серверок, находящийся в дата-центре в Китае. И пусть туда добираются

3. Ну и для тройной подстраховки - раз в месяц копировать дамп (тоже инкрементально - не так уж и много траффика) себе на комп Хотя бы для удобства (быстроты) пользования оффлайн-версией.

Сие можно совершать не только на уровне серверов, но и банальных хостингов. (отдача XML базовым сервисом и парсинг оного бэкапным).

ну ладно, это уже опять детали полезли... мозговой штурм для программеров.. так в целом все правильно..думаю пока это лучшая модель..

Ну не могу понять. Толи мои слова игнорируются, толи проходят мимо ушей, толи ещё что, что каждый раз приходится всё повторять.

Я уже говорил, что у всех сейчас свои взгляды на базу данных. Но создаст её тот, кто этим занимается. А предложения - это дело хорошее, но предлагать каждый горазд. Мы всё равно не сделаем базу общей. И это вообще глупо, поскольку это требует колосальных человекоресурсов.

Что касается принципа баз. Да пусть каждый создаёт то, что считает нужным, и на каждой базе будут ссылки на другие - других государств. Схема проста и всех устроит. А что касается тонкостей создания, это уже другая проблема. Я начал подготавливать материалы по ключевым словам, и мне виден результат, видно, что это направление эффективно.

Я вообще не понимаю проблему хлама. Какой может быть хлам, если мы исследователи, и должны проверять максимальное количество случаев, а не сидеть за компьютером и перебирать письма читателей.

Что то эта база в какой-то культ превратилась, в смысл жизни. Да это вообще простая прога, так сказать, которая должна помогать в исследованиях, а не быть их целью. Наша задача - строить гипотезы и проверять их экспериментально до того, пока это не станет фактом. Вот где исследования, а не базы данных и сайты.

Не могу понять, причём сдесь вообще какие-то амбиции и т.п. Если человек заинтересован в каком то деле, то он по разному может выссказывать точку зрения. Мы тут дискуссируем, а не на молитве стоим.

Концепция Нейроманцера. Да я вообще-то про это и говорю. Только не нужно делать кучу разных классификаторов. Это уже непонять что получится. Вы хотите создать базу, где нужно поставить галочку и вам тут доклад появится на нобелевку. Так такого не будет никогда. База - это и есть хранилище. Там могут быть гипотезы и факты. Кто как хочет. А уже выводы делать и думать - это наша работа. И вообще база расчитана на исследователей, а не на детишек, любящих поиграть в Малдера и Скалли. И зачем нужны эти новороты, требующие огромных сил, чтобы народ бегал на базу. Для народа есть сайт, вот пускай там и лазят. Я даже и предлагать это Игорю не буду.

Тоже самое на счёт других языков. Да делать вам нечего, вот что я могу сказать. Нужно на себя работать, а не на других. Вам за это никто спаасибо не скажет. Есть такие люди, которые обладают большими возможностями и которые не ездят по зонам и т.п. Они просто залезут на базу, поиспользуют наши знания, получат результат, может даже в виде денег (и немалых), а с нами никто не поделится. Вы как хотите, а я ещё не на столько двинулся, чтобы дарить свою информацию, которая мне стоила огромных сил и честно заработанных денег кому попало.

У нас есть узкий список коллег, с которыми мы работаем, и которым я доверяю. Для них и для себя я этим и занимаюсь, а не для всяких там неизвестно кого.

Зачем тогда кому-то будет вступать в наши организации, когда он сидя дома сможет получить всбю информацию, причём бесплатно. Зачем. А вот если бы мы сказали, что мы позволим пользоваться нашими ресурсами, так и членство в наших организациях было бы перспектабельно.

А так ничего хорошего не будет. Я вообще заинтересован в том, чтобы в каждой организации было налажено какое-либо предпренимательство, прибыль от которога шла бы на материальное обеспечение деятельности. А на одних зарплатах и времени после работы далеко не уедешь. Слишком тяжело.

Некоторые проекты требуют вообще колосальных денег. Но это проекты по реальным исследованиям, а не по проездам по аномальным зонам и опросу очевидцев.

А мы тут на базе данных застряли. Да всё равно каждый будет создавать то, что считает нужным. Зачем спорить. Наша задача договорится о том, что человек, попав на одну, сможет попасть и на остальные. А то вы тут с первого раза хотите создать супер пупер. Так не выйдет. Всё равно будет куча ляпов и к этому нужно быть готовым.

что-то тебя понесло, столько написать но не понятно чего.

>А на одних зарплатах и времени после работы далеко не уедешь.

> Слишком тяжело.

но ведь уежаем! именно так сейчас работают почти все организации

>Мы всё равно не сделаем базу общей. И это вообще глупо,

>поскольку это требует колосальных человекоресурсов.

почему это не сделаем? с чего глупо то? ресурсов хватит

>Вам за это никто спаасибо не скажет

я уже привык

>Они просто залезут на базу, поиспользуют наши знания

в лучшем случае они получат записи из таблиц хлама и не класификаторов и так далее, ценности такое информации ноль, круглый ноль, и не каких денег тут не сделаешь. Вобще я смотрю в умах все чаще появляетя идея комерцилизации направления. Вот и Субботин свою базу продаёт, вобще перспективна на радостная. Если ты хочешь сделать базу с расчетом что-то заработать то сразу забуть, делай тогда лучше базу по законадательству и продовай фирмам. Не будет народ прибывать для исследований, как показывает практика настоящий исследователь все равно придет в организацию даже если у организации нет сайта, а всякая шушара (играющая в скалдера) будет крутится под ногами вечно, как ты не приукрась свою дейятельность...

да надо общую базу, и чтобы супер-пупер...

А давайте все-таки СДЕЛАЕМ. Единую (ведь мир не ограничивается границами Белорусии, Украины и т. д...). Пока без множества классификаторов(все что надо - тип, дата, время, место и само описание). А дальше просто посмотрим, как будет удобно отсеивать из этого массива хлам (здесь хлам - запуски, астрономические объекты и т.п.).

Ужас как не люблю трепаться попусту и топтаться на одном месте в поисках решения. Поймите же, полностью просчитать все детали заранее не просто тяжело, а (в данном случае) невозможно! Ведь недостатки базы прорявятся в ходе ее эксплуатации, и куда обидней переделывать заново то, на что потратили недели работы, чем просто добавлять по мере надобности те или иные функции.

Если бы я знал PHP как русский язык, то база была бы уже давным-давно готова. Беда в том, что знаю я его как польский - общий смысл понимаю, а как написать - не знаю. Но все равно, с помощью других людей сейчас делаю единую информационную базу Космопоиска (к Новому году думаю будет бета-версия). И в ней запланирована реализация базы по АЯ. Поэтому всем желающим работать, а не трепаться, предлагаю собраться онлайн в закрытом чате, к примеру Космопоиска, в определенное время и действовать совместно. Кто за?

я за, если заметили то PHP язык я знаю лучше чем родной Русский 8)))

ну я то и так в чате всегда

Striker, а альфа-версия уже есть? Если ты обратишь внимание на соседнюю тему, то можешь увидеть, что альфа-версия УфоКома уже запущена - http://ufo-com.net/baza Что же касается "граблешагателей", как назвал их Нектон, то они всегда есть и будут, но свежие интеллектуальные ресурсы и большое их количество, думается, разрешит проблему создания БД!

Вообще, говоря прямо, эта демка - все еще "пластелин" из которой можно слепить все что угодно (ну почти). И нам прежде всего хотелось бы, чтобы люди высказывали конкретные замечания и предложения, что их не устраивает в этой базе. Потому как ее создание тоже потребовало немало человекочасов. И все пожелания мы стараемся учесть и исправить.

С этого момента ввожу строгую модерацию темы. Обсуждаем только концепцию. Остальные мысли философского характера, не имеющие отношения к БД - к черту. Задрало, что превращают любую тему во флейм.

Маркони! Что ты думаешь об OPEN SOURCE? Сколько было попыток сделать базу? И где наработки? Кто-то что-то когда-то сделал, но не поделился, из соображений, аналогичных Руслановым. А потом забил... и не кому подхватить эстафету... каждому приходится начинать с нуля. Призываю сделать публичной не только базу, но и исходные тексты. Если у нас ничего не получится, то остануться готовые модули и спецификации для наших детей, которым мы сэкономим время.

обоими руками за опен!

Вот и славно. С нетерпением жажду услышать мнения (не флейм!) остальных участников. И далее приступаем к обсуждению и написанию спецификаций и технических заданий.

Striker, а альфа-версия уже есть? Если ты обратишь внимание на соседнюю тему, то можешь увидеть, что альфа-версия УфоКома уже запущена - http://ufo-com.net/baza Что же касается "граблешагателей", как назвал их Нектон, то они всегда есть и будут, но свежие интеллектуальные ресурсы и большое их количество, думается, разрешит проблему создания БД!

<{POST_SNAPBACK}>

альфа есть.

постараюсь скоро сделать ее доступной для тестирования.

Сразу оговорюсь база будет закрытой и основная информация будет доступной только членам Космопоиска. Кстати, в ней пока нет блока по АЯ.

Neir0mancer, с моделированием ты эту затею выбрось из головы. Это привелегия руководства УК. И я никому не позволю запрещать говорить посетителям сайта.

Далее. Базу данных по Беларуси ведёт МинскУфоКом, так что все эти выссказывания всё равно бессмысленны.

Обращаюсь к marconi. Не слушай никого и делайте свою базу такой какой вы считаете нужным. Я лишь могу предложить нашу систему классификации.

В базе содержаться не только случаи, но и гипотезы, как попытки объяснения некоторых феноменов.

Все случаи делятся:

А. По степени достоверности (проверено, не проверено, фальсификация, проверено-сомнительно, не проверено-сомнительно, исследования(т.е. гипотезы, выводы, заключения)

Б. По степени допуска: совершенно секретно, только для служебного пользования, общий доступ.

•В тех. области, в отдельных колонках, указывается: ФИО автора, название организации (газеты), дата выхода публикации (отчёта). То есть указывается источник информации.

•Вся эта информация будет выдаваться в стандартных окошках при открытии какой-то статьи.

Поиск в базе будет производится по ключевым словам. Список ключевых слов, который несомненно будет корректироваться, можно скачать здесь:

http://belufocom.narod.ru/kluch.doc

Neir0mancer, с моделированием ты эту затею выбрось из головы. Это привелегия руководства УК.

Руководство УК абсолютно некомпетентнов в программировании. Руководство УК абсолютно не компетентно в БД. Руководство УК не имеет абсолютно никакого понятия об технологиях, используемы в сфере IT. Позицию координатора "Беларусь-Космопоиска" Линника Руслана я расцениваю как деструктивную. И если остальные члены УфоКома (в частности его руководитель Бутов Илья) настроены конструктивно, то позиция Линника отличается нетерпимостью с любым мнениям, отличным от собственного. Прошу Высший Совет Уфологического Комитета рассмотреть этот вопрос.

И я никому не позволю запрещать говорить посетителям сайта.

См. п 4. Правил. "Сообщения должны соответствовать теме. Это не всегда возможно, но давайте стараться". Запрещать говорить - это одно. А уклоняться от темы - другое.

Далее. Базу данных по Беларуси ведёт МинскУфоКом, так что все эти выссказывания всё равно бессмысленны.

В соседней ветке был поставлен вопрос о БД по АЯ. Была попытка выработать общую концепцию. Проанализировав предложения участников, а также информацию о возможных проблемах, я синтезировал на их основе новую, которую и сформулировал в этой ветке. Но вместо того, чтобы вновь вернуться в конструктивное русло, к сожалению, наблюдаю попытку Линника снова вернуться к флейму и спору "кто главнее". Прошу рассмотреть этот вопрос на Высшем Совете.

Обращаюсь к marconi. Не слушай никого и делайте свою базу такой какой вы считаете нужным.

Цитирую: "с моделированием ты эту затею выбрось из головы. Это привелегия руководства УК". Моделирование - это труд, которым занимаются программисты и системные аналитики. Именно они обладают необходимыми знаниями и опытом. Называть это ПРЕВИЛЕГИЕЙ, да еще и людей, которые этими знаниями и навыками не обладают ("руководство УК") - это патология.

Я лишь могу предложить нашу систему классификации.

В базе содержаться не только случаи, но и гипотезы, как попытки объяснения некоторых феноменов.

Уффф... я предлагаю модель "кухонного комбайна", универсального, настраиваемого. Линник говорит "не слушайте его! предлагать комбайн - это ПРИВИЛЕГИЯ УК, вот возмите вместо этого мою узкозаточенную отверточку".

Товарищи! Ну рассудите здраво. Не прав Линник. По всем статьям не прав.

Да нет, Неоманцер, это не я не прав. Я - человек, которому приходится следить за соблюдением устава (поскольку остальные не достаточно сильно уделяют внимания этому вопросу). Рецензия - привелегия руководства, поскольку это уже не входит в область програмирования, а входит в область оргполитики. Нельзя удалять сообщения на подобных форумах. Здесь собираются не дилетанды, пишущие разную лабуду, а люди серьёзные. И удаление сообщения может вызвать обиду его автора. А порядочные люди, как правило, не начинают обливать обидчиков грязью, а просто удяляются.

Если ты создавал форум - это не даёт тебе право нарушать наши правила. Уфоком - организация, создаваемая с нуля за деньги её членов и никаких скандалов, а тем более прилюдных и способных подорвать репутацию организации быть не должно. Я говорю не о области исследований и точек зрения, а о репутации, как честной организации.

И причём сдесь программирование. Я не программист и мне абсолютно безразлично, что будет делать Игорь для создания базы данных. У нас нет проблем с базой на данный момент и не нужно их придумывать. База, как исследовательская программа, уже разработана и скоро будет сделана. Соседние государства, на сколько я понял, не возражают проив пусть не коннекта, а ссылок на свои базы. Так в чём сыр-бор. С программированием проблем нет. Это вообще технические проблемы и каждый программист делает так, как считает нужным. И никто не ссорится с россиянами или латвийцами, никто им ничего не пытается доказать. Я дал свой проект, а понравится он им или нет - это уже их дела. Я им не указ.

К тому же причём сдесь "кухонный комбаин"? Серьёзные люди в первую очередь обращают внимание на содержимое, а не на лишние навороты. Чем больше наворотов - тем хуже база данных. Всё должно быть элементарно и просто.

Какие могут быть разногласия. В Беларуси мы уже занимаемся базой, уже всё продумано и делается. А общей базы всё равно мы не сделаем, поскольку всё равно у всех разные взгляды. И с какой стати, мне, к примеру, браться за уфобазу, если я считаю её неэффективной. Также следует напомнить, что если бы не моя целенаправленная работа, то сейчас Беларусь вообще не была бы в списке стран, способных самостоятельно сделать базу. Где же ты был, Нейроманцер, когда Илья ещё оговаривал эти вопросы с чехами.

Кроме того следует подчеркнуть, что не каждый способен понять, что и зачем я делаю. Просто есть факторы, которыми располагаю только я, и которые дают мне возможность наиболее правильно поступать в тех или иных ситуациях. Наша разница с другими исследователями в том, что я думаю не о нынешней ситуации, а всё просчитываю на лет десять вперёд. У меня чётко сформулированы цели и задачи, и это позволяет организации развиваться. Никому не известно, через какие трудности приходилось проходить, чтобы выработать именно такую схему работы. И я, в свою очередь, всегда, при возникновении определённых проблем, способствовал появлению правил, чтобы эти проблемы впоследствии не повторялись.

Назовите мне хотя бы один пример, когда кто либо из взятых мною людей, создал проблемы не только мне, но и руководству организации. Я думаю, что ни Илья ни Витя такого не припомнит. Да, были у меня такие внутренние проблемы, но эти люди больше в организации не оставались. А я такое раздолбайство притуплял на корню. Жёстко, но без этого в Уфокоме был бы полный бардак.

Если взять, к примеру чехов, то у них в организации около семисот человек. Но оргвопросы решают исключительно руководители. И здесь не стоит обижаться, нужно понимать, что делается всё для нас же самих.

Далее. Базу данных по Беларуси ведёт МинскУфоКом, так что все эти выссказывания всё равно бессмысленны.

Ошибка. Базу Данных не может вести Минск или Витебск или Гродно и т. д. Это совместный проект, а что касается Беларуси, то это тоже неправильно. БД в Беларуси также разрабатывают сообща. Сейчас вот Нейромансер заинтересовался проектом, завтра я могу сказать – базу данных ведут Горки! Я, думаю, Лесковец Игорь сможет выбрать оптимальное направление развитие базы и подключиться к СОВМЕСНОЙ работе. И, возможно, даже все переделать с нуля. Нет смысла, как я уже говорил хвататься за амбиции. Если уж БД, то БД общая.

Что касается концепции Нейромансера. Я так понял даже в чрезвычайно открытом для общественности Космопоиске вызревает идея сделать БД (или ее часть?) закрытой. Как твой проект согласуется с идеей закрытости?

О модерировании. Не будем чрезвычайно злыми и не будем удалять все, что где-то не так. Я вот тоже в программировании "ноль" и в этой теме меня могут немного "промоделировать" Ну и нормально. Моя позиция - модерирование необходимо, но в рамках предусмотренных правилами. Кстати, сейчас появится еще один модератор - в теме по астрономии...