СТАТЬИ >> РАЗНОЕ

Дисперсионный и регрессионный анализ эмпирических данных

С.А. Вдовин к.э.н., доц. каф. ЭиМ СГГА, г. Новосибирск.
Применение дисперсионного и регрессионного методов анализа эмпирических данных в экономических и социологических исследованиях

В статье рассматриваются подходы статистического анализа эмпирических данных полученных в результате исследования экономических процессов, протекающих в обществе. Приведен пример планирования эксперимента, предложен формат представления данных, а также порядок построения полного факторного эксперимента.

В статье рассмотрены примеры построения математических моделей носящих вероятностный характер, и проведено их исследования с помощью предложений регрессионного и дисперсионного подходов к анализу данных. Приведены примеры выводов и рекомендаций, полученных на основе исследований реальных моделей, дано краткое описание необходимых уравнений и следствий из них. Следует заметить, что представленные в статье модели носят иллюстрирующий характер, для более детального их исследования требуется более тщательная детализация.

Характерной чертой для современного уровня развития социологической и экономической науки, а также их приложений является все более широкое применение статистических методов анализа тех или иных экономических или социологических процессов. Подобные методы могут быть использованы при анализе влияния на деятельность предприятия различных факторов (внешних, внутренних) и позволяют определить их значимость. Необходимость использования этих методов связано с тем, что изучение явлений окружающего мира, становясь более глубоким, требует выявления не только основных закономерностей, но и возможных случайных отклонений от них. Наука все больше внедряется в такие области практики, где наличие и большое влияние именно случайности не подлежит сомнению, а иногда является определяющим. В настоящее время нет практически ни одной области науки, в которой в той или иной степени не применялись бы методы статистического анализа, в частности данные методы, позволяют принимать эффективные решения при проведении маркетинговых исследований предприятия.

В силу своих особенностей маркетинг требует эффективного управления [1], но те же самые особенности маркетинга делают его управление чрезвычайно трудным. Принятие решений – это выбор альтернатив. Оно предполагает наличие адекватной информации, цель которой – уменьшить неопределенность в отношении последствий принятых решений. Решение о внедрении продукта на рынок может либо повлечь за собой убытки, либо привести к росту прибыли, не менее важны исследования вопросов связанные с взаимодействие подсистем предприятия. Современная концепция управления в маркетинге состоит в том что, управление – это анализ, планирование, организация и контроль, за проведением, маркетинговых мероприятий, а ее задача заключается в воздействии на уровень, время и характер спроса для достижения целей. Статистические методы анализа данных могут с успехом применятся в социальных сферах, с их помощью можно анализировать деятельность кадровых агентств, анализировать данные предвыборных политических компаний.

Основу любой системы анализа маркетинговой информации составляет статистический банк и банк моделей. Статистический банк включает в себя совокупность современных методик статистической обработки информации, позволяющих наиболее полно вскрыть, взаимозависимости в рамках подборки данных и установить степень статистической надежности. Методики обработки информации включают методы регрессионного, корреляционного, дисперсионного, факторного, гнездового подходов к анализу математических моделей и другие математико-статистические методы позволяющие анализировать модели, носящие вероятностный характер различных областей знаний, в частности моделей деятельности предприятий. Анализ можно проводить в реальном времени, и анализировать деятельность на будущее, используя аппарат временных рядов. В начале исследования необходимо выделить значимые факторы, те явления, которые оказывают существенное влияние на модель.

Например, если с помощью регрессионного анализа исследуется влияние на прибыль Y предприятия по производству упаковочной продукции, факторов: Х1-затраты на рекламу, Х2-затраты на модернизацию производства, Х3- затраты на расходные материалы, факторов может быть сколь угодно много в общем случае по каждому из факторов набрана статистика за определенный период времени, исследованию подвергаются генеральные совокупности или выборки из них. Модели могут иметь следующий вид. Общая линейная модель будет представлена в виде [17],

(1)

модель может быть квадратичной


(2)

содержать смешанные взаимодействия факторов

(3)

где

матрицы наблюдений;

выборка из генеральной совокупности, данные эксперимента,

вектор неизвестных параметров в модели, e ошибка.

Уравнения 1-3, представляют собой функциональную зависимость прибыли Y от факторов . В качестве функций могут выступать любые непрерывные функции, например экспонента или логарифм, их выбор зависит от конкретных эмпирических данных, априорной информации.

Далее следует процедура оценки неизвестных параметров , обычно оценку проводят с помощью метода наименьших квадратов (МНК) [11]. Рассмотрим метод наименьших квадратов в свете того, что он, по сути, является частным случаем метода максимального правдоподобия. В методе также приходиться решать оптимизационную задачу, искать минимум специальной функции, которая строится следующим образом, формула

(4)


где

– функция распределения,

- эмпирическая функция распределения.

Вычисление оценок МНК не требует, вообще-то говоря, введения каких-либо дополнительных гипотез. Сам метод часто рассматривают как способ «разумного» выравнивания эмпирических данных. Однако судить об адекватности модели, об ее прогностической способности удается лишь за счет введения априорных сведений, зафиксированных в предпосылках классической регрессии. Вообще говоря, просто оценить параметры недостаточно, необходимо, что бы полученные оценки обладали свойствами несмещенности, эффективности и состоятельности [10]. Итак, в результате проведения оценки параметров регрессионной модели получены значения вектора оценок параметров . Теперь уравнения 1-3 подставляем в виде, соотношение 5,

(5)

Теперь оцененную модель можно использовать для прогнозирования прибыли, взяв в качестве значений факторов желаемые значения. На основе проведенного анализа делаются выводы, предлагаются рекомендации, приведем пример.

Если на рекламную компанию тратить менее 24 тысяч рублей в месяц, то увеличение объема производства влечет за собой увеличение убытков. Следовательно, на рекламу нужно тратить больше 24 тысяч рублей. Реклама вносит наибольший вклад в прибыль. Увеличение расходов на модернизацию, влечет за собой увеличение прибыли. Сумма по всем трем факторам будет ограничиваться предыдущей прибылью. Так как параметр при факторе - расходы на рекламу имеет наибольшее значение, следовательно, для развития предприятия в данный момент времени приоритетным является увеличение расходов на рекламу. Распределение оставшейся части денег между модернизацией и затратами на расходные материалы будет определяться количеством затраченных денег на рекламу, а также объемами производства и возможностью проведения модернизации. Выводы сделаны на основе реальных эмпирических данных, при исследовании модели предложенной в уравнениях 1-3. Необходимо отметить, что при построении модели факторы должны носить количественный характер (рубли, килограммы и т.п.).

Если факторы в модели носят качественный характер (штуки, люди, количество чего либо и т.п.) то удобно применять методы дисперсионного анализа, пусть мы исследуем модель, описанную уравнением 1, в котором положим;

- вектор значений отклика,

- матрица наблюдений (значений) соответствующих факторов, - вектор неизвестных параметров, - вектор ошибок измерений. При построении модели необходимо четко представлять, сколько факторов мы используем и сколько уровней имеет каждый фактор, например для исследования мы выделили три фактора это возраст, образование и пол людей приходивших в кадровое агентство с целью поиска работы, каждый фактор был представлен уровнями


Таблица 1 − Смысловое представление модели «Кадровое агентство»

Фактор Уровень 1 Уровень 2 Уровень 3
Возраст 20-30 лет 30-40 лет 40-50 лет
Образование Общее Среднее специальное Высшее
Пол Мужской Женский  

После этого по каждому уровню всех факторов необходимо набрать статистику, для составления плана эксперимента, для более полного и качественного анализа необходимо составить полный факторный эксперимент (ПФЭ). ПФЭ это всевозможные комбинации уровней факторов. Далее проводим оценку параметров, учитывая то, что матрица , в общем случае имеет дефект ранга, следовательно, придется использовать метод псевдообращения матриц, необходимо решить следующую систему уравнений [16],

(6)

откуда получаем

(7)

где , z- произвольный вектор.

Таких оценок, вообще говоря, бесконечность и такие оценки являются смещенными, но существуют линейные комбинации вида , для которых оценки являются несмещенными, такие оценки называют функциями допускающими оценку (ФДО). ФДО также бесконечность, но существует базис, относительно которого можно построить любую ФДО. Для ПФЭ можно априорно предложить базис ФДО и преобразовать модель к модели полного ранга, применяя следующую процедуру.

Пусть матрица наблюдений соответствующая ПФЭ, с числом наблюдений , где - число уровней фактора . Проведем факторизацию матрицы наблюдений , выполнив преобразование

(8)

где матрица размерности обладает полным рангом по столбцам,

матрица размерности обладает полным строчным рангом.

При этом уравнение наблюдений преобразуется к виду 9,


(9)


где - вектор ФДО. Модель 9, будет моделью полного ранга, которую рекомендуется взять в качестве исходной.

После проведения анализа с помощью дисперсионного анализа, для модели представленной в Таблице 1, получили например следующие выводы и предлагаем рекомендации.

1) В результате анализа установлено, что на отклик существенно (значимо) влияет фактор X2 (образование). Парные взаимодействия факторов не оказывают существенного влияния на результат эксперимента. Остаток значим. Это свидетельствует о том, что выбранная модель неадекватно описывает экспериментальные данные и нуждается в уточнении.

2) Установлено, что на отклик существенно (значимо) влияет фактор X2 (образование). У фактора X2 (образование) значимо различаются эффекты уровней 1 (общее образование) и 3 (высшее образование), 2 (среднее образование) и 3 (высшее образование), причем уровню 1(общее образование) соответствует наибольшее среднее значение отклика, а уровню 3 (высшее образование) - наименьшее среднее значение отклика.

Различие между эффектами других уровней незначимо.

3) Наибольшее среднее значение отклика наблюдается на 1 - м уровне фактора X2;

наименьшее среднее значение отклика наблюдается на 3 - м уровне фактора X2; влияние остальных факторов несущественно, т.е. различие между средними значениями отклика для различных уровней этих факторов незначимо. Уровни фактора X2 в порядке убывания среднего значения отклика образуют последовательность: уровень 1 (общее), уровень 2 (среднее специальное), уровень 3 (высшее).

Результаты были получены исходя из реальных данных кадровых агентств.

Сделаны следующие выводы:

Необходимо дополнительно уточнять данные эксперимента, проводить исследования более длительный период, используя статистику по нескольким агентствам одновременно.

Выяснилось, что наиболее существенное значение оказывает фактор 2 (образование), чаще всего в агентства обращаются люди, имеющие только общее образование, они чаще всего ищут временную работу. Рекомендуем организацию курсов обучения и последующего трудоустройства данной категории граждан. Другие факторы возраст и пол оказывают слабое влияние на предложенную модель.

Цель статистического анализа в том, чтобы, минуя слишком сложное, зачастую практически невозможное исследование отдельного случайного явления, обратится непосредственно к законам, управляющими массами таких явлений. Изучение законов позволяет осуществлять прогноз в области случайных явлений и целенаправленно влиять на ход таких явлений, контролировать их, ограничивать сферу действия случайности, сужать влияния случайности на практику, решать практические задачи управления и контроля предприятия.

Перед исследователем, применяющим статистический подход при проведении маркетинговых исследований, ставятся задачи описания явлений, анализа и прогнозов, выработка оптимальных решений. Во время решения возникающих задач необходимо использовать соответствующее программное обеспечение, что позволят существенно увеличить объем и сложность обрабатываемой информации, при этом быстро и своевременно получать необходимые данные, делать выводы, принимать решения, опережая конкурентов.

Несмотря на то, что необходимость применения статистических методов исследования велика, имеется много разработок в области прикладного программного обеспечения для их реализации, в частности подобные пакеты программ разрабатываются специалистами в области прикладной математики. Следует заметить, что подобные методы на практике используются редко, так как требуют некоторой специальной подготовки специалистов экономического профиля различного уровня.

Рекомендуемая литература

1. Виханский О.С., Стратегическое управление. - М.: Изд-во МГУ, 1995.

2. Кинг У., Клиланд Д. Стратегическое планирование и хозяйственная политика. - М.: Прогресс, 1982

3. Маркова Е.В., Денисов В.И., Полетаева И.А., Пономарев В.В. Дисперсионный анализ и синтез планов на ЭВМ. – М.:Наука,1982.

4. Шеффе Г. Дисперсионный анализ. – М.:Физматгиз,1963.

5. Хикс Ч. Основные принципы планирования эксперимента. – М.:мир,1967.

6. Рао С.Р. Линейные статистические методы и их применение. – М.:Наука, 1968.

7. Браунли К.А. Статистическая теория и методология в науке и технике. – М.:Наука,1977.

8. Денисов В.И., Полетаева И.А., Хабаров В.И. Экспертная система для анализа многофакторных объектов. – Новосибирск.: НЭТИ,1992.

10. Лемешко Б.Ю. Статистический анализ одномерных наблюдений случайных величин – НГТУ Новосибирск 1995. – 125с.

11. Лемешко Б.Ю. Курс лекций по методам оптимизации – НГТУ Новосибирск 1999.

12. Кокс Др., Оукс Д. Анализ данных типа времени жизни.

13. Крамер Г. Математические методы статистики. – М: Мир 1975. – 648с.

14. Кендалл М., Стюарт А. Статистические выводы и связи. – М: Наука. – 900с.

15. Губарев В.В. Вероятностные модели: Справочник. В 2-х ч. НГТУ – Новосибирск, 1992. – 422с.

16. Денисов В.И., Попов А.А. Условия оптимальности в алгоритмах в сингулярном планировании. Межвузовский сборник научных трудов. Применение ЭВМ в оптимальном планировании и проектировании. – Новосибирск 1981.- 199с.

17. Попов А.А. Курс лекций по статистическим методам анализа данных- НГТУ Новосибирск 1999.


СТАТЬИ >> РАЗНОЕ

Финансовая драконолитика

Возьмите практически любой локальный биржевой график по любой ценной бумаге или товару. Чтобы исключить элементарное фактическое знание, удалите наименование актива, конкретные даты и номинал валюты, оставив, однако, масштаб шкалы времени и цен. Заслоните затем правую половину графика и дайте аналитику его дорисовать исходя из имеющихся данных открытой левой половины. Получите результат, сопоставьте с фактом и посчитайте свои убытки и упущенную выгоду, если бы вы придерживались плана этого «специалиста».

Юрий Зиненко, ИГСО

Пишу эту статью под впечатлением от просмотра фильма о драконах, показанного недавно по ТВ-3. Интересно (а я и сам не знал!), оказывается, для изучения драконов существует целая наука (во всяком случае, отрасль науки) — Драконология!

«Ученые», правда, так и не пришли к единому названию этого направления исследований (используются также термины драконоведение, дракология, дракография, драконистика), но, как и прочие науки, она имеет свою историю, виды и подвиды деятельности, области применения и направления изучения. По предмету пишутся книги и учебники, проводятся семинары и читаются лекции, есть свои «гуру» и горячие последователи.

Мы, люди, оказывается, о драконах знаем очень много (без всяких шуток!). Их классификацию, анатомию, физиологию, психологию, повадки, места обитания и т.д., и т.п. Знаем их кулинарные предпочтения (дети и девственницы), свойства чешуи, полезные качества внутренних органов (например, что клыки помогают беременным, а сердце — стать великим повелителем), пиротехнические свойства, процесс образования пламени и проч. Да много чего, если вообще не исчерпывающе! При этом, хотя эти животные присутствуют в культурах всего мира (от Китая до ацтекского Кетцалькоатля, один Змей Горыныч чего стоит), при множестве свидетельств «очевидцев» (настоящее засилье этих тварей в средневековой Европе, чуть ли не по змеюке на каждую деревню — бедные рыцари аж еле справлялись!) — фактического (чучело, останки или ископаемое) наличия огнедышащих воздушных змеев так и не подтверждено…

И тут же мне на глаза попались свежие анализы фондового рынка обожаемого мной за полную неадекватность и постоянную невменяемость УРАЛСИБА. Я их фондовых аналитиков люблю за то, что можно довольно просто следовать их рекомендациям, поступая, как в известном анекдоте с советами женщины — делать прямо наоборот! (Милых дам прошу не обижаться, я просто улыбаюсь, а на самом деле вас всегда беспрекословно слушаюсь.) И я вдруг отчетливо осознал, что все их (да и других тоже!) исследования — это не более чем та же самая драконистика, но только посвященная открытым рынкам! То же самое полное знание о предмете при полной его бессмысленности и бесполезности как такового. Умение объяснить все, что уже произошло, с абсолютной беспомощностью сказать внятно о том, что произойдет в следующую минуту. Придание любой случайности степени закономерности с помощью потока слов и запутанных фраз — и, наоборот, игнорирование закономерностей, если те не подтверждаются сиюминутными случайными флуктуациями.

Возьмите практически любой локальный биржевой график по любой ценной бумаге или товару. Чтобы исключить элементарное фактическое знание, удалите наименование актива, конкретные даты и номинал валюты, оставив, однако, масштаб шкалы времени и цен (годы — так годы, тысячи — так тысячи). Заслоните затем правую половину графика и дайте аналитику его дорисовать исходя из имеющихся данных открытой левой половины. Получите результат, сопоставьте с фактом и посчитайте свои убытки и упущенную выгоду, если бы вы придерживались плана этого «специалиста».

Но, может быть, это просто невозможно, прогнозировать будущее? А как же тогда планирование, трехлетний бюджет, «Стратегия-2020»? Ведь их кто-то пишет. Или туда аналитиков благоразумно просто не пускают? Может тогда они, раз уж специалисты, которые всегда могут объяснить что, как и почему произошло, расскажут это на том же графике?.. Давайте закроем теперь его левую половину и попросим по итогам того, как развивалась динамика торговли в будущем, дорисовать график ее развития непосредственно перед этим, что, конечно, и привело к дальнейшему именно такому развитию. Снова получаем рисунки, открываем реальный график и опять умиляемся нашим экстрасенсам!

Почему же все так происходит, спрашивается? Да потому что экспертократическая риторика о чем угодно, только не о фундаментальном, базовом, поддающемся объективному анализу, сама по себе направлена на анализ фиктивных, виртуальных и неявных процессов биржевой игры. Слухи и домыслы, новости и надежды, мнения и ожидания, страхи и чаяния — всё намешано в этот котел, густо-густо заварено псевдонаучностью и приправлено якобы знаниями. Ну, не драконоведение?! Нет? А что тогда? Разве не правда, что, например: «…В качестве источника инфляции большинство аналитиков называли рост цен на продукты питания и энергоносители. Так причиной инфляции оказывалась сама инфляции, ее ценовое выражение. При этом уточнялось, что она не носит системного характера и бороться с ней нужно исключительно сдерживанием цен на топливо и продовольствие. Виновником проблем объявлялись спекулянты, почему-то решившие заняться перепродажей риса и молока, а не обуви и цветных телевизоров» (из доклада ИГСО «Природа мировой инфляции»).

Причем я говорю не о «трудностях перевода» той или иной экономической ситуации в условиях реального прогнозирования, об этом напишу еще попозже. Речь же об экспертократах, специалистах-практиках (не решил пока, специарактиками их называть или практицистами), имеющих возможность «анализировать» на широкую публику. И, конечно же, об их истинной науке, в которой эти «эксперты» действительно разбираются отлично и в применении «знаний» которой чувствуют себя «как рыба в воде» — экономической драконолитике, понимаемой как аналитика, производимая по принципам драконологии! На что же в анализах подобных специалитиков обращать внимание, чтобы распознавать, где там (как в одной старой шутке) ложь, наглая ложь и статистика?

Еще в 1998 году, читая лекцию в ВШЭ об австрийской школе экономики, известный экономист Григорий Сапов, отвечая на вопросы, заявил: «Эконометрика, как наука историческая, имеет настолько мощный аппарат, что я на спор берусь любую теорию с помощью убедительной эконометрической модели подтвердить или опровергнуть на одних и тех же данных». Уверен, что в этом ему можно верить. Впрочем, делать этакое изящно и основательно для широкой публики в экспертно-аналитическом сообществе представляется вовсе не обязательным. Чтобы обосновывать какой-то тезис, особенно стараться вовсе необязательно, потому что добросовестность очень затратная сама по себе, да и обходится довольно дорого, поскольку не все, что тебе, как «Эксперту», заблагорассудилось с умным и важным видом ляпнуть, находит свое подтверждение при дальнейшем исследовании. Гораздо проще цифру притянуть, выборку сделать, мягко говоря, не совсем случайной, данные элементарно сфальсифицировать, а результатами манипулировать в том разрезе, который служит поставленной цели подтверждения (или опровержения, не суть) некоего постулата.

Как вот, например, уважаемая (не побоюсь этого слова) тюменская компания БрОК. В своих (я имею в виду публичных) исследованиях зависимости цен на недвижимость от различных, не связанных напрямую с этим рынком, аргументов. К примеру, от цен на нефть или от фондовых индексов. Зачем это сделано, не знаю, свечку, как говорится, не держал. Может, не дает специарактикам покоя слава Георгия Остера с его «Вредными советами» для детей и есть желание повторить успех на взрослом поколении? Или же коллектив демонстрирует, что ему присуще чувство юмора и в манипулировании цифрами они умеют всё? А может, зря я ищу скрытый смысл, и там действительно такой вот именно квалификации практицисты подобрались? Существует шутка, что есть три верных способа разориться: самый приятный — это женщины, самый быстрый — казино, а самый верный — заняться сельским хозяйством. Кому интересно, пожалуйста, самостоятельно всмотритесь в графики и уравнения драконолитики фирмы БрОК — с тем чтобы ответить на вопрос, насколько быстро вы бы разорились, профессионально занимаясь недвижимостью и приняв результаты таких исследований за чистую монету и руководство к действию по совершению реальных сделок с квартирами, когда бы показатели в прошлом, к примеру, году достигали бы того или иного уровня.


Здесь я хочу привести только два графика зависимости цен на жилую недвижимость на первичном и вторичном рынках от курса доллара США. Выбираю их как самые наглядные, для демонстрации подтасовки исходных данных под требуемый результат. Взгляните, друзья, на нижнюю шкалу (значения курса доллара) и порадуйтесь вместе со мной каторжному труду безвестного практициста, скрупулезно переставлявшего и менявшего местами эти значения, чтобы кривые получились такие красивые. Отмечу, что любовь к красоте я оцениваю положительно. А вот принесение ей в жертву достоверности, обоснованности и справедливости сильно порицаю — фу-у-у!!!

Это просто ложь. А вот наглая ложь — использование результатов измерений в определенном разрезе. Для примера приведу два графика с тюменского сайта dom72.ru за один и тот же период — об изменении средней цены за квадратный метр в новостройке и за квартиру на первичном рынке в целом. Когда рассматриваешь их вместе, то сделать правильные выводы о том, почему цены на объект и его удельный показатель вели себя таким именно образом, нетрудно. Да просто объекты большей площади всегда имеют цену в расчете на метр меньшую, чем маленькие. И исчезновение с рынка малогабаритных квартир (или появление дополнительного количества больших), естественно, приводит к снижению средней цены за квадрат при одновременном росте средней цены за квартиру в целом. Ну, а появление маленьких или отсутствие крупногабаритных — наоборот, к увеличению цены за квадратный метр при почти зеркальном снижении средней цены за один объект. Но если кто-то (а мы как раз именно в этот период видели таковых немало) решит комментировать ценовую динамику, преследуя какие-то собственные цели (рынок там подогреть или общественное мнение сформировать), то, используя последовательно то одну кривую, то другую, может абсолютно обоснованно еженедельно заявлять, что цены растут. А некто иной с таким же точно «железобетонным» основанием, лукавя, но не говоря при этом прямо неправды, может твердить, что цены снижаются! «Ловись рыбка большая и маленькая»…


Средняя цена за кв. м. на первичном рынке, тыс. руб.

Средняя цена за кв. м. на первичном рынке

Средняя цена за квартиру в новостройках, млн. руб.

Средняя цена за квартиру в новостройках

Такие анализы я бы назвал наглой ложью! Что же касается статистики… то о некоторых «национальных особенностях» наблюдений и действительно объективных (в том числе и собственных), например, ошибках я тоже временами пишу. А в принципе… Просто представьте себе на секундочку, что лично у меня есть заинтересованность в результате. Как профессиональный оценщик, могу ответственно (и тоже на спор с кем угодно) заявить, что лично у меня цены могут (и будут!) расти или падать независимо от того, что действительно происходит на рынке. Так что вывод очевиден: смотрите, коллеги, в первую очередь на ангажированность эксперта. И если тот, кто делает бизнес или получает деньги на стратегиях и схемах, реализуемых исходя из роста цен, предрекает их рост (что постоянно и последовательно заявляет глава агентства недвижимости Адвекс-Т Сухарев Сергей Яковлевич) — упаси вас бог, ему такому, милому и внушающему всяческую симпатию и доверие, слепо поверить! В том числе, конечно, и мне в аналогичной ситуации тогда тоже…

А в заключение хочу привести высказывание академика И. Анчишкина, основоположника экономического прогнозирования в СССР: «Главное, принципиальное отличие подлинно научного прогнозирования от гадания на кофейной гуще состоит в том, что второе иногда сбывается»… Так что, возможно, все мы, по-своему, драконолитики! Вопрос в мотивации. И в интересах.


Прыг: 01 02 03 04