Перейти на главную страницу
Среди людей бытует мнение, что многие вещи в мире не поддаются количественной оценке. Это широко распространенное заблуждение наносит существенный ущерб экономике, общественному благосостоянию, окружающей среде и даже национальной безопасности. В результате убежденности в невозможности измерения таких «нематериальных активов», как качество, отношение к делу, удовлетворенность клиентов, бренд и т. п., принимаемые решения часто оказываются необоснованными, а порой и ошибочными.
Дуглас Хаббард является автором прикладной информационной экономики (Applied Information Economics). Дополнительные материалы к книге размещены на сайте автора https://howtomeasureanything.com/
Книга расскажет о том, как измерить в своем бизнесе то, что вы до сих пор считали не поддающимся количественной оценке, например, удовлетворенность потребителей, организационную гибкость, связанный с новой технологией риск и доходность инвестиций в технологию.
Фрагменты отзывов о книге:
Когда какой-либо объект или явление удается наблюдать тем или иным образом, значит, существует метод для его измерения. Каким бы приблизительным ни было это измерение, оно все равно будет им, если расскажет больше, чем вы знали до сих пор.
Цель данной книги состоит в том, чтобы продемонстрировать два положения:
Рис. 2.1. Схема измерений Эратосфеном радиуса Земли (https://fiz.1september.ru/2002/48/no48_2.htm)
Энрико Ферми, лауреат Нобелевской премии практиковал «вопросы Ферми». Самым известным таким вопросом является определение числа настройщиков пианино в Чикаго:
Число настройщиков пианино в Чикаго = (Численность населения / Число членов одной семьи) * Процент семей, пользующихся услугами настройщиков * Число настроек в году /
(Число пианино, настраиваемых одним настройщиком в день * Число рабочих дней в году)
Подход Ферми (разложение на составляющие) позволял людям, производившим расчеты, понять, откуда берется неопределенность. Какие переменные характеризовались наибольшей неопределенностью – процент семей, регулярно пользующихся услугами настройщиков пианино, частота настроек, число инструментов, которые можно настроить за день, или что-то еще? Самый крупный источник неопределенности указывал на то, какие измерения позволят максимально снизить ее.
Не считайте неопределенность неустранимой и не поддающейся анализу, спросите себя: а что же вы все-таки знаете о проблеме? Как мы увидим позже, оценка имеющейся количественной информации о предмете — очень важный этап измерения явлений, которые выглядят неизмеряемыми.
«Вопросы Ферми» для нового предприятия
Чак Макей из Wizard of Ads всячески поощряет компании использовать «вопросы Ферми» для оценки размера своего рынка в том или ином районе. Недавно один страховой агент попросил Чака дать совет, стоит ли его компании открывать офис в Уичита-Фоллз (штат Техас), где до сих пор у неё не было представительства. Будет ли на данном рынке спрос на услуги ещё одного страховщика? Чтобы проверить реализуемость плана, Макей покопался в Интернете в поисках ответов на ряд «вопросов Ферми». Как и тот, Макей начал с проблемы численности населения.
По данным City-Data.com, жители Уичита-Фоллз владели 62 172 автомашинами. А согласно Институту страховой информации, средняя годовая автомобильная страховая премия в штате Техас составляла $ 837,4. Макей предположил, что почти все машины застрахованы, поскольку это обязательное требование, поэтому общая выручка от страхования составляла ежегодно $ 52 млн. дол. Агент узнал, что средняя комиссионная ставка составляет 12%, так что все годовое комиссионное вознаграждение составляло $ 6,2 млн. дол. По сведениям Switchboard.com, в городе действовали 38 страховых агентств. Если разделить все комиссионное вознаграждение на 38 агентств, то окажется, что годовые комиссионные одного из них составляют в среднем $ 165 тыс. дол. Рынок, по всей видимости, был уже достаточно насыщен, поскольку, по сведениям City-Data.com, численность населения Уичита-Фоллз сократилась со 104 197 человек в 2000 г. до 99 846 человек в 2005 г. Кроме того, на данном рынке уже работало несколько крупных фирм, поэтому доходы нового агентства были бы еще меньше — и все это без учета накладных расходов.
Вывод Макея: скорее всего, новое агентство в этом городе вряд ли будет прибыльным, поэтому от плана следует отказаться.
* * *
Бизнес может извлечь из этого несколько уроков. Во-первых, даже такие кажущиеся эфемерными вещи, как расширение полномочий сотрудников, креативность или согласованность со стратегией, должны иметь поддающиеся обнаружению последствия, если только они вообще имеют какое-то значение. Я вовсе не утверждаю, что эти вещи «паранормальны», но здесь действуют те же правила.
Если качество и инновационность действительно возросли, то разве эта разница не должна, по крайней мере, чувствоваться? Если те, кому положено об этом судить, то есть потребители, в ходе испытания вслепую не смогут заявить, что исследования после внедрения ПО стали качественнее или инновационнее, чем до внедрения, то это будет означать, что данная информационная структура никак не влияет на удовлетворенность клиентов, а следовательно, и на доходы. Если такие преимущества ПО, как качество, инновационность и любые другие, невозможно обнаружить, то они не имеют значения.
Руководители часто говорят: «Ни о чем подобном мы не могли бы даже догадываться». Они заранее пасуют перед неопределенностью. Вместо того чтобы, по меньшей мере, попытаться провести измерения, они бездействуют, обескураженные кажущейся невозможностью устранить ее. Ферми в подобном случае мог бы сказать: «Да, вы многого не знаете, но что-то же вы все-таки знаете?»
Представление об измерении как об уменьшении погрешности — главная идея данной книги.
…ценность подхода Ферми состоит, прежде всего, в том, что оценка современного уровня наших знаний о предмете — необходимое условие последующих измерений.
Обычно люди считают вещи неизмеримыми по трем причинам:
Таким образом, измерение — это не только полное устранение, но и частичное сокращение неопределенности. Факт присутствия ошибки, избежать которой полностью не удастся, при том что полученный результат все равно станет шагом вперед по сравнению с прежними представлениями, — ключевая идея проведения экспериментов, опросов и прочих научных измерений.
В бизнесе решения принимаются в условиях неопределенности. Когда такая неопределенность велика и касается важных, рискованных решений, ее снижение играет большую роль.
На семинарах я часто прошу присутствующих поставить передо мной максимально сложную задачу, связанную с измерением. Как-то мне предложили измерить наставничество, и я сказал: «Что ж, такая проблема может возникнуть в реальной жизни. Первое, что я заметил бы, — это: больше наставничества всегда лучше, чем меньше наставничества. Я знаю людей, которые тратят на это деньги, поэтому не удивлюсь, если кому-то потребуется оценить данное явление. Однако что вы имеете в виду под наставничеством?» Слушатель ответил, не задумываясь: «Не уверен, что смогу это сформулировать», на что я заметил: «Вот поэтому, наверное, вам и трудно его измерить. Сначала необходимо сформулировать, что такое наставничество».
Когда цепочка уточнения не срабатывает, я провожу мысленный эксперимент. Представьте себе, что вы иностранный ученый, способный клонировать не только овец и людей, но даже целые организации. Предположим, предметом вашего исследования является конкретная сеть предприятий экспресс-питания и вас интересует, как на ее работу повлияет такая нематериальная вещь, как расширение полномочий сотрудников. Вы создаете два клона изучаемой организации, один из которых называете тестируемой, а второй — контрольной группой. При этом сотрудники тестируемой группы получают дополнительные полномочия, а в контрольной группе все остается по-прежнему. Какие изменения — прямые или косвенные — вы наблюдаете в первой организации? Ожидаете ли вы, что решения будут приниматься на более низком организационном уровне? Станут ли решения качественнее и будут ли они приниматься быстрее? Приводит ли передача полномочий к ослаблению контроля над работниками? Означает ли это, что теперь структура организации станет более «плоской» и накладные расходы на управление сократятся? Если удастся обнаружить хотя бы одно различие между двумя клонами, то вопрос о способе измерения вашего объекта будет наполовину решен.
…когда наблюдение сообщает нам нечто, чего мы раньше не знали, это означает, что произведено измерение.
Статистик Дэвид Мур, возглавлявший в 1998 г. Американскую статистическую ассоциацию (American Statistical Association), как-то сказал следующее: «Измеряйте, даже если не знаете, что измерять. Тогда вы и узнаете, что вам нужно измерить».
Четыре полезные предпосылки измерения
Ключевой этап прикладной информационной экономикой / applied information economics, AIE (и этим объясняется название метода) — расчет экономической стоимости информации.
ЗНАЧЕНИЕ ИМЕЮТ ЛИШЬ НЕСКОЛЬКО ВЕЩЕЙ. В каждом случае лишь несколько ключевых переменных имеют значение, оправдывающее усилия по их определению. Информационная ценность остальных равна или практически равна нулю.
Универсальный подход к измерению:
Прежде чем приступить к измерению, задайте себе следующие пять вопросов:
Какую ценность имеют многочисленные отчеты, составляемые еженедельно и ежемесячно? Когда я попросил их назвать хотя бы одно решение, принимаемое на основе каждого отчета, они обнаружили, что многие из них вообще не используются. Информационная ценность этих отчетов оказалась нулевой.
Специалисты решили, что повышение безопасности означает снижение частоты определенных нежелательных событий и уменьшение ущерба от них.
Оказывается, способность человека оценить шансы можно калибровать – точно так же, как любой научный инструмент калибруется для получения правильных показаний.
Глава 5. Калиброванные оценки: что вам известно уже сейчас?
Один из способов показать неточность определения величины — выразить ее в виде интервала возможных значений. В статистике интервал, в котором с некоторой вероятностью может содержаться правильный ответ, называется доверительным интервалом (confidence interval, CI); 90%-ный доверительный интервал — это диапазон значений, содержащий правильное с вероятностью 90%.
ДВЕ КРАЙНОСТИ СУБЪЕКТИВНОЙ ОЦЕНКИ
Пройдите тест на калибровку (рис. 5.1). Отвечая на каждый вопрос, укажите верхнюю и нижнюю границы интервала. Помните: интервал должен быть таким широким, чтобы вы были на 90% уверены, что правильный ответ попадет в него. Ответы расположены в конце заметки.
Рис. 5.1. Тест «Калибровка».
Метод |
Содержание |
1. Повторение и обратная связь |
Выполните подряд несколько тестов, оценивая результаты каждого, и повторите их, чтобы улучшить в следующий раз |
2. Эквивалентные ставки |
Придумайте эквивалентную ставку для каждой оценки, чтобы проверить, действительно ли предложенный диапазон значений или вероятность отражает неопределенность |
3. Перечисление двух доводов «за» и двух «против» |
Приведите, по крайней мере, две причины, по которым вы уверены в своей оценке, и две причины, по которым вы могли ошибиться |
4. Преодоление зацикленности |
Представьте проблему диапазона оценки в виде двух бинарных вопросов типа: «Уверен ли я на 95%, что истинное значение лежит выше нижней (ниже высшей) границы предложенного мною диапазона?» |
ПАРАДОКС РИСКА. Если организация и применяет количественный анализ рисков, то обычно это делается для принятия повседневных оперативных решений. Самые серьезные и опасные решения (чаще всего) формулируются при минимальном использовании полноценного анализа риска.
Почти все самые сложные методы анализа риска применяются при принятии простых решений, почти не влекущих серьезных негативных последствий, однако решения о слияниях, крупных инвестициях в ИТ, финансировании научных исследований и т.д. обычно формируются без этой процедуры. Почему так происходит? Может быть, из-за существующего мнения о том, что оперативные решения (одобрение кредита или расчет страховой премии) количественно оценить намного проще в отличие от действительно сложных проблем, связанных с рисками, которые с трудом поддаются точному расчету. Это серьезное заблуждение. Как я уже показал, в важных решениях нет ничего «неизмеримого».
Глава 7. Оценка стоимости информации
Главные причины тому, что информация имеет свою стоимость для бизнеса:
Более 50 лет назад в теории игр — области, понятной лишь посвященным, — была разработана такая формула стоимости информации, которую можно не только вывести математически, но и уяснить интуитивно. Снижение неопределенности (то есть проведение измерений) позволяет делать более удачные ставки (то есть принимать более обоснованные решения). Знать стоимость измерений необходимо, чтобы определить, как можно измерить что-либо и следует ли этим заниматься вообще.
Чтобы не усложнять, рассмотрим бинарную ситуацию: вы либо преуспеете, либо провалитесь — вариантов больше нет. Предположим, что вы заработаете 40 млн. дол., если реклама сработает, и потеряете 5 млн. дол. (затраты на проведение кампании) в другом случае. Допустим также, что ваши калиброванные эксперты говорят, что существует вероятность провала рекламы 40%. Обладая этой информацией, вы можете составить таблицу 7.1.
Таблица 7.1. Простейший пример расчета потерь от упущенных благоприятных возможностей
Вероятность 60% 40%
План проведения кампании одобрен 40 млн. дол. –5 млн. дол.
План проведения кампании отвергнут 0 дол. 0 дол.
Потери от упущенных благоприятных возможностей (opportunity loss, OL) — это просто те затраты, которые мы понесем, если выберем путь, который окажется ошибочным. Ожидаемые потери от упущенных возможностей (expected opportunity loss, EOL) для той или иной стратегии можно рассчитать путем умножения вероятности допустить ошибку на цену ошибки. В нашем примере мы получим такие ответы:
OL (план проведения кампании одобрен) 5 млн. дол.
OL (план проведения кампании отвергнут) 40 млн. дол.
EOL (план проведения кампании отвергнут) 40 млн. дол. * 60% = 24 млн. дол.
Ожидаемые потери от упущенных благоприятных возможностей возникают из-за того, что вы не знаете, какова вероятность негативных последствий принимаемого решения. Сумей вы снизить данную неопределенность, уменьшится и EOL. Именно это и позволяет сделать измерение.
Все измерения, результаты которых имеют некую стоимость, приводят к снижению неопределенности в отношении показателя, влияющего на решение, чреватое экономическими последствиями. Чем сильнее уменьшаются ожидаемые потери от упущенных благоприятных возможностей, тем больше стоимость информации, полученной путем измерения. Разница между значениями EOL до и после измерения называется ожидаемой стоимостью информации (expected value of information, EVI).
Расчет ожидаемой стоимости информации, получаемой в ходе измерений, до их проведения требует от нас предварительной оценки ожидаемого снижения неопределенности. Иногда это бывает довольно трудно сделать из-за сложности определения некоторых переменных, но возможен и упрощенный подход. Легче всего рассчитать ожидаемую стоимость полной информации (expected value of perfect information, EVPI). Если бы существовала возможность полного устранения неопределенности, то значение EOL уменьшилось бы до нуля. Таким образом, EVPI — это просто EOL выбранного вами варианта. В нашем примере решение, принимаемое без осуществления измерений, заключается в одобрении плана проведения рекламной кампании, тогда ожидаемые потери от упущенных благоприятных возможностей составляют 2 млн. дол. Таким образом, стоимость устранения любой неопределенности относительно успешности планируемой акции просто равна 2 млн. дол. Если удается не устранить, а только уменьшить неопределенность, то ожидаемая стоимость информации несколько сокращается.
Стоимость информации
Ожидаемая стоимость информации (EVI) = Сокращение ожидаемых потерь от упущенных благоприятных возможностей (EOL): EVI = EOL (до измерений) – EOL (после измерений),
Ожидаемая стоимость полной информации (EVPI) = EOL до измерений (если информация точна и полна, то EOL после измерений равна 0).
Предположим, что в нашем примере с рекламой возможны не два исхода, а результат в виде интервала значений. Калиброванный маркетолог на 90% уверен, что эта рекламная кампания поможет увеличить продажи на 100 тыс. — 1 млн. единиц продукции. Однако чтобы достичь точки безубыточности нашей кампании, нужно продать некий объем продукции. Допустим, что с учетом затрат на проведение рекламной акции и валовой прибыли от продукта мы определили наступление точки безубыточности при реализации – 200 тыс. единиц товара. Продав меньше, мы понесем чистые убытки, причем чем меньше объем реализации, тем крупнее эти убытки. Продав ровно 200 тыс. единиц продукции, мы не получим ни прибыли, ни убытков. А если реализовать товар не удастся вообще, то мы потеряем деньги, израсходованные на рекламную кампанию, а именно 5 млн. дол. (вы можете сказать, что этим убытки фирмы не ограничатся, но для простоты будем учитывать только их).
Другая точка зрения состоит в том, что на каждой не проданной нами единице продукции, которую надо реализовать для достижения безубыточности, мы потеряем 25 дол. Какова в этой ситуации стоимость снижения неопределенности результата кампании?
Чтобы рассчитать EVPI для подобных интервалов значений, необходимо:
Прежде чем приступить к делу, нужно решить, какую из границ 90-процентного доверительного интервала (верхнюю или нижнюю) считать лучшей (best bound, ВВ), а какую — худшей (worst bound, WB). Ясно, что иногда лучше самое большое число (если, например, речь идет о доходах), а порой — самое маленькое (если мы говорим о затратах). В примере с рекламной кампанией маленькое число — это плохо, то есть WB — 100 тыс., а ВВ — это 1 млн. единиц продукции. По этим данным мы рассчитаем показатель, который я называю «условным порогом» (relative threshold, RT); он указывает, где находится порог относительно остальных значений интервала. Графически RT представлен на рисунке 7.1.
Рис. 7.1. Пример «условного порога»
Мы используем условный порог для четырехэтапного расчета ожидаемой стоимости полной информации:
Рис. 7.2. График фактора ожидаемых потерь от упущенной благоприятной возможности (EOLF)
Расчет показывает, что максимально допустимые затраты на проведение измерения не должны превышать 337 500 дол. (это число определено исходя из предпосылки, что измерение полностью устранит неопределенность).
Мир несовершенен: стоимость частичного снижения неопределенности
В последнем примере с ожидаемой стоимостью полной информации мы оценили затраты на полное устранение неопределенности, а не ее снижение. Расчет EVPI полезен сам по себе, поскольку, по крайней мере, позволяет узнать потолок стоимости информации, который не должен быть превышен при осуществлении измерений. Однако нередко приходится довольствоваться простым снижением неопределенности, особенно когда речь идет о прогнозе, например, роста продаж в результате проведения рекламных кампаний. В таких случаях полезно знать не только максимальную сумму, которую можно израсходовать в идеальных условиях, но и во что обойдется измерение в реальной жизни (обязательно сопровождаемое реальной погрешностью). Иными словами, нам надо знать ожидаемую стоимость информации, а не ожидаемую стоимость полной информации. Для этого полезно мысленно представить себе, как выглядит график зависимости EVI от объема информации (рис. 7.3).
Рис. 7.3. Кривая ожидаемой стоимости информации
Рис. 7.4. Инверсия измерений
Источники Интернета. Если предмет мне совершенно незнаком, то я начинаю вовсе не с Google, а с онлайновой энциклопедии Wikipedia. Ищите по слова, которые ассоциируются с исследованиями и количественным анализом. Помните, что в Интернете есть не только поисковые машины, но и хранилища специальной информации: сайт Бюро переписи населения США, Министерства торговли, ЦРУ («World Fact Book» — «Всемирная книга фактов ЦРУ» — место, где я всегда нахожу самые разнообразные данные международной статистики). Используйте несколько поисковых машин. Найдя исследования не совсем по своей теме, в которых, тем не менее, упоминается интересующий вас вопрос, обязательно посмотрите библиографию.
НЕКОТОРЫЕ ОСНОВНЫЕ ПРАВИЛА НАБЛЮДЕНИЯ
КРАТКИЙ ГЛОССАРИЙ ПОГРЕШНОСТИ
Итак, мы установили, что:
Корреляционный анализ и регрессионное моделирование.
Парадокс предварительного знания:
Теорема Байеса гласит, что вероятность наступления «события» при условии проведения «наблюдения» равна произведению вероятности наступления события и вероятности проведения наблюдения при условии наступления события, деленному на безусловную вероятность проведения наблюдения (рис. 10.1).
Рис. 10.1. Теорема Байеса
Рис. 11.1 Инвестиционная граница
Не будет преувеличением сказать, что инвестиции в разработку программного обеспечения обычно входят в число самых рискованных проектов вложения средств, которые реализуют компании.
Кривая инвестиционной границы — пример тех кривых полезности, с которыми будущие менеджеры компаний знакомятся на первом курсе университета. К сожалению, большинство из них, по-видимому, считают полученные знания чисто теоретическими и не имеющими никакого практического значения. Но кривые полезности — идеальный инструмент, позволяющий определять, какой частью одного стоит пожертвовать ради получения другого. Разнообразные виды кривых полезности помогают тем, кто принимает решения, детально выяснять, какой компромисс для них приемлем.
Могу ли я считать, что тот, кто делает всю работу вовремя и почти без ошибок, работает эффективнее того, кто постоянно получает больше положительных отзывов клиентов? На самом деле это не проблема измерения, а вопрос документального оформления субъективных компромиссов. Это проблема отражения множества разнородных наблюдений в едином «индексе». И здесь, чтобы такое обобщение оказалось логичным, мы можем воспользоваться кривыми полезности. С их помощью достаточно просто показать, как сформулировать компромиссы.
Можно составить график, отражающий все возможные компромиссы, по аналогии с определением желаемого соотношения «риск/доходность». Рисунок 11.2 представляет собой график с несколькими кривыми полезности. Он иллюстрирует гипотетический пример оценки руководством компромиссов между качеством работы и пунктуальностью выполнения заказов.
Рис. 11.2. Гипотетические «кривые полезности»
Человеческий мозг не просто машина для вычисления. Это сложная система, познающая окружающую среду и приспосабливающаяся к ней путем выработки разнообразных упрощающих правил. Практически все эти правила приносят правду в жертву простоте, а многие даже противоречат друг другу. Те, что не вполне обоснованны, но, тем не менее, полезны на практике, называются эвристикой. А те из них, что явно противоречат здравому смыслу, называются заблуждениями.
Примеры когнитивного искажения экспертами-оценщиками:
Значение систематизации.
Одно время я категорически отрицал ценность метода взвешенных коэффициентов, уподобляя его астрологии. Однако последующие исследования убедили меня, что он всё-таки имеет определенные преимущества.
Важнейшее правило измерения. Самое главное – никогда не используйте метод, способный увеличить ошибку первоначальной оценки.
Два весьма распространенных метода измерения: анализ «затраты / выгоды» и метод субъективных взвешенных показателей только увеличивают неопределенность. Когда эксперты выбирают веса по пятибалльной шкале, они вовсе не имеют в виду, что балл 4 вдвое важнее балла 2. Из-за этой неоднозначности пятибалльная (семибалльная или какая угодно другая) шкала только добавляет ошибку к процессу оценки. На мой взгляд, единственное наблюдаемое достоинство систем условных взвешенных коэффициентов то, что менеджерам обычно хватает здравого смысла игнорировать полученные таким образом результаты.
Существует только один ограничивающий критерий, позволяющий с уверенностью сказать, являются ли методы анализа «затрат/выгод» или расчета взвешенных коэффициентов способами измерения; результатом должно стать повышение предыдущего уровня знания. Если использованный метод только увеличивает прежнюю ошибку, то это не измерение. Если его считают формализованным и систематизированным, но без научных доказательств уменьшения ошибки и принятия более удачных решений, это не измерение. На проведение псевдоизмерений организации нередко тратят больше времени и сил, чем потребовалось бы на применение способов, гарантированно снижающих неопределенность. Зачем же тогда, спрашивается, даже думать об использовании методов, которые фактически не уменьшают неопределенность?
RFID-технологии, GPS + Google Earth. Если вы хотите знать, сколько раз название вашей фирмы находят с помощью различных поисковиков можете подписаться на Google Alerts. Существует несколько «мэш апов» (от англ. to mash up — смешивать; программное приложение, интегрирующее данные из нескольких источников и представляющее его на одной странице), которые собирают данные из многочисленных источников и , например, наносят сведения о компаниях, недвижимости, движении транспорта и т.п. на карты таких сайтов, как MapQuest или Google Earth.
Рынки предсказаний.
Глава 14. Универсальный метод измерения: прикладная информационная экономика
Подведем итоги:
В результате убежденности в невозможности измерения таких «нематериальных активов», как качество, отношение к делу, удовлетворенность клиентов, бренд и т п., принимаемые решения ча
15 10 2014
1 стр.
Бофорта; попробовать себя в умении определять длины на глаз; показать свое знание различных измерительных приборов и единиц измерения
23 09 2014
1 стр.
Это объединяющее свойство мы называем любовью или полной взаимной отдачей. Закону всеобщей любви подчиняется вся природа, кроме человеческого уровня, на котором мы, предоставленные
17 12 2014
1 стр.
Международном аэропорте в Лос-Анджелесе, Калифорния, и вижу из окна взлетную полосу — вижу, как садятся лайнеры и как стаи птиц, которым вой турбин явно нипочем, невозмутимо что-то
24 09 2014
14 стр.
Более естественным является предположение о том, что производство, как и расселение, может осуществляться где угодно в изначально однородном пространстве. Тогда моноцентрический го
23 09 2014
1 стр.
Эффективная антитеррористическая политика, пишет американский исследователь Д. Хаббард, зависит от понимания того, что думают террористы, и того, почему они делают то, что делают
16 12 2014
1 стр.
29 09 2014
1 стр.
«всё нормально, как у всех, только лучше». Если им предлагаешь что-то улучшить в их жизни, или просто спрашиваешь, что по их мнению в их жизни или бизнесе нуждается в изменении к л
15 10 2014
1 стр.