Новости


 
Свои вопросы, пожелания и предложения Вы можете передать нам, заполнив следующую форму:
 
Ваше имя:

 
Ваш e-mail:

 
Ваш телефон:

 
Сообщение:

 
Или по
Тел.: (095) 249-87-55,
Факс: 249-84-42.
 

Добро пожаловать на наш сайт!


Как ученые обманывают себя - и как они могут остановить

  1. Эта проблема
  2. Гипотеза миопия
  3. Техасский снайпер
  4. Асимметричное внимание
  5. Просто так рассказывание историй
  6. Решения
  7. прозрачность
  8. Команда соперников
  9. Слепой анализ данных

Иллюстрация Дейла Эдвина Мюррея

В 2013 году, через пять лет после того, как он стал соавтором статьи, показывающей, что кандидаты-демократы в Соединенных Штатах могли бы получить больше голосов, слегка сместившись вправо по экономической политике 1 Эндрю Гельман, статистик из Колумбийского университета в Нью-Йорке, был огорчен, узнав об ошибке в анализе данных. Пытаясь воспроизвести работу, студент бакалавриата по имени Ян Ян Ху обнаружил, что Гельман неправильно понял знак одной из переменных.

Гельман немедленно опубликовал исправление из трех предложений, заявив, что все в критическом разделе статьи следует считать неправильным, пока не доказано обратное.

Размышляя сегодня о том, как это произошло, Гельман прослеживает свою ошибку до естественной ошибочности человеческого мозга: «Результаты казались совершенно разумными», - говорит он. «Много раз с такого рода ошибками кодирования вы получаете результаты, которые просто смешны. Итак, вы знаете, что что-то должно быть не так, и вы возвращаетесь и ищите, пока не найдете проблему. Если ничто не кажется неправильным, легче пропустить это. ”

Это большая проблема в науке, о которой никто не говорит: даже честный человек - мастер самообмана. Наш мозг давно развился в африканской саванне, где прыжки к правдоподобным выводам о местонахождении спелых фруктов или наличии хищника были вопросом выживания. Но умная стратегия для уклонения от львов не обязательно хорошо подходит для современной лаборатории, где владение может основываться на анализе терабайтов многомерных данных. В сегодняшних условиях наш талант к поспешным выводам делает слишком легким нахождение ложных моделей в случайности, игнорирование альтернативных объяснений результата или принятие «разумных» результатов без вопросов, то есть непрерывно вводить себя в заблуждение, не осознавая этого. ,

Непонимание наших собственных предубеждений помогло создать кризис доверия о воспроизводимости опубликованных результатов, говорит статистик Джон Иоаннидис Со-директор инновационного центра мета-исследований в Стэнфордском университете в Пало-Альто, Калифорния. Проблема выходит далеко за рамки случаев мошенничества. Ранее в этом году крупный проект, который попытался повторить 100 исследований психологии, удалось воспроизвести только чуть больше одной трети 2 , В 2012 году исследователи из биотехнологической компании Amgen в Таузен-Оуксе, штат Калифорния, сообщили, что они смогли повторить только 6 из 53 знаковых исследований в области онкологии и гематологии. 3 , А в 2009 году Иоаннидис и его коллеги описали, как им удалось полностью воспроизвести только 2 из 18 исследований экспрессии генов на основе микрочипов. 4 ,

Хотя невозможно документировать, как часто исследователи обманывают себя при анализе данных, говорит Иоаннидис, результаты невоспроизводимости требуют объяснения. Исследование 100 психологических работ является тому примером: если предположить, что подавляющее большинство первоначальных исследователей были честными и усердными, то значительную долю проблем можно объяснить только бессознательными предубеждениями. «Это прекрасное время для исследование на исследование ," он говорит. «Массовый рост науки учитывает огромное количество результатов, а также огромное количество ошибок и предубеждений для изучения. Поэтому есть все основания надеяться, что мы сможем найти более эффективные способы решения этих проблем ».

«Когда возникают такие кризисы, как проблема воспроизводимости, это хорошая возможность для продвижения наших научных инструментов», - говорит Роберт МакКоун, социолог из Стэнфорда. Это случилось раньше, когда ученые в середине двадцатого века поняли, что экспериментаторы и испытуемые часто бессознательно меняют свое поведение, чтобы соответствовать ожиданиям. Из этого понимания родился двойной слепой стандарт.

«Люди забывают, что когда мы говорим о научном методе, мы не имеем в виду готовый продукт», - говорит Сол Перлмуттер, астрофизик из Калифорнийского университета в Беркли. «Наука - это постоянная гонка между тем, что мы изобретаем способы, чтобы обмануть себя, и тем, что мы изобретаем способы, чтобы не обмануть себя». Поэтому исследователи пытаются использовать различные творческие способы анализа данных debias - стратегии, которые предполагают сотрудничество с академическими конкурентами, получение документов, принятых ранее. исследование даже было начато и работает со стратегически фальсифицированными данными.

Эта проблема

Хотя человеческий мозг и его когнитивные отклонения были неизменными в течение всего времени, пока мы занимались наукой, некоторые важные вещи изменились, говорит психолог Брайан Носек, исполнительный директор некоммерческого Центра открытой науки в Шарлоттсвилле, штат Вирджиния, который работает над повышением прозрачности и воспроизводимости научных исследований. Современная академическая среда более конкурентоспособна, чем когда-либо. Есть акцент на нагромождение публикаций со статистически значимыми результатами - то есть с отношениями данных, в которых обычно используемый показатель статистической достоверности, р- значение, составляет 0,05 или менее. «Как исследователь, я не пытаюсь давать вводящие в заблуждение результаты», - говорит Носек. «Но я действительно заинтересован в результате». И это дает разуму отличную мотивацию для поиска того, что он должен найти.

Еще одна причина для беспокойства по поводу когнитивного смещения - появление поразительно больших многомерных наборов данных, часто скрывающих только слабый сигнал в море случайных шумов. Статистические методы едва ли догнали такие данные, а методы нашего мозга еще хуже, говорит Кит Баггерли, статистик из Университета Техаса в Онкологическом Центре Андерсона в Хьюстоне. Как он говорил на конференции по проблемам биоинформатики в сентябре прошлого года в Research Triangle Park, Северная Каролина, «наша интуиция, когда мы начинаем рассматривать 50 или сотни переменных, - отстой».

Эндрю Кинг, специалист по управлению в Дартмутском колледже в Ганновере, штат Нью-Гемпшир, говорит, что широкое использование программного обеспечения для анализа данных «укажи и щелкни» позволило исследователям легко просматривать массивные наборы данных без полного понимания методов и найти небольшие p-значения, которые на самом деле ничего не могут значить. «Я верю, что мы находимся в эре социальных наук о стероидах», - говорит он. «Я сам был виноват в использовании некоторых из этих методов повышения производительности. Я чувствую, что большинство исследователей пали хотя бы один раз ».

Как и в соревновательном спорте, говорит Хэл Пашлер, психолог из Калифорнийского университета в Сан-Диего, это может создать порочный круг в погоне за все более лучшими результатами. Пашлер говорит, что когда в нескольких исследованиях поведенческой неврологии начали сообщаться о невероятно сильных корреляциях 0,85, исследователи, у которых были более умеренные (и правдоподобные) результаты, начали беспокоиться: «Ну и дела, я только что получил 0,4, так что, возможно, я на самом деле не делаю этого отлично."

Гипотеза миопия

Одна из ловушек, которая ожидает на ранних стадиях исследования, - это то, что можно назвать миопией гипотезы: следователи сосредоточены на сборе доказательств в поддержку только одной гипотезы; пренебрежение искать доказательства против этого; и не в состоянии рассмотреть другие объяснения. «Люди склонны задавать вопросы, которые дают« да »ответы, если их любимая гипотеза верна, - говорит Джонатан Барон, психолог из Университета Пенсильвании в Филадельфии.

Например, говорит Барон, исследования пытались показать, как отвращение влияет на моральное осуждение, «помещая предмет в грязную комнату или комнату с« пердящим спреем »в воздухе». Затем участников просят судить, как реагировать на моральные нарушения; если те, кто подвергся беспорядку или запахам, предпочитают более суровые наказания, исследователи заявляют, что их «гипотеза отвращения» будет поддержана 5 , Но они не рассматривали конкурирующие объяснения, говорит он, и поэтому они игнорируют возможность того, что участники набрасываются на себя из-за гнева на их грубое обращение, а не просто отвращения. Сосредоточив внимание на одной гипотезе, исследователи могут полностью упустить реальную историю.

Залы суда сталкиваются с аналогичной проблемой. В 1999 году британская женщина по имени Салли Кларк была признана виновной в убийстве двух своих сыновей, которые внезапно умерли в младенчестве. Фактором ее осуждения стало представление статистических данных, свидетельствующих о том, что шансы на то, что двое детей в одной семье умрут от синдрома внезапной детской смерти (СВДС), составляют лишь 1 из 73 миллионов - цифра, широко интерпретируемая как довольно ужасная. Тем не менее, рассмотрение только одной гипотезы оставляет важную часть истории. «Жюри должно взвесить два конкурирующих объяснения смерти детей: СВДС или убийство», - написал статистик Питер Грин от имени Королевского статистического общества в 2002 году (см. go.nature.com/ochsja ). «Тот факт, что две смерти от СВДС маловероятны, сам по себе малозначителен. Две смерти от убийства вполне могут быть еще более маловероятными. Важна относительная вероятность смерти при каждом объяснении, а не только то, насколько маловероятны они по одному объяснению ». Математик Рэй Хилл из Университета Солфорда, Великобритания, позже оценил 6 что двойная смерть от СВДС может произойти примерно в 1 из 297 000 семей, в то время как двое детей будут убиты одним из родителей примерно в 1 из 2,7 млн. семей - отношение вероятности 9 к 1 против убийства. В 2003 году осуждение Кларка было отменено на основании новых доказательств. Генеральный прокурор Англии и Уэльса также отпустил двух других женщин, которые были осуждены за убийство своих детей на аналогичных статистических основаниях.

Техасский снайпер

Когнитивная ловушка, которая ожидает во время анализа данных, проиллюстрирована басней о техасском снайпере: неумелый меткий стрелок, который стреляет случайным образом из пуль сбоку сарая, рисует цель вокруг самого большого скопления пулевых отверстий и гордо указывает на его успех.

Его яблочко явно смехотворно - но заблуждение не столь очевидно для игроков, которые верят в «горячую руку», когда у них есть серия побед, или для людей, которые видят сверхъестественное значение, когда лотерея вырисовывается как все нечетные числа.

И это не всегда очевидно для исследователей. «Вы просто получаете некоторую поддержку от данных, а затем думаете, что это путь, по которому надо идти», - говорит Пашлер. «Вы не понимаете, что у вас было 27 различных вариантов, и вы выбрали тот, который дал вам наиболее приятные или интересные результаты, и теперь вы занимаетесь чем-то, что вовсе не беспристрастное представление данных».

Психолог Ури Симонсон из Университета Пенсильвании прямо указывает на эту наивность в своем определении « p- взлома»: «Использование - возможно, неосознанно - степеней свободы исследователя до p <0,05». В 2012 году исследование более 2000 американских психологов 7 предположил, насколько распространенным является p- хакерство. Половина выборочно сообщили только о тех исследованиях, которые «работали», 58% просмотрели результаты и затем решили, собирать ли больше данных, 43% решили выбросить данные только после проверки их влияния на p- значение, а 35% сообщили неожиданные результаты, которые были предсказаны с самого начала, практика, которую психолог Норберт Керр из Мичиганского государственного университета в Восточном Лансинге назвал HARKing, или гипотезы после того, как результаты станут известны. Исследователи не только признали эти методы взлома, но и защитили их.

В мае этого года журналист рассказал о том, как он объединился с немецким режиссером-документалистом, и продемонстрировал, что творческий p- взлом, проводимый в течение одного «заправленного пивом» уик-энда, может быть использован, чтобы «доказать», что употребление шоколада приводит к потере веса, снижение уровня холестерина и улучшение самочувствия (см. go.nature.com/blkpke ). Они собрали 18 различных измерений - в том числе вес, уровень белка в крови и качество сна - на 15 человек, несколько из которых съели немного дополнительного шоколада в течение нескольких недель. При таком количестве сравнений шансы были лучше, чем 50–50, что хотя бы один из них выглядел статистически значимым случайно. Как оказалось, трое из них сделали - и команда выбрала только тех, кто должен сообщить.

Асимметричное внимание

Этап проверки данных содержит еще одну ловушку: асимметричное внимание к деталям. Иногда это называется смещением неподтверждения, это происходит, когда мы даем ожидаемые результаты относительно бесплатно, но мы тщательно проверяем неинтуитивные результаты. «Когда данные не соответствуют предыдущим оценкам, вы думаете:« О, мальчик! Я сделал ошибку? »- говорит МакКоун. «Мы не понимаем, что, вероятно, нам понадобились бы исправления и в другой ситуации».

Факты свидетельствуют о том, что ученые более склонны к этому, чем можно было бы подумать. Исследование 2004 года 8 наблюдал за дискуссиями исследователей из 3 ведущих лабораторий молекулярной биологии, которые провели 165 различных лабораторных экспериментов. В 88% случаев, когда результаты не совпали с ожиданиями, ученые обвинили несоответствия в том, как проводились эксперименты, а не в их собственных теориях. Последовательные результаты, напротив, были мало изучены.

В 2011 году был найден анализ более 250 психологических работ 9 что более 1 из 10 р- значений было неверным и что, когда ошибки были достаточно большими, чтобы изменить статистическую значимость результата, более 90% ошибок были в пользу ожиданий исследователей, что не -существенное нахождение значимое.

Просто так рассказывание историй

По мере того как результаты анализа данных собираются и интерпретируются, исследователи часто становятся жертвами именно такого повествования - ошибки, названной в честь сказок Редьярда Киплинга, которые дают причудливые объяснения таким вещам, как, например, то, как леопард получил свои пятна. Проблема в том, что постфактумные истории могут быть придуманы, чтобы оправдать что угодно и что угодно - и в конечном итоге ничего не объяснить. Баггерли говорит, что он видел такие истории в исследованиях генетики, когда анализ вовлекает огромное количество генов в определенную черту или результат. «Это похоже на тест Роршаха», - сказал он на конференции по биоинформатике. Исследователи найдут историю, говорит он, «есть ли она там или нет. Проблема в том, что иногда это не реально ».

Другой соблазн состоит в том, чтобы рационализировать, почему результаты должны были прийти определенным образом, а не - то, что можно было бы назвать ЯРКОЙ или оправданием после того, как результаты стали известны. Мэтью Хэнкинс, статистик из Королевского колледжа Лондона, собрал более 500 творческих фраз, которые исследователи используют, чтобы убедить читателей в том, что их несущественные результаты заслуживают внимания (см. go.nature.com/pwctoq ). К ним относятся «заигрывание с общепринятыми уровнями значимости ( p > 0,1)», «на самых значимых границах ( p = 0,099)» и «не совсем значимое, но весьма вероятное ( p > 0,05)».

Решения

В каждой из этих ловушек когнитивные искажения поражают ускоритель науки: процесс выявления потенциально важных научных связей. Противодействие этим предубеждениям сводится к усилению «тормоза»: способности замедляться, скептически относиться к результатам и устранять ложные срабатывания и тупики.

Одно решение, которое вызывает интерес, возрождает старую традицию: явно учитывать конкурирующие гипотезы и, если возможно, работать над разработкой экспериментов, которые могут различать их. Такой подход называется сильным выводом 10 Оскорбляет гипотезу близорукости. Кроме того, когда ученые прямо перечисляют альтернативные объяснения своих наблюдений, они могут уменьшить свою склонность рассказывать правдивые истории.

В 2013 году исследователи сообщили 11 использование методов сильного вывода для изучения того, что привлекает самок лягушек-тунгара ( Engystomops pustulosus ) во время спаривания. Существующие данные могут быть одинаково хорошо объяснены двумя конкурирующими теориями - одна, в которой у женщин есть предустановленный нейронный шаблон для спаривания вызовов, и другая, в которой они гибко комбинируют слуховые сигналы и визуальные сигналы, такие как появление голосовых мешков мужчин. Таким образом, исследователи разработали эксперимент, для которого две теории имели противоположные прогнозы. Результаты показали, что женщины могут использовать мультисенсорные сигналы для оценки привлекательности.

прозрачность

Другое решение, которое набирает обороты, - это открытая наука. В соответствии с этой философией, исследователи делятся своими методами, данными, компьютерным кодом и результатами в центральных хранилищах, таких как Open Science Framework Центра открытой науки, где они могут выбрать различные части проекта, подлежащие внешнему контролю. Обычно, объясняет Носек, «у меня огромная гибкость в том, как я анализирую свои данные и что я выбираю для отчета. Это создает конфликт интересов. Единственный способ избежать этого - заранее связать мне руки. Предварительная приверженность моему плану анализа и отчетности смягчает влияние этих когнитивных искажений ».

Еще более радикальным расширением этой идеи является введение зарегистрированных отчетов: публикаций, в которых ученые представляют свои исследовательские планы для рецензирования еще до того, как проводят эксперимент. Если план утвержден, исследователи получают «принципиальную» гарантию публикации, независимо от того, насколько сильными или слабыми окажутся результаты. Это должно уменьшить бессознательное искушение исказить анализ данных, говорит Пашлер. В то же время, добавляет он, это должно удерживать рецензентов от дисконтирования результатов исследования или от жалоб после того, как результаты станут известны. «Люди оценивают методы, не зная, найдут ли они результаты благоприятными или нет», - говорит он. «Это должно создать намного более высокий уровень честности среди судей». Более 20 журналов предлагают или планируют предложить какой-либо формат зарегистрированных отчетов.

Команда соперников

Когда дело доходит до тиражирования и спорных тем, хороший подход, направленный на извращение, заключается в том, чтобы обойти типичную академическую обратную связь и вместо этого пригласить своих академических конкурентов работать с вами. По словам Даниэля Канемана, психолога из Принстонского университета в Нью-Джерси, у сотрудничества с соперниками много преимуществ по сравнению с обычным. «Вы должны предположить, что вы не собираетесь полностью передумать», - говорит он. «Но вы можете превратить это в интересный аргумент и разумный разговор, который люди могут выслушать и оценить». С конкурирующими гипотезами и теориями в игре, по его словам, соперники быстро обнаружат недостатки, такие как миопия гипотезы, асимметричное внимание или просто так рассказывание историй, и отмените их с подобными наклонами, одобряющими другую сторону.

Психолог Эрик-Ян Вагенмакерс из Университета Амстердама участвовал в подобного скептическом сотрудничестве, когда он пытался объединиться с другой группой в попытке 12 повторить свое исследование, предполагая, что горизонтальные движения глаз помогают людям извлекать события из их памяти. Он говорит, что часто бывает трудно заставить исследователей, чья оригинальная работа находится под пристальным вниманием, согласиться на такого рода состязательное сотрудничество. Приглашение «примерно так же привлекательно, как положить голову на гильотину - есть все, что можно потерять и не так много, чтобы получить». Но группа, с которой он работал, очень хотела узнать правду, говорит он. В итоге результаты не были воспроизведены. Скептики оставались скептиками, и сторонники не были убеждены ни одной неспособностью воспроизвести. Тем не менее, это не было патовой ситуацией. «Хотя наше состязательное сотрудничество не разрешило спор, - пишут исследователи, - оно породило новые проверяемые идеи и немного приблизило обе стороны». Wagenmakers предлагает несколько способов поощрения такого типа сотрудничества, включая приз для лучшего состязательного сотрудничества, или специальные разделы для такого сотрудничества в ведущих журналах.

Слепой анализ данных

Одна процедура дебиазинга имеет солидную историю в физике, но мало известна в других областях: слепой анализ данных (см. страница 187 ). Идея состоит в том, что исследователи, которые не знают, насколько они близки к желаемым результатам, с меньшей вероятностью найдут то, что ищут неосознанно. 13 ,

Один из способов сделать это - написать программу, которая создает альтернативные наборы данных, например, добавляя случайный шум или скрытое смещение, перемещая участников в разные экспериментальные группы или скрывая демографические категории. Исследователи обрабатывают ложные данные как обычно - очищают данные, обрабатывают выбросы, проводят анализы - в то время как компьютер точно применяет все свои действия к реальным данным. Они могут даже записать результаты. Но исследователи не знают, являются ли их результаты научными сокровищами или детритом. Только в конце они поднимают слепых и видят их истинные результаты - после чего любое дальнейшее возмущение анализом станет очевидным обманом.

Перлмуттер использовал этот метод для работы своей команды над Космологическим проектом сверхновой в середине 2000-х годов. Он знал, что потенциал для исследователей обмануть себя огромен. Они использовали новые методы для воспроизведения оценок двух важнейших величин в космологии - относительного содержания материи и темной энергии - которые вместе показывают, будет ли Вселенная расширяться вечно или в конечном итоге рухнет в Большой Хруст. Таким образом, их данные были смещены на величину, известную только компьютеру, и они не знали, что означают их результаты, пока все не согласятся с анализом, и слепых можно будет безопасно поднять. После большого открытия исследователи были рады не только подтвердить более ранние открытия расширяющейся Вселенной. 14 Говорит Перлмуттер, но они могут быть более уверенными в своих выводах. «В некотором смысле это намного больше работы, но я думаю, что вы чувствуете себя намного безопаснее во время анализа», - говорит он. Он называет слепой анализ данных «интеллектуальной гигиеной, как мытье рук».

Перлмуттер говорит, что ослепление данных особенно привлекает молодых исследователей - не в последнюю очередь из-за ощущения неопределенности, которое оно дает. Он рассказывает историю недавней аспиранты, которая провела два года в слепом состоянии, анализируя пары взрывов сверхновых. По словам Перлмуттера, после продолжительной групповой встречи студентка представила все свои анализы и сказала, что готова отказаться, если все согласятся.

«Было 6 часов вечера и время обедать», - говорит Перлмуттер. И все в аудитории сказали: «Если результат окажется неправильным, это будет очень неутешительный вечер, и ей придется очень серьезно подумать о том, что она собирается делать со своей докторской диссертацией. Может быть, нам следует подождать до утра?

«И мы все посмотрели друг на друга и сказали:« Нет! Давайте сейчас отвяжемся! Поэтому мы не ослепили, и результаты выглядели великолепно, и мы все приветствовали и аплодировали ».

Похожие

Мультимедийный проектор - как выбрать?
... как тренинги, конференции или лекции. Тем не менее, все чаще они также служат частным целям, даже в качестве замены для домашнего кинотеатра. Производители этих устройств не пассивны в отношении ожиданий потребителей и предлагают действительно широкий спектр современных моделей проекторов, которые будут успешно использоваться не только в учебных заведениях или в офисе, но и дома. Мультимедийный проектор, т.е. проектор
Как проводить аудит изображения
... просто. Целевой аудиторией имиджевых аудитов являются сотрудники, и проводится исследование, чтобы выяснить их истинное и честное мнение о компании, в которой они работают. Из-за разумного страха перед возможными последствиями, то есть увольнением, сотрудник может быть не настолько откровенен в отношении своего восприятия компании в целом или даже управленческого отдела. С исследованием рынка анонимность не проблема. Тем не менее, при проверке имиджа личности каждого
Как извиниться? Уникальная сила цветов
... такую ​​ошибку и как отвлечь внимание от низших качеств своей личности. Вот почему извинения должны идти без преткновения и ошибок. Лучше всего выбрать идеальный подарок, который расскажет о добрых намерениях. Таким подарком за извинения может стать букет цветов . Каждый из цветов может иметь символическое значение. Отдельные виды могут быть признаком дружбы, привязанности или огромной любви. Стоит подумать, как правильно подобрать композицию из цветов. Красные
Ты знаешь себя по позиционированию? Проверьте, как заработать на электронной коммерции.
Люди, знакомые с интернет-маркетингом, хорошо знают, какие условия должны быть выполнены, чтобы создать интернет-магазин, который будет приносить прибыль; сколько вы должны инвестировать в рекламу, чтобы сделать ее видимой в Интернете. Однако самая большая стоимость - это снабжение склада. В случае людей, которые ищут дополнительный источник дохода, также важно время, которое придется потратить на обслуживание магазина и выполнение заказов. Специалисты по интернет-маркетингу также знают,
Как вы выбираете лыжную маску?
Шлем - основа безопасности на лыжах или сноуборде. Тем не менее, шлем может быть холодным, поэтому все больше и больше людей предпочитают кататься в шлеме и в балаклаве. Балаклава защищает голову от низкой температуры. Кроме того, это делает нашу шею не подверженной воздействию холодного воздуха. Балаклава защищает ваши губы, но если вы можете,
Панель продукта: Как сравниваются ваши продажи серебра?
... как процент от общего объема продаж, и они продолжают запасать его больше. Около 33 процентов опрошенных сказали, что их объем запасов серебряных ювелирных изделий «несколько увеличился» в долларовом выражении за последние три года, а затем 14 процентов, которые сказали, что объем запасов «значительно увеличился». Около 38 процентов респондентов заявили, что продажи серебра оставались примерно такими же за последние три года, в то время как только 16 процентов сказали, что они снизились.
Недобросовестная конкуренция в бухгалтерии. Так как же потерять 80% выручки.
Недобросовестная конкуренция в бухгалтерии. Так как же потерять 80% выручки. 09/28/2015 Освобождение профессии бухгалтера сделало открытие собственного бухгалтерии легче, чем когда-либо прежде. Сотрудники бухгалтерии, которые до недавнего времени не могли открыть такой офис, теперь имеют такие возможности. И очень хорошо, это свободная конкуренция.
Плотное платье в стилизации звезд - какие они выбирают?
... также хорошо подойдет случайное утверждение , Черное обтягивающее платье в стиле Chiara Ferragni Кьяра Ферраньи не может удержаться от старта классического
Гоша Рубчинский, или, как мальчик из русских блоков, перенял моду!
Каковы были его первые шаги в мире моды? Какие факторы способствовали его успеху? Кто этот россиянин, Гоша Рубчинский , который перевернул моду с ног на голову и взял то, что заслуживает ? Среди прочего, именно на эти вопросы мы постараемся ответить. Мы также обсудим дополнительные области, которые, на наш взгляд, одинаково интересны. Вы могли бы сказать - те же кубки, рейвы, снова менди, мы трахаемся так ... где мы сосредоточим наибольшее
Проекты двухквартирных домов
По причинам независимости, теперь могут быть проблемы с некоторыми из наших телефонных номеров. Пожалуйста, свяжитесь с нами по телефону: 602-303-160. Приносим свои извинения за доставленные неудобства! Как купить? 1 Выберите свой проект или дополнение, добавьте его в корзину и заполните форму. Помните, что вы должны заполнить все необходимые поля. 2 Мы подтвердим ваш заказ по телефону, после чего проект будет подготовлен к отправке курьерской или личной коллекцией.
Садовая горка для детей - сколько это стоит и как выбрать? - Moneyman
... как игровая площадка, как на участке, так и в домашнем саду. Цены на дома, расположенные на специальной платформе и связанные с горкой, варьируются от 1400 до 4000 злотых. Разница в цене обычно обусловлена ​​размером объекта, материалами, из которых он был создан, и дополнительными достопримечательностями, такими как песочница или лазалки. Стоимость деревянного дома может увеличиться до 6000 злотых, но тогда он будет оборудован двумя качелями и просторной песочницей, а следовательно, и более

Комментарии

Каждый раз, когда вы это делаете, вы находите еще больше причин сомневаться в них и говорите себе: «Они говорят, что любят меня, но как они могут любить меня и так обращаться со мной снова и снова?
Каждый раз, когда вы это делаете, вы находите еще больше причин сомневаться в них и говорите себе: «Они говорят, что любят меня, но как они могут любить меня и так обращаться со мной снова и снова?» А затем вы начинаете все сначала и снова просматриваете каждую часть аргумента. Это звучит знакомо? Если это не так, фантастика! Но в будущем будет время, когда это произойдет! У всех нас бывает время, когда мы устаем или удивляемся и расстраиваемся из-за того, что сказал кто-то особенный.
Существует одна большая проблема с вышеприведенными «основанными на стоимости» графиками: они смотрят только на стоимость видеокарты; как насчет людей, которые хотят построить новую систему?
Существует одна большая проблема с вышеприведенными «основанными на стоимости» графиками: они смотрят только на стоимость видеокарты; как насчет людей, которые хотят построить новую систему? Как только вы учитываете даже скромную системную цену, это значительно повышает рейтинг в пользу более мощных графических процессоров. Для следующего я использовал базовую цену системы $ 575 / £ 540 ( Core i5-6600K ,
Я уверен, что вы задаетесь вопросом, почему Cubot выпустил X17 так скоро после X16, когда они были такими похожими?
Я уверен, что вы задаетесь вопросом, почему Cubot выпустил X17 так скоро после X16, когда они были такими похожими? Его так же легко можно было бы назвать X16 Plus или X16-S, физические различия едва заметны, а задняя камера и серая задняя часть - единственные очевидные. Одно почти скрытое внешнее изменение, которое они сделали, это то, что они побрились на 0,1 мм от толщины X17 по сравнению с X16. Cubot даже повторно использовал некоторые изображения X16 для своего списка продуктов
Go Hero HD Hero обещает снимки высокой четкости в самых неблагоприятных условиях, так как же это выдерживает наказание и подходит ли оно и для других задач захвата видео?
Go Hero HD Hero обещает снимки высокой четкости в самых неблагоприятных условиях, так как же это выдерживает наказание и подходит ли оно и для других задач захвата видео? Захват HD-видео становится все менее дорогим, что означает, что он появляется в меньшем и меньшем форм-факторе Множество телефонов, в том числе новый iPhone 4 от Apple, имеют функцию захвата видео в формате 720p, и, безусловно, не пройдет много времени, прежде чем захват в формате 1080p появится на столь же компактных устройствах.
Знаменитости одеваются в смелые и выразительные оттенки - как они играют с модой?
Знаменитости одеваются в смелые и выразительные оттенки - как они играют с модой? Виктория Сваровски и Марселина Завадзка могут похвастаться фигурами в цветных брюках. Свободную форму убедили Маргарет и Ада Фийал . Кьяра Ферраньи решила удивить поклонников фотографией в латексных красных штанах. Стильно? Виктория Сваровски надевает брюки цвета ткани Виктория
Знаете ли вы, как отличается одно- или двухвинтовой соковыжималка?
Знаете ли вы, как отличается одно- или двухвинтовой соковыжималка? Сегодня неизвестно, что свежевыжатый фруктовый или овощной сок обеспечивает организм многими необходимыми питательными веществами и витаминами. Выдавливать апельсиновый сок может в принципе кто угодно. Но как насчет фруктов, которые содержат меньше сока, таких как яблоки и груши? А можно ли благодаря соковыжималке выжимать сок из лиственных растений, например из салата? Об этом и нескольких других полезных фактах
Как пользователи искали?
Как пользователи искали? кофемашина до 2000 какую кофемашину купить до 2000 Какое оборудование выбрать?
Как вы оцениваете предложение нового оператора?
Как вы оцениваете предложение нового оператора? Ты будешь использовать ее? источник: Играть на YouTube соч. собственный Если вы нашли опечатку в тексте, сообщите нам об этом, пометив проблемное слово или предложение курсором и нажав Shift + Enter или нажмите здесь , Вы также можете сообщить об ошибке, написав
Почему так?
Почему так? Правительство заявляет, что руководствуется осторожностью, чтобы никто не чувствовал себя обиженным. Никто, то есть производители традиционных сигарет. - Использование потребителями товаров, не облагаемых акцизным сбором, происходит за счет потребления традиционных табачных изделий, облагаемых акцизным налогом. Поэтому возникла необходимость в разработке законодательных решений, обеспечивающих аналогичный налоговый режим для заменителей продуктов по сравнению с традиционными
Почему так много ядер, все из которых должны быть снабжены электричеством?
Почему так много ядер, все из которых должны быть снабжены электричеством? Разве не максимум 4 ядра? Является ли Snapdragon настолько слабым на груди, что ему нужно 2 + 4 ядра, чтобы обеспечить достаточную мощность для нормальной работы Android ?! Скорее меньше. Достаточно устройств, которые что-то рвут с «медленных» процессоров. Только в наслаждении 4K записей вы не получите. Если вам часто нравится загружать стиль, пожалуйста, убедитесь, что у вас действительно есть USB-штекер.
Как это сделать?
Как это сделать? Один из самых простых способов - использовать Wonderfox DVD Ripper. Wonderfox DVD Ripper Speedy и Pro. Какую версию выбрать? Программное обеспечение Wonderfox позволяет легко загружать всю коллекцию DVD-фильмов на компьютер по вашему выбору. Это программное обеспечение в первую очередь характеризуется огромной скоростью действия - благодаря надлежащему использованию мощности процессора и аппаратного ускорения графического процессора,

Я сделал ошибку?
Может быть, нам следует подождать до утра?
Плотное платье в стилизации звезд - какие они выбирают?
Каковы были его первые шаги в мире моды?
Какие факторы способствовали его успеху?
Кто этот россиянин, Гоша Рубчинский , который перевернул моду с ног на голову и взял то, что заслуживает ?
Как купить?
Садовая горка для детей - сколько это стоит и как выбрать?
Каждый раз, когда вы это делаете, вы находите еще больше причин сомневаться в них и говорите себе: «Они говорят, что любят меня, но как они могут любить меня и так обращаться со мной снова и снова?
Это звучит знакомо?

 
1996-2004 г. ЗАО «Центр Независимой Оценки»
Дизайн и поддержка дизайн-бюро «Silent Art»
о компании услуги Карта