Визуализация и работа с историческими данными: интерактивные карты и linked data базы знаний для изучения истории

Порой глянешь по сторонам и кажется, что современного мира вне IT не существует. Однако есть области человеческой жизни, очень слабо затронутые компьютеризацией. Одна из таких областей — история. И как наука, и как учебный курс. Конечно, работа за компьютером едва ли когда-то заменит историкам ковыряние в архивах. Но уж изучать историю по нарисованным в учебнике статическим картам, а порядок событий выстраивать, тщательно выписывая на бумажку даты в порядке возрастания — это точно прошлый век. Однако инструментов для наглядного изучения истории не так-то много и найти их очень непросто.

Если вы хотите узнать, какие есть интерактивные исторические карты, где стоит посмотреть на представление событий в форме таймлайнов и как делать сложные запросы к википедии типа «все государственные деятели, работавшие в Европе в 1725 году» — читайте дальше.

С чего все началось: на летней школе мы взялись делать интерактивную карту исторических событий на базе википедии. Я не даю прямую ссылку на проект, поскольку проект очень сырой (над ним работала команда из 4 прекрасных десятиклассников, но много ли успеешь за 3 недели), а еще потому что сервер имеет обыкновение «падать» и без хабраэффекта.
Нам хотелось на карте отобразить события, происходившие в разные исторические эпохи — и это отчасти получилось: у нас есть карта битв с их описаниями. На тот момент, когда мы занимались этим проектом, мы знали лишь про пару интерактивных исторических атласов, и ни один из них не показывал на карте события.

Я полагаю, что этих карт так мало потому что все сталкиваются с теми же проблемами, что и мы: исторические данные не структурированы. Нет машиночитаемых баз данных, откуда можно выгрузить информацию о важных исторических событиях. Историки, если и заводят базы данных, описывают в них, как правило, лишь свою узкую предметную область — типа карты укреплений Римской империи. Это может быть интересно и полезно историкам, но вряд ли простые люди могут извлечь из такой карты для себя много пользы. Вторая проблема — полное отсутствие данных про границы стран в исторической перспективе. Вы можете найти сотни атласов древних эпох, но координаты границ вам придется переносить с атласов вручную. Третья проблема — отсутствие каких-либо стандартов описания исторических данных. Даже нормального формата описания даты не существует, стандартные типы данных и форматы ломаются о годы до нашей эры. Что уж говорить про разные календари или неточно определенные даты?..

Проблемы недостатка машиночитаемых исторических данных еще ждут своего решения (мы работаем над этим, присоединяйтесь, работы на всех хватит). Но все же некоторые проекты по своему справляются с этим…

Как гласит народная мудрость: «После того, как вы сломали прибор, изучите инструкцию». Уже после того как мы сделали свою карту, мне удалось найти несколько других проектов с интерактивными картами и другими способами визуализировать историю и добывать исторические данные. Но на то, чтобы откопать эти ресурсы в недрах интернета мне понадобилась какое-то совершенно неприличное количество времени, поэтому я решил собрать всё, что нашел, в одном месте.

Первая категория — интерактивные исторические карты. Это не карты моей мечты, но вполне рабочие продукты. Их довольно много (и я не перечисляю тут еще совсем узкоспециализированные), но действительно хороших среди них всего пара, увы. Отдельно печалит, что среди них нет локализованных проектов, а значит по ним тяжело учить русскоязычных школьников.

Создание интерактивных графиков с R и Highcharts

Источник: https://habrahabr.ru/post/314086/

Иногда в попытках решить простые задачи приходят в голову великие идеи. Это особенно верно для разработчиков, которые готовы приложить массу усилий для решения простой проблемы к полному своему удовлетворению. Эта история о том, как Торстейн Хенси, основатель и СРО Highcharts искал простой инструмент для создания графиков, чтобы поместить на свою домашнюю страницу замеры глубины снега на Викафьеллет, местной горе, где у семьи был коттедж. Разочаровавшись в обычных flash-расширениях и коммерческих решениях, доступных на тот момент, он решил создать собственное и, конечно же, им поделиться.

Для создания красивых графиков в этой статье я воспользуюсь пакетом highcharter Джошуа Кунста, оболочкой для javascript-библиотеки Highcharts и Shiny.

Пожалуйста, учтите, что все продукты в этой библиотеке бесплатны для некоммерческого использования. Для коммерческих проектов и сайтов воспользуйтесь этим.

Пакет highcharter позволяет создавать графики типа Highcharts внутри R.

В пакете есть две основных функции:

• highchart(): создает объект-график Highchart с помощью htmlwidgets. Виджет можно отобразить на HTML-страницах, созданных в R Markdown, Shiny или других приложениях.
• hchart(): использует highchart(), чтобы одной простой командой нарисовать график для разных классов объектов в R. В частности, таких: data frame, numeric, histogram, character, density, factor, ts, mts, xts, stl, ohlc, acf, forecast, mforecast, ets, igraph, dist, dendrogram, phylo и survfit.

Графики строятся в духе ggplot2 по слоям, но используют оператор конвеера (%>%) вместо +.

Другие полезные функции пакета:

• Темизация: можно настроить графики с помощью встроенных тем, например, Economist, Financial Times, Google и FiveThirtyEight.
• Расширения: motion, drag points, fontawesome, url-pattern, annotations.

Проиллюстрируем функциональность этого пакета и Highcharts в целом рядом примеров-визуализаций.

Программы и ресурсы для визуализации данных

new http://rb.ru/howto/visualization-services – восемь сервисов для визуализации.

http://www.visualisingdata.com/resources/ – коллекция лучших программ и сервисов для визуализации.

https://www.mindjet.com/ – MindManager 2017 для Windows.

https://www.datawrapper.de/ – один из лучших и одновременно наиболее простых сервисов визуализации.

http://www.nosleep.net/ – простое и эффективное приложение для всех видов платформ по построению диаграмм с использованием шаблонов.

http://neo4j.com/product/ - софт, позволяющий визуализировать связи между различными сущностями, извлекаемыми из огромных массивов неструктурированных данных. Был использован при анализе «Панамских бумаг».

https://www.periscopedata.com/# - уникальный сервис визуализации и работы с данными.

http://inspire.blufra.me/big-data-visualization-review-of-the-20-best-tools/ - 20 лучших инструментов для визуализации Больших Данных.

http://www.cytoscape.org/ – бесплатный визуализатор связей и данных.

http://www.asg.com/ – наиболее популярный в мире платный софт для визуализации всего и вся.

https://marketplace.gephi.org/ – расширения для  самого известного опенсорс визуализатора  Gephi.

http://www.visualisingdata.com/resources/ – большой набор ресурсов для визуализации.

http://thenextweb.com/dd/2015/ – 14 лучших инструментов визуализации.

https://www.literatureandlatte.com/scapple.php – альтернатива привычным «картам ума». Позволяет визуализировать любые типы связей, создавать картинки в любом месте любого типа. Скорее похож на текстовой редактор для изображений, чем на mind map.

http://www.yworks.com/en/products_yed_about.html – семейство мощных персональных и корпоративных программ, которые предназначены для быстрого и эффективного создания высококачественных диаграмм.

http://www.quadrigram.com/ – сервис для визуализации данных. Достаточно гибкий и работает с большим количеством источников данных.  За наводку спасибо Ярославу Сеньшину.

http://charts.hohli.com/-  онлайн сервис для создания красивых диаграмм и графиков. Создатели – украинские программисты.

http://creately.com/ – сервис представляет возможность подставить свои данные в готовый шаблон.

http://fotoforensics.com/ -  сервис позволяет извлекать метаданные и анализировать фотографии по URL.

http://knoema.ru/ – уникальный ресурс, соединяющий в себе функции социальной сети, аналитической статистической платформы и сервиса бесплатной визуализации.

http://regex.info/exif.cgi - сервис позволяет по URL изображения проводить его анализ. Работает практически со всеми видами файлов.

http://linkurio.us/ - один из самых многообещающих стартапов, позволяющий осуществлять анализ связей любых объектов и субъектов по загруженным в ресурс данным пользователей.

http://www.gliffy.com/ – мощный и простой в использовании web- сервис для визуализации данных , создания диаграмм, графиков, схем и т.п. Имеет платную и бесплатную версии.

http://selection.datavisualization.ch/ – коллекция софта, веб сервисов и фреймворков для визуализации на все вкусы.

http://www.visualiq.com/products/iq-intelligence-suite – софт для визуализации данных нового поколения, базирующийся на машинном обучении алгоритмов.

http://www.qlikview.com/ru – одна из лучших платформ анализа деловой информации с первоклассной визуализацией. Наряду с отраслевыми версиями имеет исследовательский вариант, включая бесплатную версию. Теперь и на русском.

http://habrahabr.ru/post/113689/ – набор инструментов для построения графиков, блок-схем и диаграмм.rsions.html – едва ли не самый широко применяемый софт для анализа и визуализации социальных и организационных сетей. Будучи университетской разработкой, является бесплатным продуктом.

http://pajek.imfm.si/doku.php -  паук, лучший софт для анализа крупноразмерных социальных, организационных, экономических и прочих сетей. Хорошо задокументирован. Требует незначительного времени для освоения.

http://www.visualmining.com/products_for_business_users_overview.php – недорогие, доступные даже малому бизнесу панели индикаторов. Представляют собой готовую платформу для интерактивной бизнес-аналитики. Для использования программы не надо знать языки программирования. Имеет интуитивно понятный интерфейс. Единственное, что от вас требуется – это умение загружать данные.

http://datawrapper.de/ – простой, удобный и легкий в освоении инструмент визуализации данных, построенный на принципе открытого кода.

http://infogr.am/ – новый бесплатный инструмент создания интерактивных графиков.

http://www.smartdraw.com/ – лучшая по признанию экспертов программа для создания графиков, диаграмм, других видов визуализации. Программа базируется на первом в мире визуальном процессоре. Имеет бесплатную и несколько платных версий.

http://www.statviz.ru/index.php -  отечественная интерактивная система визуализации информации, рассчитанная на бизнес.

http://vis.stanford.edu/wrangler/ – представляет собой бесплатный интерактивный инструмент для очистки данных  преобразования их в необходимые для интеллектуального анализа данных и визуализации форматы. Осваивается «на лету» даже начинающим пользователем.

http://www.outwit.com/products/hub/ – бесплатный инструмент для автоматического сбора и организации данных, включая таблицы, любую числовую информацию и т.п., а также преобразование их в форматы CSV, Excel, SQL и т.п.

http://www.tableausoftware.com/public – один из самых популярных в мире инструментов интерактивной визуализации. Позволяет создавать интерактивные графики, таблицы, панели, карты практически из любых данных. Пригоден для использования как в оффлайне, так и в онлайне. Для освоения и применения не требует предварительной подготовки.

http://www.lovelycharts.com/ – очень недорогая программа для работы в онлайне и оффлайне. Позволяет строить самые разнообразные диаграммы, блок-схемы, организационные диаграммы, описывать бизнес-процессы и многое другое. Очень хорошая служба поддержки и богатое обучающее видео.

Zoho Reports – сервис визуализации, создания интернет-отчетов и бизнес-аналитики от компании Zoho.com – производителя одной из самых популярных в мире CRM. Сервис позволяет работать с электронными таблицами практически во всех форматах и в один клик осуществлять визуальный анализ данных, используя самые различные методы визуализации. Не требует практически никакой подготовки, обладает интуитивно понятным интерфейсом, поддерживает в платном варианте SQL, имеет высшие сертификаты, подтверждающие безопасное шифрованное соединение. Имеет бесплатные и недорогие платные версии.

http://nodexl.codeplex.com/ – очень популярная надстройка для Excel, позволяющая строить самые разнообразные графики и исследовать сети. Хорошо документирована. Единственное требование – знать и уметь пользоваться Excel. Бесплатная.

http://www.begraphic.com/software-for-innovative-datavisualization.html – инновационный быстро набирающий популярность продукт. Является надстройкой над Excel и PowerPoint, а также работает со всеми основными СУБД и ERM. Позволяет не только визуализировать данные в самых разнообразных графиках и диаграммах, но и является незаменимым средством для создания инфографики. Имеет платные и бесплатную версии.

http://www.visualisingdata.com/index.php/resources/ – портал, содержащий обширную постоянно пополняемую информацию по софту для визуализации, языкам программирования, используемым при визуализации, литературе на эту тему, проведенимым бесплатным и платным вебинарам и многое другое.

http://www.analytictech.com/ucinet/ – мощная программа анализа социальных и бизнес-сетей. Включает как средства визуализации, так и средства анализа сетей значительной размерности (более 35 тысяч элементов). Имеет бесплатную пробную версию и профессиональную платную.

http://www.netminer.com/index.php – легкая в освоении, многофункциональная и эффективная программа для анализа социальных и бизнес-сетей (Social Network Analysis – SNA).

http://www.statnetproject.org/ – бесплатный пакет статистического программного обеспечения для SNA. Позволяет выявлять явные и неявные связи в сетях по многим параметрам.

http://www.visone.info/ – программный продукт для визуализации и анализа социальных сетей. Особенностью продукта является интуитивно понятный графический пользовательский интерфейс и встроенные средства анализа. Это делает продукт незаменимым для пользователей, не обладающих серьезной компьютерной подготовкой, либо навыками анализа сетей. Продукт бесплатный.

http://www.graphviz.org/ – программное обеспечение для визуализации графов и социальных сетей. Имеет много полезных функций, позволяющих строить диаграммы, поддерживать различные варианты цветов, встраивать гиперссылки.

http://gephi.org/ – опенсерсный продукт для визуализации, разработанный  в Стэнфорде. Программа обладает едва ли не самым большим функционалом в классе SNA, очень хорошо документирована, постоянно развивается, имеет активное сообщество, облегчающее обучение и оказание оперативной помощи при возникающих вопросах, связанных с использованием программы.

http://rff.com/index.htm – мощный, но простой в использовании инструмент для создания всех основных видов диаграмм, блок-схем, анализа сетей. Является одной из любимых программ американских следователей и частных детективов. Программа очень хорошо задокументирована, имеет понятно написанное короткое руководство пользователя. В программу встроена возможность ее русификации. Стоит недорого.

Sentinel Visualizer – серьезный программный продукт, используемый для визуализации данных, анализа самых различных связей, а также для SNA. По возможностям сходен с I2, но стоит на порядки дешевле, хотя и является самым дорогим продуктом, представленным в этом разделе.

http://grapheur.com/ -  уникальная программа для интеллектуального анализа данных и их визуализации, не требующая глубокой специальной подготовки. По своим возможностям превосходит все другие программы в этом классе. Доступна для неподготовленного пользователя, хорошо задокументирована, обладает  безупречной службой поддержки. Программа платная, но своих денег без сомнения стоит.

Источник: http://hrazvedka.ru/category/visib