Полезные функции EXCEL для анализа и выборки данных

Источник: https://ipiskunov.blogspot.com/2016/11/excel-itgc.html

Очень часто выгрузки различной информации из финансово-значимых ИТ-систем клиента поступают в распоряжение аудиторов в формате Excel-файлов. Поскольку большинство тестов ITGC в таком случае выполняется вручную, для ускорения процесса неизбежно приходится прибегать к использованию богатого функционала Excel. В сегодняшней статье мы сделаем обзор наиболее популярных и часто используемых встроенных функций значительно облегчающий рутинный труд ИТ-аудиторов

1. Объединение текстовых значений (СЦЕПИТЬ и ОБЪЕДИНИТЬ)

Для объединения ячеек с текстовым значением можно использовать разные формулы, однако они имеют свои нюансы. Например, команда =СЦЕПИТЬ(D4;E4) успешно объединит две ячейки, равно как и более простая функция =D4&E4, однако никакого разделителя между словами добавлено не будет – они отобразятся слитно.

Материалы по Share-Point

В поисках информации по SharePoint наткнулся на сайт "SharePoint 2010 в простых картинках" -  http://sharepointpic.blogspot.com.au/2013/02/blog-post_7703.html

Для введения в тему очень полезно.

Дополнительные ссылки:

Базовый курс на ИНТУИТ :
www.intuit.ru/studies/courses/475/331/info
www.intuit.ru/studies/courses/565/421/info

Неплохие видео здесь :

https://www.youtube.com/channel/UCwVKWK8ehV01d3ZP8...
https://www.youtube.com/user/DocTrixPL/videos
https://www.youtube.com/playlist?list=PL862AE05F40...
https://www.youtube.com/playlist?list=PL73E19E2E3A...

http://www.intranetno.ru/tags/SHAREPOINT_video/

Визуализация и работа с историческими данными: интерактивные карты и linked data базы знаний для изучения истории

Порой глянешь по сторонам и кажется, что современного мира вне IT не существует. Однако есть области человеческой жизни, очень слабо затронутые компьютеризацией. Одна из таких областей — история. И как наука, и как учебный курс. Конечно, работа за компьютером едва ли когда-то заменит историкам ковыряние в архивах. Но уж изучать историю по нарисованным в учебнике статическим картам, а порядок событий выстраивать, тщательно выписывая на бумажку даты в порядке возрастания — это точно прошлый век. Однако инструментов для наглядного изучения истории не так-то много и найти их очень непросто.

Если вы хотите узнать, какие есть интерактивные исторические карты, где стоит посмотреть на представление событий в форме таймлайнов и как делать сложные запросы к википедии типа «все государственные деятели, работавшие в Европе в 1725 году» — читайте дальше.

С чего все началось: на летней школе мы взялись делать интерактивную карту исторических событий на базе википедии. Я не даю прямую ссылку на проект, поскольку проект очень сырой (над ним работала команда из 4 прекрасных десятиклассников, но много ли успеешь за 3 недели), а еще потому что сервер имеет обыкновение «падать» и без хабраэффекта.
Нам хотелось на карте отобразить события, происходившие в разные исторические эпохи — и это отчасти получилось: у нас есть карта битв с их описаниями. На тот момент, когда мы занимались этим проектом, мы знали лишь про пару интерактивных исторических атласов, и ни один из них не показывал на карте события.

Я полагаю, что этих карт так мало потому что все сталкиваются с теми же проблемами, что и мы: исторические данные не структурированы. Нет машиночитаемых баз данных, откуда можно выгрузить информацию о важных исторических событиях. Историки, если и заводят базы данных, описывают в них, как правило, лишь свою узкую предметную область — типа карты укреплений Римской империи. Это может быть интересно и полезно историкам, но вряд ли простые люди могут извлечь из такой карты для себя много пользы. Вторая проблема — полное отсутствие данных про границы стран в исторической перспективе. Вы можете найти сотни атласов древних эпох, но координаты границ вам придется переносить с атласов вручную. Третья проблема — отсутствие каких-либо стандартов описания исторических данных. Даже нормального формата описания даты не существует, стандартные типы данных и форматы ломаются о годы до нашей эры. Что уж говорить про разные календари или неточно определенные даты?..

Проблемы недостатка машиночитаемых исторических данных еще ждут своего решения (мы работаем над этим, присоединяйтесь, работы на всех хватит). Но все же некоторые проекты по своему справляются с этим…

Как гласит народная мудрость: «После того, как вы сломали прибор, изучите инструкцию». Уже после того как мы сделали свою карту, мне удалось найти несколько других проектов с интерактивными картами и другими способами визуализировать историю и добывать исторические данные. Но на то, чтобы откопать эти ресурсы в недрах интернета мне понадобилась какое-то совершенно неприличное количество времени, поэтому я решил собрать всё, что нашел, в одном месте.

Первая категория — интерактивные исторические карты. Это не карты моей мечты, но вполне рабочие продукты. Их довольно много (и я не перечисляю тут еще совсем узкоспециализированные), но действительно хороших среди них всего пара, увы. Отдельно печалит, что среди них нет локализованных проектов, а значит по ним тяжело учить русскоязычных школьников.

Создание интерактивных графиков с R и Highcharts

Источник: https://habrahabr.ru/post/314086/

Иногда в попытках решить простые задачи приходят в голову великие идеи. Это особенно верно для разработчиков, которые готовы приложить массу усилий для решения простой проблемы к полному своему удовлетворению. Эта история о том, как Торстейн Хенси, основатель и СРО Highcharts искал простой инструмент для создания графиков, чтобы поместить на свою домашнюю страницу замеры глубины снега на Викафьеллет, местной горе, где у семьи был коттедж. Разочаровавшись в обычных flash-расширениях и коммерческих решениях, доступных на тот момент, он решил создать собственное и, конечно же, им поделиться.

Для создания красивых графиков в этой статье я воспользуюсь пакетом highcharter Джошуа Кунста, оболочкой для javascript-библиотеки Highcharts и Shiny.

Пожалуйста, учтите, что все продукты в этой библиотеке бесплатны для некоммерческого использования. Для коммерческих проектов и сайтов воспользуйтесь этим.

Пакет highcharter позволяет создавать графики типа Highcharts внутри R.

В пакете есть две основных функции:

• highchart(): создает объект-график Highchart с помощью htmlwidgets. Виджет можно отобразить на HTML-страницах, созданных в R Markdown, Shiny или других приложениях.
• hchart(): использует highchart(), чтобы одной простой командой нарисовать график для разных классов объектов в R. В частности, таких: data frame, numeric, histogram, character, density, factor, ts, mts, xts, stl, ohlc, acf, forecast, mforecast, ets, igraph, dist, dendrogram, phylo и survfit.

Графики строятся в духе ggplot2 по слоям, но используют оператор конвеера (%>%) вместо +.

Другие полезные функции пакета:

• Темизация: можно настроить графики с помощью встроенных тем, например, Economist, Financial Times, Google и FiveThirtyEight.
• Расширения: motion, drag points, fontawesome, url-pattern, annotations.

Проиллюстрируем функциональность этого пакета и Highcharts в целом рядом примеров-визуализаций.

Программы и ресурсы для визуализации данных

new http://rb.ru/howto/visualization-services – восемь сервисов для визуализации.

http://www.visualisingdata.com/resources/ – коллекция лучших программ и сервисов для визуализации.

https://www.mindjet.com/ – MindManager 2017 для Windows.

https://www.datawrapper.de/ – один из лучших и одновременно наиболее простых сервисов визуализации.

http://www.nosleep.net/ – простое и эффективное приложение для всех видов платформ по построению диаграмм с использованием шаблонов.

http://neo4j.com/product/ - софт, позволяющий визуализировать связи между различными сущностями, извлекаемыми из огромных массивов неструктурированных данных. Был использован при анализе «Панамских бумаг».

https://www.periscopedata.com/# - уникальный сервис визуализации и работы с данными.

http://inspire.blufra.me/big-data-visualization-review-of-the-20-best-tools/ - 20 лучших инструментов для визуализации Больших Данных.

http://www.cytoscape.org/ – бесплатный визуализатор связей и данных.

http://www.asg.com/ – наиболее популярный в мире платный софт для визуализации всего и вся.

https://marketplace.gephi.org/ – расширения для  самого известного опенсорс визуализатора  Gephi.

http://www.visualisingdata.com/resources/ – большой набор ресурсов для визуализации.

http://thenextweb.com/dd/2015/ – 14 лучших инструментов визуализации.

https://www.literatureandlatte.com/scapple.php – альтернатива привычным «картам ума». Позволяет визуализировать любые типы связей, создавать картинки в любом месте любого типа. Скорее похож на текстовой редактор для изображений, чем на mind map.

http://www.yworks.com/en/products_yed_about.html – семейство мощных персональных и корпоративных программ, которые предназначены для быстрого и эффективного создания высококачественных диаграмм.

http://www.quadrigram.com/ – сервис для визуализации данных. Достаточно гибкий и работает с большим количеством источников данных.  За наводку спасибо Ярославу Сеньшину.

http://charts.hohli.com/-  онлайн сервис для создания красивых диаграмм и графиков. Создатели – украинские программисты.

http://creately.com/ – сервис представляет возможность подставить свои данные в готовый шаблон.

http://fotoforensics.com/ -  сервис позволяет извлекать метаданные и анализировать фотографии по URL.

http://knoema.ru/ – уникальный ресурс, соединяющий в себе функции социальной сети, аналитической статистической платформы и сервиса бесплатной визуализации.

http://regex.info/exif.cgi - сервис позволяет по URL изображения проводить его анализ. Работает практически со всеми видами файлов.

http://linkurio.us/ - один из самых многообещающих стартапов, позволяющий осуществлять анализ связей любых объектов и субъектов по загруженным в ресурс данным пользователей.

http://www.gliffy.com/ – мощный и простой в использовании web- сервис для визуализации данных , создания диаграмм, графиков, схем и т.п. Имеет платную и бесплатную версии.

http://selection.datavisualization.ch/ – коллекция софта, веб сервисов и фреймворков для визуализации на все вкусы.

http://www.visualiq.com/products/iq-intelligence-suite – софт для визуализации данных нового поколения, базирующийся на машинном обучении алгоритмов.

http://www.qlikview.com/ru – одна из лучших платформ анализа деловой информации с первоклассной визуализацией. Наряду с отраслевыми версиями имеет исследовательский вариант, включая бесплатную версию. Теперь и на русском.

http://habrahabr.ru/post/113689/ – набор инструментов для построения графиков, блок-схем и диаграмм.rsions.html – едва ли не самый широко применяемый софт для анализа и визуализации социальных и организационных сетей. Будучи университетской разработкой, является бесплатным продуктом.

http://pajek.imfm.si/doku.php -  паук, лучший софт для анализа крупноразмерных социальных, организационных, экономических и прочих сетей. Хорошо задокументирован. Требует незначительного времени для освоения.

http://www.visualmining.com/products_for_business_users_overview.php – недорогие, доступные даже малому бизнесу панели индикаторов. Представляют собой готовую платформу для интерактивной бизнес-аналитики. Для использования программы не надо знать языки программирования. Имеет интуитивно понятный интерфейс. Единственное, что от вас требуется – это умение загружать данные.

http://datawrapper.de/ – простой, удобный и легкий в освоении инструмент визуализации данных, построенный на принципе открытого кода.

http://infogr.am/ – новый бесплатный инструмент создания интерактивных графиков.

http://www.smartdraw.com/ – лучшая по признанию экспертов программа для создания графиков, диаграмм, других видов визуализации. Программа базируется на первом в мире визуальном процессоре. Имеет бесплатную и несколько платных версий.

http://www.statviz.ru/index.php -  отечественная интерактивная система визуализации информации, рассчитанная на бизнес.

http://vis.stanford.edu/wrangler/ – представляет собой бесплатный интерактивный инструмент для очистки данных  преобразования их в необходимые для интеллектуального анализа данных и визуализации форматы. Осваивается «на лету» даже начинающим пользователем.

http://www.outwit.com/products/hub/ – бесплатный инструмент для автоматического сбора и организации данных, включая таблицы, любую числовую информацию и т.п., а также преобразование их в форматы CSV, Excel, SQL и т.п.

http://www.tableausoftware.com/public – один из самых популярных в мире инструментов интерактивной визуализации. Позволяет создавать интерактивные графики, таблицы, панели, карты практически из любых данных. Пригоден для использования как в оффлайне, так и в онлайне. Для освоения и применения не требует предварительной подготовки.

http://www.lovelycharts.com/ – очень недорогая программа для работы в онлайне и оффлайне. Позволяет строить самые разнообразные диаграммы, блок-схемы, организационные диаграммы, описывать бизнес-процессы и многое другое. Очень хорошая служба поддержки и богатое обучающее видео.

Zoho Reports – сервис визуализации, создания интернет-отчетов и бизнес-аналитики от компании Zoho.com – производителя одной из самых популярных в мире CRM. Сервис позволяет работать с электронными таблицами практически во всех форматах и в один клик осуществлять визуальный анализ данных, используя самые различные методы визуализации. Не требует практически никакой подготовки, обладает интуитивно понятным интерфейсом, поддерживает в платном варианте SQL, имеет высшие сертификаты, подтверждающие безопасное шифрованное соединение. Имеет бесплатные и недорогие платные версии.

http://nodexl.codeplex.com/ – очень популярная надстройка для Excel, позволяющая строить самые разнообразные графики и исследовать сети. Хорошо документирована. Единственное требование – знать и уметь пользоваться Excel. Бесплатная.

http://www.begraphic.com/software-for-innovative-datavisualization.html – инновационный быстро набирающий популярность продукт. Является надстройкой над Excel и PowerPoint, а также работает со всеми основными СУБД и ERM. Позволяет не только визуализировать данные в самых разнообразных графиках и диаграммах, но и является незаменимым средством для создания инфографики. Имеет платные и бесплатную версии.

http://www.visualisingdata.com/index.php/resources/ – портал, содержащий обширную постоянно пополняемую информацию по софту для визуализации, языкам программирования, используемым при визуализации, литературе на эту тему, проведенимым бесплатным и платным вебинарам и многое другое.

http://www.analytictech.com/ucinet/ – мощная программа анализа социальных и бизнес-сетей. Включает как средства визуализации, так и средства анализа сетей значительной размерности (более 35 тысяч элементов). Имеет бесплатную пробную версию и профессиональную платную.

http://www.netminer.com/index.php – легкая в освоении, многофункциональная и эффективная программа для анализа социальных и бизнес-сетей (Social Network Analysis – SNA).

http://www.statnetproject.org/ – бесплатный пакет статистического программного обеспечения для SNA. Позволяет выявлять явные и неявные связи в сетях по многим параметрам.

http://www.visone.info/ – программный продукт для визуализации и анализа социальных сетей. Особенностью продукта является интуитивно понятный графический пользовательский интерфейс и встроенные средства анализа. Это делает продукт незаменимым для пользователей, не обладающих серьезной компьютерной подготовкой, либо навыками анализа сетей. Продукт бесплатный.

http://www.graphviz.org/ – программное обеспечение для визуализации графов и социальных сетей. Имеет много полезных функций, позволяющих строить диаграммы, поддерживать различные варианты цветов, встраивать гиперссылки.

http://gephi.org/ – опенсерсный продукт для визуализации, разработанный  в Стэнфорде. Программа обладает едва ли не самым большим функционалом в классе SNA, очень хорошо документирована, постоянно развивается, имеет активное сообщество, облегчающее обучение и оказание оперативной помощи при возникающих вопросах, связанных с использованием программы.

http://rff.com/index.htm – мощный, но простой в использовании инструмент для создания всех основных видов диаграмм, блок-схем, анализа сетей. Является одной из любимых программ американских следователей и частных детективов. Программа очень хорошо задокументирована, имеет понятно написанное короткое руководство пользователя. В программу встроена возможность ее русификации. Стоит недорого.

Sentinel Visualizer – серьезный программный продукт, используемый для визуализации данных, анализа самых различных связей, а также для SNA. По возможностям сходен с I2, но стоит на порядки дешевле, хотя и является самым дорогим продуктом, представленным в этом разделе.

http://grapheur.com/ -  уникальная программа для интеллектуального анализа данных и их визуализации, не требующая глубокой специальной подготовки. По своим возможностям превосходит все другие программы в этом классе. Доступна для неподготовленного пользователя, хорошо задокументирована, обладает  безупречной службой поддержки. Программа платная, но своих денег без сомнения стоит.

Источник: http://hrazvedka.ru/category/visib

Сказки на ночь: Новое доменное имя блога

Сказки на ночь: Новое доменное имя блога: "На прошлой неделе назрел вопрос о смене домена. Не то чтобы такой вопрос не возникал раньше, просто не видел существенных аргументов в польз..."

"Новые возможности Blogger (Blogger in Draft)".

Как создать RT бота в Твиттер – подробная инструкция.

Привет всем пользователям Твиттера! С Вами @Mixonis и сегодня мне бы хотелось рассказать как смастерить автоматический бот-аккаунт, который будет ритвитить все сообщения, содержащие некую нужную Вам фразу.

---

статья из блога "Mixez.ru"  - http://mixez.ru/3-poleznoe-v-seti/kak-sozdat-rt-bota-v-tvitter-podrobnaya-instrukciya.html

---

Я давно хотел научится делать такие аккаунты, и совсем недавно, на днях, у меня получилось. Для чего это делать вообще? В твитере много таких ботов, и причины их создания, на мой взляд, может быть, например, привлечение внимание к какому то ресурсу или по другому ракрутка. Хотя, не исключено, что это попусту чье то развлечение и издевательство над людьми. Нет у меня желания анализировать зачем их делают, подумайте сами, но в моем случае это будет как раз эксперимент в помощь в раскрутке новой группы во Всесоюзно^^ популярной социальной сети – Вконтакте. Группа – Клуб Твиттера. Я ее так и назвал #VkTwitterClub.
И так, чтобы настроить RT бота не потребуется знаний программирования, так как их отлично заменяют yahoo pipes и twitterfeed. Как уже многие из читателей поняли, принцип работы бота заключается в транслировании нужной и отредактированной RSS ленты. Но откуда ее взять? Если речь идет о ритвитах, то есть перепост других твитов, то тут нам поможет search.twitter.com Смотрим, всего нам потребуется 3 сайта, не так уж и много:

• search.twitter.com
• pipes.yahoo.com (Для работы с ним неплохо будет иметь знание английского)
• twitterfeed.com

Первым делом давайте определимся, на какой именно слово и слова будет реагировать наш бот. Пусть это будет хэш тэги #Vk, #Vkontakte и слова «Вконтакте» и «Контакт». По ходу написания статьи сейчас думаю не многовато ли будет, ладно посмотрим. Сразу регистрируемся на yahoopipes и создаем новый проект, выглядит так:

Теперь нужен RSS канал который будем делать под себя. Идем на search.twitter.com, в строке поиск вбиваем нужное ключевое слово поиска, после выдачи результатов справа есть кнопочка »Feed for this query» – это и есть наш канал. Копируем его адрес и возвращаемся в yahoo. Здесь в самой верхней вкладке «Sources» открываем пункт «FetchFeed», куда и вставляем адрем нашего RSS. Как показано на скрине я добавил 4 ленты:

Начинаем редактировать ленту. Заблокируем ненужный контент – это всё что содержит буквы RT чтобы бот не твитил повторяющиеся сообщения, а так же заблокируем твиты самого бота, чтобы он не повторял сам себя и удалим ссылки. Для этого во вкладке «Operators» выбираем «Filter», соединяем и рсс лентой  редактируем как на скрине. Обратите внимание на верхнюю строчку фильтра и выберите «Any». Говорю сейчас и буду повторяться потом: всевозможных настроек и инструментов в yahoopipes огромное множество!
Так, мы исключили из будущей ленты не нужное:

Следующий шаг. Получим в содержании нашей ленты адрес автора оригинального твита. Опять же из той вкладки «Operators» выбираем  »Loop» и переносим в середину него инструмент «String Builder» из вкладки «String», соединяем и заполняем:

Можете посмотреть в поле где показывается результат. Мы получили адрес автора, теперь в редактировании RSS остается последний шаг. Заменим адрес twitter.com на то что нужно нам и добавим знак @. Как вы и догадались – мы «научили» нашего бота отправлять реплаи авторам твитов, в которых содержутся наши ключевые слова. Дополним твит нужной информацией для продвижения группы. Ничего в этом не смыслю, поэтому добавлю призыв вступать в наш клуб и ссылку на него.
Там же выбираем инструмент «Regex», не забываем соединить, и заполним в нашу пользу. Предлагаю вот такой вариант:  написания:

Как видно на рисунке, я написал незамысловатою «рекламку», наверно даже очень плохую с точки зрения маркетинга. Еще по ходу дела задумываюсь – не будет ли хуже группе? У меня и у других людей негативное отношение к рекламе, и возникает мысль, что врядли человек захочет вступать в группу, с которой идет мягко говоря спам. Еще, как видите, я сократил ссылку, и не только для экономии места, но и для ведения статистики переходов. К счастью сокращатель bit.ly это позволяет делать.
Всё, работа с RSS лентой закончена! Теперь сохраняем и запоминаем. Настает черед работы twitterfeed`а. Я там уже зарегестрирован, поэтому мне остается только залогиниться и создать новый фид. Настраиваем. У себя я настроил все так, как отмечено на скрине.

Пора бы уже создать  твиттер аккаунт, хотя его посути надо было делать с самого начала. Но так как он у меня уже создан, то мне остается всего лишь авторизироваться им на twitterfeed`e и всё – процесс начат!
И так, бот создан, и сейчас он работает в полностью автоматическом режиме, правда ритвитит не всё – просто не успевает(Уже несколько фоловеров и пару реплаев нецензурного содержания). Есть конечно выход – добавить несколько RSS потоков на один аккаунт, в каждом будет отдельное ключевое слово. Да, так можно, но мне пока хватает как есть. Еще минус в том что у «многоговорящего» бота будет больше шансов быть забаненным, а это не к чему. Что я сейчас «создал» это всего лишь маленькая демонстрация возможностей  yahoo pipes, ну и краткий курс по созданию бота само собой. Этот сервис с огромными возможностями. Необязательно ведь это должен быть твиттер, можно использовать везде где есть RSS, а может быть даже и больше. Не знаю больше что сказать. Заходите, смотрите, пробуйте, экспериментируйте, комбинируйте, делитесь своим опытом. Всяких кнопочек там полно, которых я не знаю. Думаю у Вас даже лучше получится чем у меня=)
Напоследок оставляю ссылку на свою группу vkontakte.ru/club22836774 буду рад если вступите в #VkTwitterClub. Я постралася сделать её максимально интересной, и как говорят люди – красиво оформил, да мне и самому нравится!=)))

Библиотека FloatBox

Floatbox is a javascript library for displaying windowed content over top of web pages:
http://floatboxjs.com/

Demo: http://floatboxjs.com/demo

Конкурентная разведка в Интернете (Андрей Масалович)

Интересная лекция по методам поиска информации в Интернете