«Новый цифровой мир» Эрика Шмидта

08291392.coverВ этом году вышла книга Эрика Шмидта и Джареда Коэна «Новый цифровой мир».  В представлении данные авторы не нуждаются, думаю все кто интересуется новыми ИТ технологиями, знают кто это такие.

Книга повествует о том, какое колоссальное влияние на наш сегодняшний мир оказывают новые технологии. Каждое утверждение в книги — это документально подтвержденный факт.

Среди людей, которые рекомендуют к прочтению эту книгу, такие известные личности как: Билл Клинтон, Уолтер Айзексон (автор официально биографии Стива Джобса), Ричард Брэнсон  и другие.

Удаление строк из внешней таблицы MS Access 2010 через VBA

Работая в MS Access 2010, я столкнулся с проблемой удаления строк во внешней таблице. Стандартными средствами данную задачу решить не удалось, поэтому на VBA была написана функция удаления строк непосредственно в БД. Пример кода приводиться для БД Oracle 10g. В конце статьи приводится листинг работающей функции.

Читать

Отправка писем из VBA через Lotus Notes

В статье рассмотрено одно из решений задачи отправки автоматизации отправки писем через почтовый клиент  Lotus Notes v 8.5.3 из скрипта на VBA.  По этой задаче много информации в Интернете, и данная статья призвана эту информацию обощить с целью ее практического применения. А также в заключении будет приведен листинг работающей функции.

Читать

Shodan – ищет то, чего не ищет Google

Данная система позволяет искать серверы, веб-камеры, принтеры, роутеры и самую разную технику, которая подключена к Интернету и составляет его часть.

Услугами Shodan может воспользоваться любой желающий. Владелец бесплатного аккаунта может получить до 10 результатов для каждой поисковой выдачи, а заплатив всего 20 долларов за годовой премиум-аккаунт, вы сможете получать до 10 тысяч результатов по каждому запросу.

Принцип действия Shodan основан на каталогизации автоматических ответов любого подключённого к сети компьютера, которые содержат массу информации о таком устройстве, включая его функции и настройки.

Подробнее можно почитать здесь

576K экспериментов и 130 наборов данных для машинного обучения

Недавно открылся новый проект OpenML (open machine learning)
Цель проекта — создать экосистему для проведения экспериментов в области машинного обучения.
В настоящее время существует множество сред и систем для анализа данных и машинного обучения, в которых реализовано множество алгоритмов и моделей для работы с данными и проведения экспериментов. Недостаток таких систем, что результат их работы доступен определенному кругу лиц,и нет никаких стандартов для оформления результатов этих исследований.
OpenML является платформой проведения экспериментов и обмена детальными результаты их с сообществом. Кроме того она позволяет организовать эти результаты для использования в будущем.

OpenML работает по принципу платформ по спортивному анализу данных (например Kaggle). Т.е. Пользователь определяет задачу, которую надо решить с помощью машинного обучения. Задача содержит набор входных данных, некоторые параметры и набор ожидаемый результатов.
База данных проетка будет содержать ссылки на всю информацию по экспериментам: входные данные, используемые алгоритмы и процессы (которые загрузит пользователь), результат и автора.
Всю эту информацию можно будет получить через поисковый запрос

Подробней про принципы работы и API можно прочитать на GitHub

«Склейка» в строку нескольких значений поля в Oracle

Для того чтобы соединить данные определенного поля в строку можно использовать функции Sys_xmlagg для получения склеенной строки в виде XML-объекта, который может быть преобразован строку.
Итоговый запрос будет выглядеть так:

select
field1,
RTRIM(Sys_xmlagg(XMLELEMENT(col, field2||', ')).extract('/ROWSET/COL/text()').getStringVal(), ', ') field2
FROM a
GROUP BY field1

Разберем что он делает подробнее:
XMLELEMENT(col, field2||', ') — производит преобразование из табличной формы поле field2 в XML
extract('/ROWSET/COL/text()') — извлекает значение из объекта XML полученного в предыдущем шаге
getStringVal() — преобразует извлеченные значения в строку
RTRIM() — удаем лишнюю запятую в конце строки

Обработка смысловой информации или что такое Text Mining.

text-mining-googleТехнология Text Mining включает в себя множество методов обработки текста, после выполнения которых, можно найти ранее не предполагавшиеся знания.

Впервые данная технология была применена в медицине в 90-х годах прошлого века Свансоном и Смолхейзером, которые на основании анализа множества текстов нашли обоснование гипотезы, которое было неизвестно.

 

Читать

Вышла новая книга по анализу данных

На днях в сободном доступе появилась книга новая книга «Twitter Data Analytics» авторов by Шаман Кумар (Shamanth Kumar), Фред Морстатер (Fred Morstatter), Хуан Ли (Huan Liu)

20130830-222311.jpg
Читать

Update c несколькими таблицами oracle

Часто возникает необходимость изменить значение одного поля на значение этого же поля но в другой таблице.
Самый простой способ это построить запрос select, который будет включать обе таблицы, а замет просто значению одного поля присвоить другое. Выглядеть это будет примерно так:

UPDATE SELECT a.id, a.field1 f1, b.field1 f2 FROM A INNER JOIN B ON a.id=b.id) c SET c.f1 = c.f2

Но если мы выполним этот код, то получим ошибку ORA-01779:

cannot modify a column which maps to a non key-preserved table SQL.sql 1 140

Для того чтобы данный запрос заработал, необходимо после update добавить недокументированный хинт bypass_ujvc,  выглядеть это будет так:

UPDATE /*+ bypass_ujvc*/ (SELECT a.id, a.field1 f1, b.field1 f2 FROM A INNER JOIN B ON a.id=b.id) c SET c.f1 = c.f2

Теперь все работает на ура.  Данное решение работает на oracle ниже 11 версии