Архив метки: ETL

Data Integration — Kettle | Веб-сервис без шуму и пыли

2 мин.

Всем кетловодам доброго дня.
Продолжаем серию статей про kettle. Сегодня мы рассмотрим как быстро поднять веб-сервис. Без лишних предисловий давайте нырнём в гущу событий. Читать далее

Data Integration — Kettle | Запуск работы/трансформации для каждой строки.

< 1 мин.

data-integration-kettle-run_job_or_transformation_for_each_row

Продолжаем изучение базовых возможностей kettle.

Задача: «Трансформация произвела какую-то обработку и получила на выходе n строк. Для каждой строки необходимо выполнить работу.»

Задача сформулирована в общем виде, но этого вполне достаточно. Читать далее

Data Integration — Kettle | Обработка больших XML файлов на примере базы ФИАС

2 мин.

И вот очередная ночь и скрипт почти готов. Ты пытаешься прогнать его на всём объёме данных, и вдруг на твоих глазах наворачиваются слёзы, грудь сковывает отчаянье и боль за потраченное время не даёт давить по клавишам и двигать мышь. Ты увидел красными буквами надпись в логе обработке «out of memory» у шага для чтения xml файла.  Ну ни чего, ты собираешься с мыслями и копаешься в документациях, примерах и прочем, что выдаст тебе «старший брат». Ну что же, я постараюсь избавить тебя от лишних телодвижений и показать путь покороче.

Читать далее

Data Integration — Kettle | Парсинг HTML в 4 шага.

2 мин.

Я вам советую не сильно радоваться в надежде на халявный универсальный способ разбора HTML страниц. Это задача всегда решается под конкретный сайт с использованием разнообразных инструментов. Но да, наша трансформация для разбора HTML страницы действительно будет состоять не больше чем из 4-х шагов.

Читать далее

Data Integration — Kettle | Запуск трансформации или работы по расписанию.

2 мин.

Задача озвученная в заголовке тривиальная и не вызывает проблем у матёрых товарищей, только иногда им нужны подсказки.

Подсказка:
«запуск работы->исполняемый файл->планировщик задач»
«запуск трансформации->исполняемый файл->планировщик задач»

Ну а для таких как я, которые в танке и с первого раза не понимают, мы рассмотрим данную задачу подробнее.

Читать далее

Data Integration — Kettle | Шаги «Row normaliser» и «Row denormaliser». ( UNPIVOT / PIVOT )

2 мин.

Добрый день уважаемый читатель, если ты конечно вообще есть. Сегодня мы рассмотрим задачу, которая будет часто встречаться у вас при обработке всевозможных данных. Я не совсем уверен в точности определений, но это будет звучать примерно так: «PIVOTE/UPIVOTE; Транспонирование; Нормализация/Денормализация;» . Я прошу поправить меня, если я не совсем корректен.

Читать далее

Data Integration — Kettle:Errors | Ошибка при создании или сохраранении трансформации/работы. «Unexpected problem reading shared objects from XML file : null»

< 1 мин.

1) Ошибка

Рис. 1 - Ошибка

Рис. 1 — Ошибка

Читать далее

Data Integration — Kettle: Трансформации с параметрами. Когда, зачем и как ?

2 мин.

TransformParameter

Продолжим забавляться с kettle ? 🙂

Не знаю как вы, но я жутко ленивая тварь. Я за это себя ненавижу парой очень сильно, но не смотря на все внутренние противоречии, лень даёт стимул к решению той или иной задачи комплексно.

Читать далее

Data Integration — Kettle: Операции с датами

< 1 мин.

operacii_s_datamiВ этой небольшой статье я расскажу как работать с датами. Pentaho для меня уже давно стал основным инструментом для решения большинства задач, но к сожалению, только совершенно недавно для себя я открыл нормальный способ работы с датами.

Читать далее

Свободное ETL средство. Kettle Pentaho краткий обзор и простой пример.

2 мин.

kettle-header-dashboard

Это вводная статья с целью ознакомить читателя с данным ПО. В дальнейшем я буду рассматривать реализацию большого количества интересных и полезных задач, первая статья уже готовиться, но к сожалению у меня не так много времени и приходится писать по вечерам.  Ещё хотелось бы ко всему подготовить видео материалы, что тоже весьма трудозатратно.

Читать далее