Data Integration — Kettle | Веб-сервис без шуму и пыли

⌛ читать всего 2 мин.

Всем кетловодам доброго дня.
Продолжаем серию статей про kettle. Сегодня мы рассмотрим как быстро поднять веб-сервис. Без лишних предисловий давайте нырнём в гущу событий. Читать далее

JavaScript | Tesseractjs — Распознавание текста c картинки

⌛ читать всего 2 мин.

«Интенсивное развитие web технологий накладывает глубокий отпечаток на сфере разработки программного обеспечения. Все больше появляется «облачных» сервисов и приложений. Традиционно родным языком для web, является JavaScript. В последние годы он развивается быстрыми темпами, расширяются область его применения, возможности и конечно же сообщество.» — писал бы я, если бы был занудой, но я же не такой. 🙂

Поток мыслей, который я уже битый час пытаюсь облачить хотя бы в сколько-нибудь адекватный текст все продолжает генерироваться моей неуёмной головой. Она как бы говорит: «Да задолбал ты, я хочу спать. На тебе это… Вот это… Вот ещё чуть-чуть…». Такое иногда бывает.
О чём это я?
Ах, да, Tesseractjs… Читать далее

Data Integration — Kettle | Запуск работы/трансформации для каждой строки.

⌛ читать всего 1 мин.

data-integration-kettle-run_job_or_transformation_for_each_row

Продолжаем изучение базовых возможностей kettle.

Задача: «Трансформация произвела какую-то обработку и получила на выходе n строк. Для каждой строки необходимо выполнить работу.»

Задача сформулирована в общем виде, но этого вполне достаточно. Читать далее

Data Integration — Kettle | Обработка больших XML файлов на примере базы ФИАС

⌛ читать всего 2 мин.

И вот очередная ночь и скрипт почти готов. Ты пытаешься прогнать его на всём объёме данных, и вдруг на твоих глазах наворачиваются слёзы, грудь сковывает отчаянье и боль за потраченное время не даёт давить по клавишам и двигать мышь. Ты увидел красными буквами надпись в логе обработке «out of memory» у шага для чтения xml файла.  Ну ни чего, ты собираешься с мыслями и копаешься в документациях, примерах и прочем, что выдаст тебе «старший брат». Ну что же, я постараюсь избавить тебя от лишних телодвижений и показать путь покороче.

Читать далее