Business intelligence for dummies

Want to know what BI is but were always afraid to ask?

Here is a use case that covers 90% of Business Intelligence software use in the real world.

Imagine an Excel table containing banking transactions that you exported from your online banking system.

Once they are exported, you may be tempted to construct pivot tables, to view e.g.

  • The bank accounts you credited for the last 12 months;
  • the ratio between credit and debit by month;
  • the expenses from your banking cards compared to those of your wife.

All of these pivot tables will be constructed for you in a matter of seconds, or even milliseconds.

Unfortunately, the construction of pivot tables does not scale up. A bank manager trying to construct a pivot table to identify the most debiting accounts or to identify the accounts performing most of transactions over a month is likely to wait many hours until his pivot tables are calculated. This is because the amount of transactions he is analyzing is likely to be in the hundreds of thousands, and more. He will also try to lump together much more information by adding columns with addresses, information on insurance policies of account holders, etc, thus growing the table to tens, sometimes even hundreds of columns, aggravating the performance issue.

Tags: 
BI
ETL
OLAP

Почему я не люблю Микрософт?

Микрософт мне не нравится прежде всего тем, что популяризировала ненавистные многим методы работы.

Следуя примеру Микрософт, индустрия ПО, которая по сути является индустрией услуг, стала вдруг индустрией продуктов, а типичный цикл разработки ПО превратился из многолетней совместной работы специалистов над разработкой и поддержкой ПО для конкретных потребителей в годичный аттракцион «слабай-продай-свали».

Нежелание женщин заниматься этой профессией, массовый исход программистов в смежные специальности после 30-40 лет, дауншифтинг, развитие малого бизнеса в IT — это во многом отголоски негативного влияния Микрософт.

ЗЫ: Изначально этот пост был комментарием на Хабре.

Tags: 
hall of shame
microsoft
evil

An executive summary on the state of art in Coreference Resolution

It is done using machine learning lately and has been oriented for a few years towards two competions: MUC and ACE. The quality of the Coreference Resolution is still fairly poor in the general case, although some special cases, e.g. pronoun resolution have been resolved with good results. There's a number of tools available for Coreference Resolution, including an implementation inside OpenNLP

Tags: 
linguistics

Executive summary on the state of the art in Semantic Role Labelling

This is a follow-up to the T3: Semantic Role Labeling: Past, Present and Future tutorial by Lluís Màrquez.

A lenient evaluation of the state-of-the-art F1 in Semantic Role Labelling is around 80%, but the quality degrades by ~10% when switching to a test set from a new knowledge domain.

The most promising approach is the construction of a joint system of syntactic and semantic labeling parsers that operate in parallel on the same stream of input tokens.

The field is plagues by the complexity and low performance of the tools.

Tags: 
linguistics

Какой будет Беларусь лет через тридцать правления Лукашенко?

Не знаете? Съездите в Сингапур, полюбуйтесь.

Объясняю по порядку. Общего у обеих стран много. Формальная демократия, на деле — авторитарный режим. С 1959 по 1990 год страной правил Ли Куан Ю, теперь — его сын. Экономика цветёт на высокотехнологичных производствах. Повсюду понатыканы многоэтажные торговые центры, при том, что на улице не встретишь ни одного лоточника. По вечерам в центре гуляет много красиво одетого народа, подавляющее большинство — титульной нации. Покупают мало, но выглядят счастливо. Трезвость почти стопроцентная. Планировка улиц в общих чертах повторяет Минск, только дома повыше и покрасивше. Как и в Минске, пешеходные переходы устроены не там, где удобно переходить, а там, где запланировали, так что через дорогу местные бегают совсем как беларусы, несмотря на огромные штрафы.


Tags: 
singapore
belarus
dictatorship

Когда глобализация не работает

Приспичило мне купить пару маек в Сингапуре. А тут лоток с майками по дороге. Беру размер М, иду оплачивать, а тётка на кассе на меня хитро смотрит и заворачивает: иди, мол, разверни и прикинь на тельце. Развернул, прикинул. Потом новую майку развернул и прикинул. В конце концов выбрал XL. Т.е., сингапурский XL.

Tags: 
misc
singapore

Encrypting root on an existing Debian lenny installation

Once in a time, I get to travel to places that make me worry about the data on my laptop. This time, it is not the US, but another openly democratic country where they kill you for a joint, let alone nude pictures. Enough politics, though.

I have a laptop with the /boot in a separate partition, followed by a /root partition and a /swap. Having a separate /boot is mandatory, as the BIOS has to load an unencrypted kernel and its initrd before being able to access the encrypted partition. Another option is to keep /boot on a USB stick, but its setup can take a whole other post.

First things first, let us install software for managing encrypted disks and updating the initrd image:

aptitude install cryptsetup initramfs-tools

We have to make sure that the encryption modules are present on the initrd, so I add the following three modules to the initrd config:

echo aes-i586 >>/etc/initramfs-tools/modules
echo dm-crypt >>/etc/initramfs-tools/modules
echo dm-mod >>/etc/initramfs-tools/modules

Next step is to inform cryptsetup and inittab of the partition mapping between /dev/hda2 (the physical device) and /dev/mapper/root (its encryption interface).

echo "root /dev/hda2 none luks" >>/etc/crypttab
sed -i 's#/dev/hda2#/dev/mapper/root#' /etc/fstab

We also have to change the root device for grub the same way we did it for inittab:

sed -i 's#/dev/hda2#/dev/mapper/root#' /boot/grub/menu.lst

Now, recreate the initrd image by issuing

Tags: 
debian
sysadmin
encryption

Pages