linguistics

Первая работа — как первая любовь

Собрано из двух постингов на dev.by.

Когда дискеты ещё только выходили из моды, а запороть компакт-диск считалось западлом, когда Invention-Machine Belarus ещё назывался Научсофтом, меня, совсем ещё желторотого несмышлёныша, уволили оттуда, прознав, что я получил предложение работы от тогдашнего лидера индустрии.

Увольнение было обставлено в лучших традициях большого и жестокого бизнеса. У входа в здание меня встретили и проводили к тогдашнему директору, который, тряся поджилками, полдня уговаривал меня подписать задним числом NDA, угрожая сделать невыездным и наслать порчу если я вдруг стану рыпаться. Верные коллеги тем же вечером размонтировали мой опечатанный комп и записали всё, что было личного, на компакт-диск. Как сейчас помню, хватилo места даже для инсталляции Quake 2 вместе со всеми сэйвами. Через месяц-другой любимый начальник предложил мне подработать по специальности на нелегальном положении, на что я с радостью согласился, и ещё шесть месяцев, пока оформлялись документы на отъезд, колбасил сявки на дому. C тех пор прошло много лет. Обида забылась. Из верных коллег на старом месте осталось только двое. Году в 2001, встретив директора Invention-Machine в зале ожидания аэропорта, я даже удосужился пожать ему руку и обсудить туманные перспективы моего тогдашнего работодателя.

Все эти годы я внимательно следил за Invention-Machine, ведь как-никак, а эта фирма дала мне путёвку в жизнь, там я встретил замечательных людей, с которыми дружу до сих пор. Но меня всегда поражало, насколько эти замечательные люди, профессионалы своего дела, незаметны даже в своей профессиональной среде.

An executive summary on the state of art in Coreference Resolution

It is done using machine learning lately and has been oriented for a few years towards two competions: MUC and ACE. The quality of the Coreference Resolution is still fairly poor in the general case, although some special cases, e.g. pronoun resolution have been resolved with good results. There's a number of tools available for Coreference Resolution, including an implementation inside OpenNLP

Executive summary on the state of the art in Semantic Role Labelling

This is a follow-up to the T3: Semantic Role Labeling: Past, Present and Future tutorial by Lluís Màrquez.

A lenient evaluation of the state-of-the-art F1 in Semantic Role Labelling is around 80%, but the quality degrades by ~10% when switching to a test set from a new knowledge domain.

The most promising approach is the construction of a joint system of syntactic and semantic labeling parsers that operate in parallel on the same stream of input tokens.

The field is plagues by the complexity and low performance of the tools.

How to fix the scientific evaluation process in conferences

Nowadays, conferences are being run using a century-old approach that puts a lot of trust into the reviewers and the program committee.

However, examples of successful social networks like Slashdot, Digg and Reddit show that it is possible to implement an system that trusts none but works well enough to push up the most insightful texts.

The modification of the evaluation processes shall evolve over at least three stages.

First, an existing system shall introduce the ability to review the reviewers, that is, vote for the quality of reviews and thus -- for the quality of the work done by a particular reviewer. This will allow to rebuild trust in the reviewers in a transparent way.

Once the reviewers are less of a problem, the major attack should be done on the selection itself. The only reason that only a handful of submissions are published among the others is the limited amount of space in the printed journal. It is time to allow everyone to publish their papers on the conference website, ranked by the reviews, so that the selection is gradual, instead of binary. Until paper publications naturally die out, a cutoff ratio or number can be kept.

The last and the most difficult stage is to abandon the reviews by dedicated reviewers all together and move onto the review by peers where everyone who publishes can review peers in the same conferences openly. A fair share of meta-reviewing is expected for this system to keep up against abuse.

Is the Open Domain Question Answering really "open"?

Although the popular description of the Open-Domain QA centers on the fact that the questions are not limited by a specific domain, this is not totally correct unless the term domain is used in the philosophical sense of a sphere of knowledge, influence, or activity, which is listed as 'sense #4' in the Merriam-Webster's dictionnary.

However, the term domain may also have a mathematically sounding meaning of a ...set of elements to which a mathematical or logical variable is limited; specifically : the set on which a function is defined. See 'sense #5' of the same dictionary. In this case, it can be said to be equivalent to the CS term data.

As evaluation conferences like TREC teach us, there is always a fixed amount of input data for a QA system. Which means that every QA system participating in TREC is to be called a closed-domain system if the term domain is used in its 5th sense.