Neptun	jegy 	ZH1	PZH1	ZH2	PZH2
A3YEB9	NT
A6HZ3Z	1			10
AAU1GK	NT
AECCWD	1		4	14
AG2MUU	NT
AX77YF	3	14			14
BESIA3	3	14		11	15
BF6P5Z	3	14		10	16
BFD7Q9	2	10		10	14
BNZZBQ	5	20		21
BOG5CE	5	18		19
BTALJ9	5	20		20
BWIYNQ	4	17		17
BZYJB2	5	17			18
C6S3Q6	4	16		15
CAT418	4	17		17
CN22DE	NT
CPI2OQ	1			15
CWAP4V	4	17		16
CZXZ8I	NT
D6836W	4		15	19
DBJT1E	5	19		18
DHVW7Q	4	18		14
DKV8J4	NT
DSBUP0	5	18		17
E829RN	3	15		14
EIYKX9	3	14		14
EL5Y6T	5	18		20
ERKE3G	5	20		17
EW7NVZ	5
EYJIX1	5	20			17
EZ0HCG	NT
F12XS2	4	17		17
F174YP	5	18		17
F31Z2C	5	20		16
FFNL14	5	19		21
FMGYED	2	13		10	12
FNWYPQ	5	20		17
FO0VBR	NT
FS538N	3	15		14
GCIAWA	1	8
GDMOTU	NT
GGP9K1	5	20		22
GLP7FU	NT
GO6JD8	4		14	19
GX0FLA	NT
HDTZ8P	NT
HJSSRX	5	20		19
HK9IPV	NT
I8223K	3	15		12
IATYK3	NT
IB6KYY	5	19		21
IBPPVA	4	16		16
IBR30S	NT
INPVN3	4	20		13
IR98ZO	1		9	11
IRL5K7	5	20		15
IV0J1H	NT
IWJZVB	NT
JC60MC	2	13		13
JMN76A	NT
K9P0YQ	5	20		16
KPU9C7	5	18		17
KUCM6A	1			11
LNVV6R	NT
LUFBQ8	3	15		12
LZW4F8	NT
M9BNHP	NT
M9LKQQ	NT
MLQFNB	NT
MO219W	NT
MS4QQM	5	18		17
MVG8ZQ	NT
NIZO3U	NT
PFBYBG	NT
QEKDRL	NT
QL443F	4	18		16
R9J8WX	5
RGAZOT	NT
RST9A2	3	16		14
RUV6NT	NT
SD9U9C	NT
SDG1Y5	5	20		22
SDJNGZ	NT
SL5LCR	2	11		13
SW9KCX	5
T1259J	5	20		18
TXGSZH	5	19		19
UAWKGT	NT
UHCMNT	NT
UHL9EJ	2	11		13
UUY4OZ	2	11		11	12
VC3UVQ	3	15		14
VN82LZ	5	18		18
VO1W3N	4	15		16
VRPT3V	NT
VT5GEK	5	20		16
VWKH14	NT
WG0OV5	NT
WN2FJC	4	17		16
WOK2AI	NT
XJL7ZW	2		12	13
XJNG4P	NT
XM9342	4	18			14
YFMK6G	5	19		16

Az alábbi táblázatban már a 4 extra ponttal megnövelt pontszámok szerepelnek a 2. ZH oszlopában.  Az első ZH dolgozatai 10, a másodiké 12 ponttól feleltek meg. A féléves megajánlott jegy a két ZH százalékos eredményének az átlagából számítódik, de csak akkor, ha mindkét dolgozat megfelelt. A küszöbök: 60, 70, 80%. Tehát például egy legalább 70%-os, de 80%-nál gyengébb összesített eredményre négyes a megajánlott jegy. Akinek ötös a megajánlott jegye dolgozat megírása nélkül, az sikeresen élt a felajánlott bounty lehetőséggel.

A dolgozatok közül egy darab nem megírt vagy sikertelenül teljesített javítható. Tehát ha például valaki nem írta meg az elsőt, és 50% alatt teljesítette a másodikat, annak felesleges eljönnie a pótzárthelyire.

Az eredmények és a megajánlott jegyek:

Neptun	jegy	ZH1	ZH2
A6HZ3Z	1		10
AECCWD	1		14
AX77YF	1	14
BESIA3	1	14	11
BF6P5Z	1	14	10
BFD7Q9	1	10	10
BNZZBQ	5	20	21
BOG5CE	5	18	19
BTALJ9	5	20	20
BWIYNQ	4	17	17
BZYJB2	1	17
C6S3Q6	4	16	15
CAT418	4	17	17
CPI2OQ	1		15
CWAP4V	4	17	16
D6836W	1		19
DBJT1E	5	19	18
DHVW7Q	4	18	14
DSBUP0	5	18	17
E829RN	3	15	14
EIYKX9	3	14	14
EL5Y6T	5	18	20
ERKE3G	5	20	17
EW7NVZ	5
EYJIX1	1	20
F12XS2	4	17	17
F174YP	5	18	17
F31Z2C	5	20	16
FFNL14	5	19	21
FMGYED	1	13	10
FNWYPQ	5	20	17
FS538N	3	15	14
GCIAWA	1	8
GGP9K1	5	20	22
GO6JD8	1		19
HJSSRX	5	20	19
I8223K	3	15	12
IB6KYY	5	19	21
IBPPVA	4	16	16
INPVN3	4	20	13
IR98ZO	1		11
IRL5K7	5	20	15
JC60MC	2	13	13
K9P0YQ	5	20	16
KPU9C7	5	18	17
KUCM6A	1		11
LUFBQ8	3	15	12
MS4QQM	5	18	17
QL443F	1	18
R9J8WX	5
RST9A2	3	16	14
SDG1Y5	5	20	22
SL5LCR	2	11	13
SW9KCX	5
T1259J	5	20	18
TXGSZH	5	19	19
UHL9EJ	2	11	13
UUY4OZ	1	11	11
VC3UVQ	3	15	14
VN82LZ	5	18	18
VO1W3N	4	15	16
VT5GEK	1	20
WN2FJC	4	17	16
XJL7ZW	1		13
YFMK6G	5	19	16

Introduction

Huntag can perform any kind of supervised sequential sentence tagging tasks. It has been used for NP chunking, Named Entity Recognition, and clause chunking.

The flexibility of Huntag comes from the fact that it will generate any kind of features from the input data given the appropriate python functions. Several dozens of features used regularly in NLP tasks are already implemented in the file features.py, however the user is encouraged to add any number of her own.

Once the desired features are implemented, a data set and a configuration file containing the list of feature functions to be used are all Huntag needs to perform training and tagging.

Download

The latest version of huntag can be downloaded through our public cvs server with the following command:

cvs -d :pserver:anonymous:anonymous@cvs.mokk.bme.hu:/local/cvs co huntaggers

Note that several training corpora come together with the source code, so the whole download is more than a 100 megabytes.

Installation

Huntag was written in python, so no compilation step is needed. But the Maximum Entropy toolkit must be installed with Python bindings. It can be obtained from:

http://homepages.inf.ed.ac.uk/lzhang10/maxent_toolkit.html

Usage

Tagging:

cat data | ./huntag.py --model=MODEL --features=FEATUREFILE –traincorpus=TRAINCORPUS
   [ --keptfeats=KEPTFEATS ] [ --lmweight LMWEIGHT=0.2 ] [ --daemon ]

MODEL specifies the maximum entropy emission model. It uses the standard serialization format of the maxent module, and is typically written by train.py.

FEATUREFILE is a human-edited description of the features to be used. At the most basic level, it assigns python functions to feature names. See below for more details.

TRAINCORPUS is a gold standard data file used to build the language model for tags from.

KEPTFEATS is a file that contains a list of features. This can be smaller than the ones listed in FEATUREFILE, acting as a post-filter.

LMWEIGHT is the relative importance of the tag language model when compared to the maximum entropy emission model.

–daemon is a toggle that forces a sentence-by-sentence processing mode, suitable for, say, socket communication.

Training:

cat traindata | ./featurize.py -f FEATUREFILE | ./train.py MODEL ITERATION_NUMBER GAUSSIAN_PRIOR

The MODEL specifies the model name to be written, ITERATION_NUMBER gives the number of iterations for the maxent trainer, and GAUSSIAN_PRIOR is self-explanatory. (1 is a meaningful default for it.)

Specialized versions:

huntaggers comes pre-packaged with training corpora that can be used to train Hungarian and English named entity recognizers, NP-chunkers and clause chunkers. The ./*.sh shell scripts (hunner.sh, hunchunk.sh etc.) give an idea about the pairing between feature description files, training corpora, and parameters. We do not distribute the trained emission models, because they are very large. They can be easily built using the commands above, from these files:

Hungarian NER: data/ner/szuz/szeged.train hunner/features.txt
Hungarian maximal NP-chunking: data/chunk/szeged.max hunchunk/features_krPatt.txt
English NER: data/ner/eng/eng.bie1 hunner/features.txt
English base NP-chunking: data/chunk/eng/penn.base hunchunk/features_eng.txt
Hungarian clause chunking: data/cp/szeged.cp.bie1  hunchunk/features_old.txt

Data formats

Input file

Input data must be a tab-separated file with one word per line and an empty line to mark sentence boundaries. Each line must contain the same number of fields. Such a block consists of a tab-separated line for each token of the sentence. By convention, the first (0^th, as numbered in the feature description file) column is the word form, but this is not actually mandatory.

Train corpus file

The format of the train corpus file is the same as the input file, except for an extra column that gives the gold standard output for each token. This field must contain the correct tag for the word, which may be in the BI format used at CoNLL shared tasks (e. g. B-NP to mark the first word of a noun phrase, I-NP to mark the rest and O to mark words outside an NP) or in the so-called BIE1 format which has a seperate symbol for words constituting a chunk themselves (1-NP) and one for the last words of multi-word phrases (E-NP). The first two characters of answer tags should always conform to one of these two conventions, the rest may be any string describing the category.

Feature description file

The feature file may start with a command specifying the default radius for features. This is non-mandatory. Example:

!defaultRadius 5

After this, it can give values to variables that shall be used by the featurizing methods. Example:

let krpatt minLength 2
let krpatt maxLength 99
let krpatt lang hu

The first argument specifies the name of the feature, the third a key, the fourth a numeric value. The dictionary of key-value pairs will be passed to the feature.

After this come the actual assignments of feture names to features. Examples:

token ngr ngrams 0
sentence bwsamecases isBetweenSameCases 1
lex street hunner/lex/streetname.lex 0
token lemmalowered lemmaLowered 0,2

The first keyword can have three values, token, lex and sentence. For example, in the first example line above, the feature name ngr will be assigned to the python method ngrams() that return a feature string for the given token. The third argument is a column or comma-separated list of column. It specifies which fields of the input should be passed to the feature function. Counting starts from zero.

For sentence features, the input is aggregated sentence-wise into a list, and this list is then passed to the feature function. This function should return a list consisting of one feature string for each of the tokens of the sentence.

For lex features, the second argument specifies a lexicon file rather than a python function name. The specified token field is matched against this lexicon file.

Authors

Huntag was created by Gábor Recski and Dániel Varga. It is a reimplementation and generalization of a Named Entity Recognizer built by Dániel Varga and Eszter Simon.

License

Huntag is made available under the GNU Lesser General Public License v3.0. If you received Huntag in a package that also contain the Hungarian training corpora for Named Entity Recoginition and chunking task, then please note that these corpora are derivative works based on the Szeged Treebank, and they are made available under the same restrictions that apply to the original Szeged Treebank.

Reference

If you use the tool, please cite the following paper:

Gábor Recski, Dániel Varga
A Hungarian NP-chunker
The Odd Yearbook, (2009)

If you use some specialized version for Hungarian, please also cite the following paper:

Dóra Csendes, János Csirik, Tibor Gyimóthy and András Kocsor
The Szeged Treebank
Text, Speech and Dialogue, Lecture Notes in Computer Science, Volume 3658/2005, (2005)

Halácsy Péter
villamosmérnökként végzett a Budapesti Műszaki és Gazdaságtudományi Egyetemen, jelenleg a Szociológia és Kommunikáció Tanszékén működő Média Oktató és Kutató Központ médiamérnök kutatója, tanársegéde és csak hobbi szinten, mérnöktől ritka érdeklődésből foglalkozik a hálózati kommunikáció társadalmi aspektusaival. Kutatási területe a nyelvészet és a számítástudomány határán lévő természetes nyelvfeldolgozás és az információ visszakeresés.

Vályi Gábor
A BME Szociológia és Kommunikáció Tanszékén működő Média Oktató és Kutató Központban média- és kultúrakutató tanársegéd, éjszakai klubokban dj, többek között az Élet és Irodalom zenekritikusaként újságíró, a Tilos Rádióban kurátor és a Barázdán is csomót című eklektikus zenei műsor egyik házigazdája, esetenként önjelölt kurátor, lemezboltokban a múlt hordaléka felett merengő botcsinálta kultúrtörténész, nagynéha hangminta-alapú zenét barkácsoló, hangszer nélküli zenész-imposztor, a Hunnia Filmstúdió Stúdiótanácsának tagja, otthon lemezgyűjtő és papagáj-idomár.

Barry Wellman
szociológia professzor, a társadalmi kapcsolatháló-elemzés nagymestere, S.D. Clark szociológia professzor, a University of Toronto Városi és Közösségi Tanulmányok Központ Netlab-jének vezetője.

Bodó Ba­lázs
Köz­gaz­dász, mé­dia­ku­ta­tó, a BME ad­junk­tu­sa. 2001 óta a tanít a Bu­da­pes­ti Mű­sza­ki és Gaz­da­ság­tu­do­má­nyi Egye­tem Szo­cio­ló­gia és Kom­mu­ni­ká­ció tan­szé­kén in­ter­net­mé­di­á­val, sza­bá­lyo­zás­po­li­ti­ká­val kap­cso­la­tos tár­gya­kat. Kez­de­tek­től fogva tagja a mai [origo]-t ter­ve­ző majd meg­va­ló­sí­tó MATÁV Tar­ta­lom Pro­jekt­nek, ké­sőbb a Vizs­la ke­re­ső, a Tra­vel­port, a Pepsi Szi­get ’99 on­line szol­gál­ta­tá­sok szol­gál­ta­tás­me­ne­dzse­re. Szá­mos in­ter­ne­tes ku­ta­tás-fej­lesz­té­si pro­jekt tagja vagy ve­ze­tő­je di­gi­tá­lis ar­chí­vum, e-lear­ning, on­line kö­zös­sé­gek té­ma­kö­rök­ben. A Tilos Rádió mű­sor­ve­ze­tő­je, ku­rá­to­ra. A Stan­ford Egye­tem Cen­ter for In­ter­net and So­ci­ety Fel­low-ja, a ma­gyar Szer­zői Jogi Szak­ér­tő Tes­tü­let tagja. Ku­ta­tá­si te­rü­le­te az in­ter­net kul­tu­rá­lis ipar­ágak­ra gya­ko­rolt ha­tá­sa, ezen belül az in­for­má­lis ke­re­tek kö­zött mű­kö­dő mé­dia-gaz­da­sá­gok ön­sza­bá­lyo­zó me­cha­niz­mu­sai. A ku­ta­tá­sát do­ku­men­tá­ló blog a www.​warsystems.​hu címen ol­vas­ha­tó

Sza­ka­dát Ist­ván a BME Szo­cio­ló­gia és Kom­mu­ni­ká­ció Tan­szék MOKK egye­te­mi do­cen­se. Szá­mos in­for­ma­ti­kai és kom­mu­ni­ká­ci­ós pro­jekt ve­zér­alak­ja.
A könyv szer­ző­jé­nek pol­gá­ri neve Sza­ka­dát Ist­ván, de a könyv­ben ez csak a Co­py­right be­jegy­zés­nél tűnik fel. Ahová a köny­vek­ben a szer­zők nevét írják, ott más sze­re­pel: a há­ló­za­ti kom­mu­ni­ká­ci­ó­ban egy év­ti­ze­de a szer­ző­re ra­gadt ‚syi‘ fel­hasz­ná­lói név. A szer­ző úgy gon­dol­ta, ha már a há­ló­za­ti kom­mu­ni­ká­ció je­len­sé­gé­ről ír, akkor, ami­ben csak lehet, iga­zo­dik hozzá, ezért for­mát bon­tott. Régen a pol­gá­ri ne­vün­ket, mos­ta­ná­ban a fel­hasz­ná­lói ne­ve­in­ket hasz­nál­juk. Ezért lett a könyv szer­ző­je: syi. Per­sze, ha már for­ma­bon­tás, akkor le­gyen kövér. A könyv­bo­rí­tón sincs a be­vett bo­rí­tó­hi­e­rar­chia: szer­ző, cím, kiadó, év stb. Csak egy cím­ke­fel­hő lát­ha­tó, amely a könyv tar­tal­má­nak leg­fon­to­sabb kulcs­sza­va­i­ból áll. Aztán belül már vissza­áll a rend. Mert a szer­ző tu­do­mányt sze­re­tett volna mű­vel­ni azzal, hogy le­ír­ja, mit gon­dol a há­ló­za­ti kom­mu­ni­ká­ció talán még új, de min­den­kép­pen na­gyon iz­gal­mas je­len­ség­együt­te­sé­ről. Ahogy a mér­nök szok­ta: tö­re­ked­ve a pon­tos fo­ga­lom­hasz­ná­lat­ra, a kon­zisz­tens gon­do­lat­ve­ze­tés­re. Meg ahogy a tár­sa­da­lom­tu­dós szok­ta, ami­kor tár­sa­dal­mi je­len­sé­ge­ket a maguk bo­nyo­lult­sá­gá­ban pró­bál­ja meg­ra­gad­ni.

Ez a könyv azoknak szól, akik szeretnék megismerni és elemezni az ember és a számítógép közötti kommunikációs folyamatot, túllépni a hétköznapi kattintások unalmas világán, megismerni a gépekkel való interakció történetét és bepillantást nyerni annak lehetséges fejlődési irányaiba.

Tófalvy Tamás kultúrakutató, kommunikációs szakújságíró, szerkesztő. A BME GTK Kommunikáció és Médiatudomány mesterképzésének vendégoktatója, az egyetem Filozófia és Tudománytörténet Tanszékének PhD-hallgatója, az IASPM magyar tagozatának elnöke.

Kacsuk Zoltán kultúrakutató. A BCE TK Szociológia és Társadalompolitika Intézet Szociológia Doktori Iskolájának PhD-hallgatója, a BME GTK Szociológia és Kommunikáció Tanszék Média Oktatási és Kutató Központjának tanársegédje.

Vályi Gábor kultúrakutató, DJ. A BME GTK Szociológia és Kommunikáció Tanszék Média Oktatási és Kutató Központjának adjunktusa, doktori fokozatát a londoni Goldsmiths College (University of London) szociológia PhD-programján szerezte.

Csigó Péter budapesti Műszaki Egyetem Szociológia Tanszékén működő média oktató- és kutatóközpont munkatársa, egyetemi oktató. Kutatási területei:a népszerű média és új média hatásai, médiabefogadás-vizsgálatok, a politika mint látványosság és színház, a politikai identitások termel(őd)ése.