t1
  Token name   freq(w)  
 token1  1.36 
 token2  0.04 
 token3  0.84 
 token4  0.8 
 token5  0.5 
 token6  0.35 
 token7  0.65 
 token8  0.48 
 token9  0.88 
 token10  0.91 
 token11  2.7 
 token12  0.69 
 token13  2.7 
 token14  0.16 
 token15  1.12 
 token16  0.08 
 token17  0.09 
 token18  0.27 
 token19  0.4 
 token20  1.26 
 token21  0.91 
 token22  0.54 
 token23  0.44 
 token24  1.05 
 token25  0.35 
 token26  0.15 
  t2
  Token name   freq(w)  
 token1  1.75 
 token2  0.7 
 token3  2 
 token4  0.1 
 token5  2.32 
 token6  0.34 
 token7  1 
 token8  0.5 
 token9  1.3 
 token10  0.95 
 token11  0.48 
 token12  1.17 
 token13  0.69 
 token14  0.16 
 token15  0.24 
 token16  0.27 
 token17  0.24 
 token18  0.14 
 token19  0.2 
 token20  1.08 
 token21  2.4 
 token22  0.44 
 token23  2.52 
 token24  2.6 
 token25  1 
 token26  1.25 
  t1
  Token name   freq(w)     Bb  DCG  
 token1  1.36 0.69231  19.73384 
 token2  0.04 6.00002  72.99134 
 token3  0.84 2.3077  44.87154 
 token4  0.8 2.53847  47.40127 
 token5  0.5 3.46155  56.09617 
 token6  0.35 4.38463  63.15003 
 token7  0.65 3.00001  52.00009 
 token8  0.48 3.69232  57.98784 
 token9  0.88 2.07693  42.15878 
 token10  0.91 1.61539  36.06268 
 token11  2.7 0.23077  7.78859 
 token12  0.69 2.76924  49.77112 
 token13  2.7 0.46154  14.23472 
 token14  0.16 5.07694  67.68697 
 token15  1.12 1.15385  28.77986 
 token16  0.08 5.76925  71.7339 
 token17  0.09 5.53848  70.43284 
 token18  0.27 4.84617  66.23479 
 token19  0.4 4.15386  61.50699 
 token20  1.26 0.92308  24.52889 
 token21  0.91 1.84616  39.23444 
 token22  0.54 3.23078  54.10402 
 token23  0.44 3.92309  59.78867 
 token24  1.05 1.38462  32.59774 
 token25  0.35 4.6154  64.72411 
 token26  0.15 5.30771  69.08502 
  t2
  Token name   freq(w)     b   DCG  
 token1  1.75 1.38462  32.59774 
 token2  0.7 3.23078  54.10402 
 token3  2 1.15385  28.77986 
 token4  0.1 6.00002  72.99134 
 token5  2.32 0.92308  24.52889 
 token6  0.34 4.38463  63.15003 
 token7  1 2.53847  47.40127 
 token8  0.5 3.69232  57.98784 
 token9  1.3 1.61539  36.06268 
 token10  0.95 3.00001  52.00009 
 token11  0.48 3.92309  59.78867 
 token12  1.17 2.07693  42.15878 
 token13  0.69 3.46155  56.09617 
 token14  0.16 5.53848  70.43284 
 token15  0.24 5.07694  67.68697 
 token16  0.27 4.6154  64.72411 
 token17  0.24 4.84617  66.23479 
 token18  0.14 5.76925  71.7339 
 token19  0.2 5.30771  69.08502 
 token20  1.08 2.3077  44.87154 
 token21  2.4 0.69231  19.73384 
 token22  0.44 4.15386  61.50699 
 token23  2.52 0.46154  14.23472 
 token24  2.6 0.23077  7.78859 
 token25  1 2.76924  49.77112 
 token26  1.25 1.84616  39.23444 

Itt történik a vágás prog

  t1
  Token name  
 token21 
  t2
  Token name  
 token26 

Nem azonos a két keresett kifejezés

CTE Demo CDMA Demo