Textdatei nach den häufigsten Worten durchsuchen

Nei nei da bauste Dir einfach nen aussoziatives Array aus den 
vorkommenden Worten auf und machst nen Inkrement, sowas is in 10 Minuten 
hinprogrammiert... danach sortierst das Array nach den Werten und gibst 
es aus, damit haste Deine Topliste.

Mit C++


Als erster Ansatz

1

#include <iostream>

2

#include <map>

3

#include <string>

4

5

int main()

6

{

7

  std::map< std::string, long > Distri;

8

  std::string word;

9

10

  while( std::cin >> word )

11

    Distri[word]++;

12

13

  for( std::map< std::string, long >::iterator it = Distri.begin();

14

       it != Distri.end();

15

       it++ )

16

    std::cout << it->first << " " << it->second << std::endl;

17

18

  return EXIT_SUCCESS;

19

}

Wenn man diesem Programm seinen eigenen Quelltext vorwirft,
kommt sowas raus:

1

C:\Heinz\Entwicklung\Forum12\Debug>forum12 < ..\forum12.cpp

2

!= 1

3

" 2

4

#include 3

5

<< 4

6

<iostream> 1

7

<map> 1

8

<string> 1

9

= 1

10

> 1

11

>::iterator 1

12

>> 1

13

Distri.begin(); 1

14

Distri.end(); 1

15

Distri; 1

16

Distri[word]++; 1

17

EXIT_SUCCESS; 1

18

for( 1

19

int 1

20

it 2

21

it++ 1

22

it->first 1

23

it->second 1

24

long 2

25

main() 1

26

return 1

27

std::cin 1

28

std::cout 1

29

std::endl; 1

30

std::map< 2

31

std::string 1

32

std::string, 2

33

warning 1

34

while( 1

35

word 1

36

word; 1

37

{ 1

38

} 1

39

40

C:\Heinz\Entwicklung\Forum12\Debug>

Wie man sieht, müsste man an der 'Worterkennung' im Zusammenhang
mit Satzzeichen noch etwas arbeiten. Das Standardmässige 'ein
Wort läuft von einem Whitespace zum nächsten' ist vor echten
Prosatext nicht wirklich geeignet.

// So gehts mit JavaScript:

var path = 'c:/datei.txt';

var Shell = new ActiveXObject("WScript.Shell");

var fso = new ActiveXObject("Scripting.FileSystemObject");


function RankCmp(w1, w2) {
   return w2 - w1;
}

var wordList = [];

var hF = fso.OpenTextFile(path);
while (!hF.AtEndOfStream) {
   var l = hF.ReadLine();
   var words = l.match(/[^ ]+/);
   for (var i in words) {
      if (typeof(wordList) == 'undefined') {
         wordList[words[i]] = 1;
      } else {
         wordList[words[i]]++;
      }
   }
}

wordRank = wordList.sort(RankCmp);

// wordRank enthält jetzt die Liste der Worte abfallend sortiert nach 
Häufigkeit.

Hier ist noch eine Loesung in Perl:

#-------------------------------------------
#!/usr/bin/perl

use warnings;
use strict;

my %words;
while (<>) {
  foreach my $word (split /\s+/, $_) {
    if (defined $words{$word}) {
      $words{$word}++;
    } else {
      $words{$word} = 1;
    }
  }
}

foreach my $key (sort keys %words) {
  print $key.": ".$words{$key}."\n";
}

#---------------------------------------------

michael@quark:/stuff/test/perl> ./count-words.pl < count-words.pl
: 8
".$words{$key}."\n";: 1
#!/usr/bin/perl: 1
$_): 1
$key: 1
$key.":: 1
$word: 1
$words{$word}: 1
$words{$word}): 1
$words{$word}++;: 1
%words): 1
%words;: 1
(<>): 1
(defined: 1
(sort: 1
(split: 1
/\s+/,: 1
1;: 1
=: 1
else: 1
foreach: 2
if: 1
keys: 1
my: 3
print: 1
strict;: 1
use: 2
warnings;: 1
while: 1
{: 5
}: 5


Selbige Verbesserung mit Satzzeichen usw... aber vom Prinzip her gleich.

Ausser der C++-Variante wird nix compiliert ;) Perl und Co sind alles 
Sprachen, die unter Windows, Mac, Linux und einigen mehr Plattformen 
verfuegbar sind.

Michael G. wrote:
> Ausser der C++-Variante wird nix compiliert ;) Perl und Co sind alles
> Sprachen, die unter Windows, Mac, Linux und einigen mehr Plattformen
> verfuegbar sind.

JavaScript ist bei Windows sogar standardmäßig dabei...

Hier nochmal eine leicht überarbeitete Version:

// So gehts mit JavaScript:

var path = 'c:/datei.txt';

var Shell = new ActiveXObject("WScript.Shell");

var fso = new ActiveXObject("Scripting.FileSystemObject");

var wordList = [];

var hF = fso.OpenTextFile(path);
while (!hF.AtEndOfStream) {
   var l = hF.ReadLine();
   l = l.replace(/[.,;:!?]/g, '');   // Satzzeichen wegschmeißen
   var words = l.match(/[^ ]+/i);    // ignore case
   for (var i = 1; i < words.length; i++) {
      if (typeof(wordList) == 'undefined') {
         wordList[words[i]] = 1;
      } else {
         wordList[words[i]]++;
      }
   }
}

wordRank = wordList.sort();
for (i in wordRank) { // Wortliste mit Häufigkeit ausgeben
   WScript.StdOut.WriteLine(i + ' : ' + wordRank[i]);
}

Max wrote:
> Jetzt muss ich mal ganz blöd fragen (;  wie starte ich den das
> JavaScript ?

Nimm die angehängte Datei - mittlerweile nochmal korrigiert und getestet 
:-) -, ändere den Dateinamen (path = ...). [Achtung: wenn du \ im Pfad 
hast, dann muß der entweder verdoppelt - wie in C - oder durch / ersetzt 
werden.]

Dann: öffne eine Dos-Box und zieh einfach das Skript hinein.
Dann return und es läuft.

Diese Version sortiert die Liste ordentlich - für Assoziativ-Arrays 
funktioniert sort nicht...

Zeile 14 muß lauten:

    for (var i = 0; words && i < words.length; i++) {

sonst wird das erste Wort in einer Zeile nicht gezählt.

Wenn man Visual Studio, oder Microsoft Script Editor (aus Frontpage 
2003) hat, kann man js-Programme sehr komfortabel debuggen:

- Man erzeugt einen Shortcut auf die Datei, dann
- ändert man die Aufrufzeile im Shortcut auf:

      cscript //x test.js

- dann startet man den Shortcut.

Eine einigermaßen brauchbare Dokumentation findet man hier: 
http://msdn2.microsoft.com/en-us/library/72bd815a.aspx