Trading strategi datautvinning

Data Mining Vad är Data Mining Data mining är en process som används av företag för att göra rå data till användbar information. Genom att använda programvara för att leta efter mönster i stora datamängder kan företag lära sig mer om sina kunder och utveckla mer effektiva marknadsstrategier samt öka försäljningen och minska kostnaderna. Data mining beror på effektiv datainsamling och lagring samt datorbehandling. BREAKNING AV Data Mining Livsmedelsbutiker är välkända användare av data miningsteknik. Många stormarknader erbjuder gratis lojalitetskort till kunder som ger dem tillgång till reducerade priser som inte är tillgängliga för icke-medlemmar. Korten gör det enkelt för butiker att spåra vem som köper vad, när de köper det och till vilket pris. Butikerna kan sedan använda dessa data efter att ha analyserat det för flera ändamål, till exempel att erbjuda kunderna kuponger riktade mot sina köpvanor och besluta när de ska sätta föremål på försäljning eller när de ska sälja dem till full pris. Data mining kan vara oroande när endast vald information, som inte är representativ för den totala provgruppen, används för att bevisa en viss hypotes. Datalagring När företag centraliserar sina data i en databas eller ett program kallas datalagring. Med ett datalager kan en organisation spinna av segment av data för specifika användare att analysera och utnyttja. I andra fall kan analytiker börja med vilken typ av data de vill ha och skapa ett datalager baserat på dessa specifikationer. Oavsett hur företag och andra enheter organiserar sina data använder de det för att stödja ledningens beslutsprocesser. Data Mining Software Data mining program analyserar relationer och mönster i data baserat på vad användarna begär. Till exempel kan data mining programvara användas för att skapa klasser av information. För att illustrera, tänk dig att en restaurang vill använda data mining för att avgöra när de ska erbjuda vissa specialerbjudanden. Det ser på informationen som den har samlat in och skapar klasser baserat på när kunder besöker och vad de beställer. I andra fall hittar datautvecklare informationskluster baserat på logiska relationer, eller de tittar på föreningar och sekventiella mönster för att dra slutsatser om trender i konsumentbeteende. Data Mining Process Data mining processen bryter ner i fem steg. För det första samlar organisationer data och laddar in dem i sina datalager. Därefter lagrar och hanterar de data, antingen på inbyggda servrar eller i molnet. Affärsanalytiker, ledningsgrupper och IT-personal får tillgång till data och bestämmer hur de vill organisera det. Därefter sorterar applikationsprogrammet data baserat på användarnas resultat, och slutligen presenterar slutanvändaren data i ett lätt att dela format, till exempel ett diagram eller en tabell. MetaTrader Expert Advisor På grund av de olika egenskaperna hos olika valutapar , många kvantitativa Forex strategier är utformade med ett specifikt valutapar i åtanke. Även om detta kan producera många lönsamma handelsstrategier, finns det också fördelar med att utveckla strategier som kan handlas över flera valutapar. Detta introducerar ett element av diversifiering som kan ge en ytterligare nivå av nackskydd. Daniel Fernandez publicerade nyligen ett system som han utformade för att handla på var och en av de fyra Forex-majorsna. Hans mål var att hitta ett system som skulle ha gjort en 20-årig rekord över lönsam handel på EURUSD, GBPUSD, USDJPY och USDCHF. Daniel använder en metodbrytning för att utveckla en strategi för handel med de fyra Forex-majorsna. För att konstruera sitt system använde Daniel sin data mining programvara för att definiera inresa och utgående signaler som skulle ha skapat en lönsam handelsstrategi på var och en av de fyra valutapar under de senaste 20 åren. Vad han kommer med är en kombination av tre prisbaserade regler som ligger till grund för sin Forex Majors strategi. Daniel8217s Forex Majors Strategi Daniel8217s Forex Majors strategi är väldigt enkelt genom att den alltid har en position, antingen lång eller kort, i var och en av de fyra valutapar som den handlar om. Det baserar alla sina affärer på dagliga diagram. Strategin går lång när följande tre villkor är uppfyllda: Strategin går kort när följande tre villkor är uppfyllda: Som du kan se är strategin i princip en optimerad trendstrategi. Det här är vettigt, för Daniel säger i början av sin artikel att den långsiktiga trenden efter strategier i allmänhet är de bästa strategierna för handel med flera marknader. En ytterligare regel som Daniel8217s strategi använder sig av är en ATR-baserad stop-loss. Den fasta stoppförlusten är inställd på 180 av 20-dagars ATR. Om stoppförlusten utlöses, förblir strategin borta från marknaden tills en signal genereras i motsatt riktning. Testning indikerar att återinmatning på en signal i samma riktning påverkar resultatet negativt. Backtesting Performance De backtestingresultat som Daniel inkluderade i hans inlägg visar att strategin var ganska lönsam. Det gav ett vinstförhållande på 45, en vinstfaktor på 1,38 och ett belöning till riskförhållande på 1,68. Daniel8217s största oro över strategin var att den maximala dröjsmålsperioden representerade en mycket lång tid. Enligt Daniel8217s siffror var den genomsnittliga årliga avkastningen 9,67. Detta bestod av 16 lönsamma år, 4 förlorande år och ett år som i grunden bröt ens. Det bästa året var en avkastning på 37,76, och det värsta året var en förlust på 20,2. Daniel noterar att detta system inte skulle utgöra en bra fristående strategi på grund av dess avkastning i förhållande till maximala drawdowns. Men han föreslår att det kan vara en intressant del av en större strategi för flera system. Data Mining Den snabba utvecklingen av datateknik under de senaste decennierna har gett investerare (och amatörer) möjlighet att få tillgång till och analysera enorma mängder av finansiella data. Dessutom kan världsomspännande web-, e-post - och anslagstavlor göra det möjligt för människor över hela världen att få tillgång till denna information snabbt, samt att ge personer möjlighet att uttrycka sina åsikter och interagera. Som ett resultat har några av de mer spännande ämnena i debatten de senaste åren vridit kring praktiken och följderna av data mining. Data mining innebär att söka igenom databaser för korrelationer och mönster som skiljer sig från resultat som skulle förväntas inträffa av en slump eller i slumpmässiga förhållanden. Utövandet av datautvinning i sig är varken bra eller dåligt och användningen av data mining har blivit vanligt i många branscher. Till exempel, i ett försök att förbättra livslängden kan forskare använda data mining för att analysera orsaker och korrelationer med dödsräntorna. Data Mining används också av annonsörer och marknadsföringsföretag för att rikta konsumenterna. Men kanske den mest ökända gruppen av datavinnare är aktiemarknadsforskare som försöker förutse framtida aktiekursrörelse. De flesta om inte alla aktiemarknadsanomalier har upptäckts (eller åtminstone dokumenterats) via datautvinning av tidigare priser och relaterade (eller ibland icke-relaterade) variabler. När marknadsstrategier upptäcks via data mining finns det ett antal potentiella problem att göra hoppet från en testad strategi för att framgångsrikt kunna investera i framtida verkliga förhållanden. Det första problemet är att bestämma sannolikheten för att förhållandena inträffade slumpmässigt eller om anomalien kan vara unik för det specifika provet som testades. Statistiker är stolta över att påpeka att om du torterar data tillräckligt länge, kommer den att bekänna sig till någonting. I det som blir ett ökänt exempel, letade David Leinweber efter slumpmässiga korrelationer med SP 500. Peter Coy beskrev Leinwebers fynd i en Business Week-artikel med titeln He who mines data kan slå dårar guld (61697). Artikeln diskuterade data mining, Michael Drosnins boka Bibeln. och det faktum att mönster kommer att inträffa i data med ren chans, särskilt om du anser många faktorer. Många fall av data mining är immun mot statistisk verifiering eller återbekräftelse. I beskrivningen av fallgruvorna för data mining siktades Leinweber genom en CD-ROM från Förenta nationerna och upptäckte att historiskt sett var den enklaste predikanten för Standard Amp Poors 500-aktieindex smörproduktionen i Bangladesh. Läran att lära sig enligt Coy är en formel som händer för att passa data från det förflutna inte nödvändigtvis ha något förutsägbart värde. Tillbaka test har alltid varit en misstänkt klass av information. När du tittar bakåt, kommer du bara att visa vad som är bra. Barry Miller (SEC) på vad börsmarknaden fick göra med tillverkningen av smör i Bangladesh från pengar (mars 1998) Anomalier som upptäcks genom data mining anses vara betydelsefulla, eftersom tidsperioden ökar och om anomali kan bekräftas ut ur provprov under olika tidsperioder och jämförbara marknader (t. ex. på utländska börser). Om en anomali upptäcks i backtest, är det också viktigt att avgöra hur kostnaderna (transaktionskostnader, budgivningsfördelningen, fördjupade kostnader för institutionella handlare) skulle minska avkastningen. Vissa anomalier är helt enkelt inte realiserbara. Se avvikelsen på värdelinjen och genomförandebortfallet för mer om detta ämne. Dessutom kan strategier som tidigare har fungerat helt enkelt sluta fungera eftersom fler investerare börjar investera enligt strategin. Se den effektiva marknadshypotesen för mer om detta ämne. Motley Fool har blivit prisad av många för att erbjuda pedagogisk rådgivning till enskilda investerare (till exempel, Motley Fool erbjuder bra rekommendationer för att ge investerare råd att köpa och hålla aktier, vara försiktig med aktiemäklare och analytiker intressekonflikter och vara försiktig av orealistiska prestationskrav). Men Motley Fools Dumbish Four Stock-strategin och dess underliggande rationella har dragit kritik. 1997 adulerade BYU-professorer Grant McQueen och Steven Thorley ett papper i Financial Analyst Journal (FAJ) som ifrågasatte de oerhört populära hundarna i Dow Strategy (Abstract). Efter att ha samlat in data för att analysera Dow Dogs följde professorerna upp genom att göra en fallstudie i datautvinning ur Motley Fools Foolish Four. McQueen och Thorley analyserade de dumma fyra som beskrivs i The Motley Fool Investment Guide (MFIG), men dårarna har faktiskt flera variationer av de dumma fyra (Se även de dumma fyra förklarade och dumma fyra historien). Den forskningen resulterade i en annan artikel som publicerades i mars-april 1999-utgåvan av Financial Analysts Journal med titeln Mining Fools Gold. I andan av dårskapens underhållande och kreativa skrivstil har professorerna lagt upp en ljuvlig version av papperet (i Wordperfect) på BYU-servern. Data som används i studien kan laddas ner här. McQueen och Thorley innehåller en fullständig förklaring av de potentiella fallgroparna vid data mining och de genomfördes ur provtest på de dumma fyra. Professorerna förklarar att datautvinning kan upptäckas av handelsreglens komplexitet, bristen på en sammanhängande historia eller teori, utförandet av urvalstesttest och justering av avkastning för risk, transaktionskostnader och skatter. Dessutom hävdar de att de dåliga Four and Dow Ten-handelsreglerna har blivit populära nog för att påverka aktiepriserna vid årsskiftet. Motley Fool har skrivit ett spännande svar på FAJ-pappret i sina Foolish Four-portföljrapporter som är tillgängliga i deras 1999-arkiv. Se rapporter daterat 510. 511. 512. 513. 514. 517. 518. 519. 520. och 521. Innefattat i dessa svar finns flera motargument till FAJ-pappret och även erkännanden av giltiga problem som diskuteras i papperet. Medan många av frågorna är diskutabla, var det verkliga syraprovet och det kritiska resultatet av FAJ-pappret ett ur provtest för de dåre fyra återvänder från 1949 till 1972. För den tiden slog de dumma fyra knappt Dow 30 med ett genomsnitt av 0,32 per år med väsentligt större risk. Inte bara gjorde strategin underpresterande Dow Dogs för perioden, men efter transaktionerna kostar och redovisar risken skulle det tydligt ha försvagat DJIA för perioden. Denna kritiska fråga diskuterades kort i rapporten daterad 514. För att få denna fråga i perspektiv, anser en investerare i början av 1973 att titta tillbaka på DJIA-prestanda under de senaste 24 åren. Det är svårt att rationalisera hur en investerare kunde ha vetat vid den tiden att de dumma fyra skulle producera marknadsslagande avkastning framåt. I ett annat ur provtest använde McQueen och Thorley basen 1973-1996-perioden diskuterad i MFIG, men använde juli för ombalansering i stället för januari. Under dessa förhållanden återfår de dumma fienderna DJIA med endast 2,95 per år i genomsnitt, väsentligt lägre än 12.23-fördelen jämfört med DJIA med januariombalansering. För att försvara de dårar var åtminstone flera upplysningar gjorda i MFIG och på webbplatsen. I den Foolish Four-rapporten daterad 8798 avslöjar de att avkastningen var lägre när ombalanseringen inträffade under andra månader än januari. Dessutom används i MFIG en 25,5-returfigur från en tjugoårsperiod många gånger, men de nämner åtminstone att de undersökte numren tillbaka till 1961 och för den längre tidsperioden sjönk avkastningen till 18.35. Å andra sidan, när det avslöjas att en längre tidsperiod studerades, kan man fortsätta citera de starkare kortare termnumren och basera argument på dessa data säkert kan ses som misstänkt. Att avslöja och fokusera på resultat på längre sikt tenderar att öka trovärdigheten hos ett data miners argument. Jason Zweig uttryckte sin åsikt om de dumma fyra och delar sina egna data minskade mycket dumma och extra dumma portföljer i falska vinster från tidningen Money (augusti 1999). På Morningstar-webbplatsen kan du också läsa John Rekenthalers åsikt i Just foolin och Investment Advisor William Bernstein s åsikter i en artikel med titeln Mined: All Mined (se även James OShaughnessys svar och den efterföljande debatten). I december 2000 tillkännagav The Motley Fool att de inte längre förespråkar den dumma fyra aktiestrategin, som de hade skapat. Se Re-thinking de Dumma Fyra för grunden bakom dårarna rekommenderar inte längre en strategi som de hade pratat i åratal via deras hemsida och böcker. Fortsätter vidare till en annan data mining debatt, William Brock. Josef Lakonishok. och Blake LeBaron (BLL) publicerade en artikel med titeln Simple Technical Trading Rules och Stochastic Properties of Stock Returns, i december 1992-utgåvan av Journal of Finance. Studien är en av de få akademiska dokumenten för att dokumentera en framgångsrik handelsstrategi baserad på teknisk analys (se Tekniska avvikelser för en fullständig diskussion av artikeln). Professorerna visade att både glidande medelvärden och stöd och motståndsverktyg hade förutsägbart värde i förhållande till Dow Jones Industrial Average för perioden 1897-1986. Data-Snooping, Technical Trading Rule Performance och Bootstrap är en artikel som återspeglar BLL-pappret och kommer att visas i Oktober 1999 Edition of Journal of Finance. I artikeln försöker Ryan Sullivan, Allan Timmermann och Halbert White (STW) att bestämma effekten av Data-Snooping på BLL-resultaten. De använder också data som samlats in från perioden efter den ursprungliga undersökningen (BLL-data sprang genom 1986) för att ge ett ur provprov. Lägga till de senaste åren gav 100 års data. STW beräknade en jämn jämn transaktionskostnadsnivå på 0,27 procent per handel för den mest framgångsrika handelsregeln för hela perioden. Eftersom de ursprungliga BLL-uppgifterna omfattade en extremt lång period på nästan 90 år, kan man förvänta sig att strategierna ska fungera bra utifrån provprov. Men studys slutsatser kan slutligen användas som ett annat potentiellt exempel på den effektiva marknadshypotesen. STW fann att resultaten av BLL verkar vara robusta för datasnutning. Vi finner emellertid också att den överlägsna prestationen av den bästa handelsregeln inte upprepas i experimentet utanför provet för perioden 1987-1996 och det finns knappt bevis för att tekniska handelsregler var av ekonomiskt värde under perioden 1987- 1996. Detta kan erbjuda ett annat tillvägagångssätt för aktiemarknadsdata minare och aktiva investerare. Även om en anomali har fungerat tidigare under mycket långa perioder, och även om resultaten inte verkar lida av fallgroparna i datasnutning, så snart anomali upptäckts kan det sluta att arbeta framåt. Rimliga människor kan ha en rimlig meningsskiljaktighet utan att det blir en fråga om etik eller tro. Leigh Steinberg i Winning With Integrity Alarming Efficiency (RR) från Dow Jones Asset Management (5-699) är en intressant artikel som diskuterar data mining och problemet med överfitting. Ingår är kommentarer från investeringsindustrins veteraner David Shaw. Ted Aronson. och Robert Arnott. Artikeln hävdar att, med tanke på en begränsad mängd historiska data och ett oändligt antal komplexa modeller, kan oinformerade investerare lockas till överfitting av data. Mönster som antas vara systematiska kan faktiskt vara provspecifika och därför utan värde. Människor kommer till oss hela tiden med handelsstrategier som enligt uppgift ger mycket stora meravkastningar. Men de allra flesta saker som människor upptäcker genom att använda vanliga matematiska verktyg och siktar genom en stor mängd data är statistiska artefakter. David Shaw i Alarming Efficiency (RR) från Dow Jones Asset Management (5-699) Aronson hävdar att marknaden är nästan helt effektiv och att Youre lurar dig själv om du tror att du kommer att överbrygga den andra killen med mer än cirka 51 eller 52 av tiden . Aronson anser att investerare som söker efter ineffektivitet har minskat möjligheten att dra nytta av dessa anomalier till motsvarande transaktionskostnader. Om så är fallet är minimering av transaktionskostnader avgörande för att försöka slå marknaden. Så är det några avvikelser som har bekräftats i ur provprov I en annan kommande Journal of Finance-artikel, James L. Davis, Eugene F. Fama. och Kenneth R. French argumenterar för att svaret är ett bestämt ja. Företag med lågt pris till bokförda värdeförhållanden överträffar och mönstret har dokumenterats på både amerikanska och utländska marknader. I egenskaper, Covariances och Average Returns: 1929 till 1997 går författarna ett stort steg vidare för att dokumentera avkastning av lågt pris till bokfört värdebestånd från 1929 till 1963. För den tidigare perioden var värdet premien ännu större (.50 per månad ) än den senaste perioden juli 1963 till juni 1997 (0,43 per månad). I slutändan vet vi någonsin verkligen vilka strategier som kommer att överträffa i framtiden. Meningarna på den frågan varierar definitivt, men standardavskrivningen gäller som alltid. Tidigare resultat är ingen garanti för framtida prestanda. Vänligen skicka förslag och kommentarer till Investors Home Senaste uppdatering 2122001. Upphovsrätt 2001 Investor Home. Alla rättigheter förbehållna. DisclaimerHow Traders använder text och data mining för att slå på marknaden NEW YORK (TheStreet) - Ibland kan det verka som tsunamin av digitala blurbs, tweets, likes och kvantitativa data som omger oss i den digitala tidsåldern, ersätter behovet av traditionell journalistik och publicering, vilket gör något medium som presenterar information i en form som är längre än 140 tecken verkar föråldrad. Men en annan trend står i motsats till de stora utsikterna för gammaldags text: en marknad för textmining av den faktiska rapporteringen som publicerats i tidningar och tidskrifter. Med andra ord, från traditionell journalistik. Och medan många medlemmar av den populära pressen, vars material för närvarande används av näringsidkare, inte vet det, väljer Wall Street och välj medieföretag möjligheten. Så långt tillbaka som 2008, innan stora data var stora nyheter, fann en rapport från den Boston-baserade Aite-gruppen att andelen finansiella aktörer minskade ostrukturerade data, inklusive innehåll från företag som Dow Jones och Thomson Reuters, ökade till 35 från 2, och utgifterna väntades nästan dubbelt under de närmaste två åren. Skriver Adam Honor, författare till rapporten, Firmor kommer att leta efter någon konkurrensfördel de kan hitta och ostrukturerad data erbjuder en oanvänd reservoar av nya idéer som väntar på att upptäckas. Vad är Text Mining Text mining är dataanalysen av naturliga språkverk (artiklar, böcker, etc.), med text som en dataform. Det går ofta med datautvinning, den numeriska analysen av data fungerar (som arkiveringar och rapporter), och kallas text - och data mining eller, helt enkelt, TDM. TDM innebär att man använder avancerad programvara som gör att datorer kan läsa och smälta digital information mycket snabbare än en människa kan. TDM-programvara bryter ner digital information till rå data och text, analyserar det och kommer upp nya förbindelser, från oväntade mönster i proteininteraktioner som så småningom leder till utveckling av ett nytt läkemedel, till subtila skift i vädermönster som kan förutsäga en nedgång i priset på vete. Det senare exemplet är av intresse för Wall Street, speciellt hedgefondschefer och algoritmiska handlare, som köper licenser från traditionella källor som Associated Press för att få tillgång till nyheterna. Traders använder sedan TDM-programvara för att mina dessa flöden för att förutsäga marknadsrörelser för allt från statsobligationer till råvaror. Hur AP hjälper investerare att tjäna pengar Tillkomsten av TDM lovar nya intäkter för traditionella förlag och nya källor till insikt och effektivitet för våra kunder, säger Bruce Glover, biträdande chef för digital för Associated Press. Enligt Glover tillåter AP maskinläsbara nyhetsprodukter (MRN) till finansiella kunder, vilket gör det möjligt för information att flytta snabbare. Med tanke på betydelsen av algoritmisk handel på Wall Street är hastigheten avgörande, och maskiner kan bearbeta information som finns i artiklarna mycket snabbare och med bättre återkallelse än människor. Dessutom, enligt Glover, finns en ny handelsstrategi som hes hörs kallad hypertextual trading (HCT) som erkänner fördelarna med att assimilera all tillförlitlig information för att stödja beslut. Glover säger att det är mycket uppmuntrande och marknadsplatsen indikerar att AP har en värdefull och växande tillgång.